CN117437118A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN117437118A
CN117437118A CN202311282619.1A CN202311282619A CN117437118A CN 117437118 A CN117437118 A CN 117437118A CN 202311282619 A CN202311282619 A CN 202311282619A CN 117437118 A CN117437118 A CN 117437118A
Authority
CN
China
Prior art keywords
pixel
pixel point
value
channel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311282619.1A
Other languages
English (en)
Inventor
张兆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202311282619.1A priority Critical patent/CN117437118A/zh
Publication of CN117437118A publication Critical patent/CN117437118A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像处理方法、装置及电子设备，属于图像处理技术领域，其中，方法包括：获取图像传感器采集的初始拜耳图像；基于初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到第一拜耳图像的每个像素点映射在初始拜耳图像上的亚像素点，第一拜耳图像的尺寸小于初始拜耳图像的尺寸；根据初始拜耳图像中第一亚像素点第一范围内的像素点的像素值进行计算，得到第一亚像素点的像素值，第一亚像素点为映射到初始拜耳图像上的任意亚像素点；将第一亚像素点的像素值作为第一拜耳图像中第一像素点的像素值，得到第一拜耳图像。

Description

图像处理方法、装置及电子设备
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置及电子设备。
背景技术
随着电子设备的普及，电子设备的应用越来越广泛，使用电子设备拍摄图像的场合越来越多。为了提高图像画质，图像处理领域采用了多种算法来对采集的原始图像进行处理，但大多情况下算法效果与算法开销成正相关。
由于通过传感器采集的拜耳图像(即原始图像)的分辨率较高，为了降低图像处理的资源开销，可以对拜耳图像进行预处理，对拜耳图像进行重采样，得到低分辨率的图像，然后对低分辨率图像进行图像处理，从而缓解算法效果与性能功耗间的矛盾。
目前，已有图像预处理算法中，拜耳(bayer)域的采样方案是直接对拜耳图像进行下采样，这会影响图像的清晰度和伪色表现，导致图像预处理的效果较差。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够提高图像的预处理效果。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取图像传感器采集的初始拜耳图像；
基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；
根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；
将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。
第二方面，本申请实施例提供了一种图像处理装置，包括：
第一获取模块，用于获取图像传感器采集的初始拜耳图像；
第二获取模块，用于基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；
第三获取模块，用于根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；
第四获取模块，用于将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，获取图像传感器采集的初始拜耳图像；基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。上述中，建立第一拜耳图像中的像素点与初始拜耳图像中亚像素点之间的映射关系，通过初始拜耳图像中亚像素点第一范围内的像素点的像素值来计算亚像素点的像素值，可以提高第一拜耳图像的清晰度和伪色表现，提高图像预处理的效果。
附图说明
图1是本申请实施例提供的图像处理方法的一流程图；
图2a是本申请实施例提供的RGGB阵列分布示意图；
图2b是本申请实施例提供的BGGR阵列分布示意图；
图2c是本申请实施例提供的GBRG阵列分布示意图；
图2d是本申请实施例提供的GRBG阵列分布示意图；
图2e是本申请实施例提供的像素通道类型分布示意图之一；
图2f是本申请实施例提供的像素通道类型分布示意图之二；
图2g是本申请实施例提供的像素通道类型分布示意图之三；
图2h是本申请实施例提供的像素通道类型分布示意图之四；
图2i是本申请实施例提供的像素点位置示意图；
图2j是本申请实施例提供的图像处理方法的另一流程图；
图2k是本申请实施例提供的图像处理方法的又一流程图；
图3是本申请实施例提供的图像处理装置的结构图；
图4是本申请实施例提供的电子设备的结构图之一；
图5是本申请实施例提供的电子设备的结构图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
图1是本申请实施例提供的图像处理方法的流程图，本实施例中的图像处理方法，应用于电子设备，包括如下步骤：
步骤101，获取图像传感器采集的初始拜耳图像。
图像传感器使用的拜耳阵列(Bayer Pattern)可包括RGGB、BGGR、GBRG、GRBG等4种传感器阵列。图2a所示为RGGB阵列分布示意图，2b所示为BGGR阵列分布示意图，2c所示为GBRG阵列分布示意图，2d所示为GRBG阵列分布示意图。
步骤102，基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸。
图像的尺寸可以用图像的分辨率来表征，第一拜耳图像的分辨率小于初始拜耳图像的分辨率。初始拜耳图像和第一拜耳图像中每个像素只有一个通道值，该通道值为R、G、B通道值中的一个。在本申请实施例中，通道值也可以理解为通道像素值。
在获知初始拜耳图像的尺寸和第一拜耳图像的尺寸之后，可以根据先验信息，例如，矫正网格图，得到第一拜耳图像的每个像素点在初始拜耳图像上映射的亚像素点，并且，第一拜耳图像的每个像素点的通道类别也能确定。
步骤103，根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点。
第一范围内可以是与第一亚像素点相邻的像素点范围，第一范围内可以根据实际情况进行设置，在此不做限定。第一亚像素点与第一拜耳图像中的某一像素点具有映射关系，第一亚像素点的像素值与第一拜耳图像中的该某一个像素点的像素值相同，例如，都是R通道值，或者都是G通道值，或者都是B通道值。
在本步骤中，在计算第一亚像素点的像素值时，需要使用与第一亚像素点相同的通道类别的通道值来计算第一亚像素点的像素值，例如，若第一亚像素点为R通道值，则可使用与第一亚像素点距离最近的四个像素点的R通道值来对第一亚像素点的R通通值进行计算。
步骤104，将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像，所述第一像素点与所述第一亚像素点有映射关系。
对于每个第一亚像素点都采用上述方式进行计算，得到像素值，并将该像素值作为与第一亚像素点具有映射关系的第一像素点的值，第一像素点为第一拜耳图像中的像素点。
本实施例中，获取图像传感器采集的初始拜耳图像；基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。上述中，建立第一拜耳图像中的像素点与初始拜耳图像中亚像素点之间的映射关系，通过初始拜耳图像中亚像素点第一范围内的像素点的像素值来计算亚像素点的像素值，可以提高第一拜耳图像的清晰度和伪色表现，提高图像预处理的效果。
在本申请实施例中，计算第一亚像素点的像素值的方式有两种，第一种方式是：先将初始拜耳图像中各像素点的通道值进行补齐，例如，若初始拜耳图像中的某个像素点的像素值为R通道值，则先补齐该像素点的G通道值和B通道值。补齐之后，得到第一图像，然后基于第一图像中第一范围内的像素点的像素值进行计算，得到第一亚像素点的像素值。
以下介绍第一种方式：
所述根据所述初始拜耳图像中所述第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，包括：
对于所述初始拜耳图像中的每个第二像素点，根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，所述缺失的通道值为R通道、G通道和B通道中的两个通道的像素值；
根据每个所述第二像素点的R通道值、G通道值、B通道值对所述初始拜耳图像中的第二像素点的像素值进行更新，得到第一图像；
根据所述第一图像中所述第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值。
具体地，计算初始拜耳图像中每个第二像素点缺失的通道值，使得每个第二像素点都有R通道值、G通道值、B通道值，根据每个第二像素点的R通道值、G通道值、B通道值对初始拜耳图像中的第二像素点的像素值进行更新，得到第一图像，这样得到的第二图像与初始拜耳图像具有相同的尺寸，相同的像素点位置，不同的是，第一初始拜耳图像中的像素点的像素值只有一个通道值，第一图像中的像素点的像素值有三个通道值。
在计算每个第二像素点缺失的通道值时，可以根据第二像素点的像素值为R通道值、G通道值或B通道值，采用不同的方式计算。
一种情况下，第二像素点的像素值为B通道值。在本申请一实施例中，所述根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，包括：
对于所述初始拜耳图像中的每个第二像素点，若所述第二像素点的像素值为B通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第三像素点的像素值为G通道值；
根据所述第二像素点邻域内的第四像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第四像素点的像素值为R通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值。
如图2e所示，当前第二像素点的像素值是B1，根据3*3邻域内的9个像素计算得到更加稠密的RGB三通道像素信息。
缺失的G通道值计算公式一如下：
ω1为当前像素点的计算权重。G1、G2、G3、G4为四个第三像素点的G通道值。
此ω1权重为垂直方向的计算权重，不同方向计算权重归一化合为1，(1-ω1)即为水平方向的计算权重，权重取值范围均为0-1。垂直方向权重计算公式二如下：
缺失的R通道值计算公式三如下：
WB1为第一先验值，R1、R2、R3、R4为四个第四像素点的R通道值。
上述计算式中引入先验信息，即第一先验值，第一先验证为当前已知的先验白平衡增益信息，可以在不增加额外辅助模块的情况下完成像素值计算，一般的Bayer图像预处理方法中在进行缺失像素计算时，需要先对整张图像进行白平衡矫正，之后的缺失像素计算均在白平衡矫正处理后的图像上进行，而本实施例中在计算式中引入对应的白平衡增益信息，可使得只有需要采用白平衡增益信息进行计算时，才采用白平衡增益信息进行计算，这可以减少冗余计算量和复杂度。
另一种情况下，第二像素点的像素值为R通道值。在本申请一实施例中，所述根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，包括：
对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为R通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第三像素点的像素值为G通道值；
根据所述第二像素点邻域内的第四像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
如图2f所示，当前第二像素点的像素值是R1，根据3*3邻域内的9个像素计算得到更加稠密的RGB三通道像素信息。
缺失的G通道值计算公式四如下：
ω2为当前像素点的计算权重，G1、G2、G3、G4为四个第三像素点的G通道值。
此ω2为垂直方向的计算权重，不同方向计算权重归一化合为1，(1-ω2)即为水平方向的计算权重，权重取值范围均为0-1。垂直方向权重计算公式五如下：
缺失的B通道值计算公式六如下：
WB2为第二先验值，B1、B2、B3、B4为四个第四像素点的B通道值。
又一种情况下，第二像素点的像素值为G通道值。在本申请一实施例中，所述根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，包括：
对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为G通道值，则根据所述第二像素点邻域内的第三像素点的像素值、第五像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第二像素点邻域包括所述第三像素点、第四像素点和所述第五像素点，所述第三像素点的像素值为R通道值，所述第五像素点的像素值为G通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值；
根据所述第二像素点邻域内的所述第四像素点的像素值、所述第五像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
如图2g所示，当前第二像素点的像素值是G，根据3*3邻域内的9个像素计算得到更加稠密的RGB三通道像素信息。
缺失的R通道值计算公式七如下：
R1、R2为两个第三像素点的R通道值，G1、G2、G3、G4为四个第五像素点的G通道值，ω3为垂直方向的计算权重，不同方向计算权重归一化合为1，(1-ω3)即为水平方向的计算权重，权重取值范围均为0-1。垂直方向权重计算公式八如下：
缺失的B通道值计算如下：
WB2为第二先验值，B1、B2为两个第四像素点的B通道值。
在本申请一实施例中，所述根据所述第一图像中所述第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，包括：
基于所述初始拜耳图像的尺寸和所述第一拜耳图像的尺寸，确定所述第一图像中每个像素点在水平方向上的第一缩放尺度，以及在垂直方向上的第二缩放尺度；
基于所述第一图像中每个像素点的第一缩放尺度和第二缩放尺度对所述第一图像进行低通滤波处理，得到第二图像；
若所述第一亚像素点对应的通道类别为第一通道，则根据所述第二图像中所述第一范围内的像素点的第一通道的像素值进行计算，得到所述第一亚像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道。
具体地，可通过先验知识，可根据初始拜耳图像和第一拜耳图像各自的尺寸，或者矫正网格图，可以得到初始拜耳图像中每个像素点(i，j)的缩放比例尺度，包括水平方向上的第一缩放尺度以及在垂直方向上的第二缩放尺度/>
对于第一图像中每个像素点的第一通道的像素值，可以根据第一缩放尺度和第二缩放尺度进行低通滤波处理，得到第二图像，第二图像中的每个像素点也包括R通道值、G通道值和B通道值。
由于第一亚像素点与第一拜耳图像中的第一像素点具有对应关系，两者的像素值相同，基于此，可以根据第一像素点的通道类别来进行计算，计算出该通道类别对应的像素值即可，可以节省计算量。例如，第一像素点对应的通道类别为R通道，则第一亚像素点对应的通道类别也为R通道，由于第一亚像素点映射在第一图像中，第一图像和第二图像的尺寸大小相同，像素的坐标位置也相同，基于此，第一图像中第一亚像素点第一范围内的像素点与第二图像中第二亚像素第一范围内的像素点的位置是相同的，只是像素值不同。第二图像中的每个像素点都包括R通道值、G通道值和B通道值。由于第一亚像素点对应的通道类别为R通道，基于此，可以只根据第二图像中第一范围内的像素点的R通道值进行计算(因为其他通道的像素值不需要，所以不用算，可以节省计算消耗)，得到第一亚像素点对应的R通道值，该R通道值即第一拜耳图像中第一亚像素点对应的第一像素点的像素值。
在本申请一实施例中，所述基于所述第一图像中每个像素点的第一缩放尺度和第二缩放尺度对所述第一图像进行低通滤波处理，得到第二图像，包括：
对于所述第一图像中的每个第六像素点，根据所述第六像素点的第一缩放尺度和第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在水平方向上的第一值，所述第二通道为R通道、G通道或B通道；
根据所述第六像素点的第二缩放尺度和所述第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在垂直方向上的第二值；
根据所述第一值和所述第二值进行计算，得到所述第六像素点的第二通道的通道值。
具体地，根据如下表达式对第六像素点进行水平方向上的低通滤波处理，如下公式十所示：
ωj为像素点(i，j)的权重系数，Flowpass()是低通滤波函数，c是指像素点(i，j)位置处的R通道值、G通道值或B通道值。第一值outx(i，j)为对像素点(i，j)的R通道值、G通道值或B通道值在水平方向上进行低通滤波之后得到的像素值。
低通滤波函数可采用高斯滤波，n表示区域范围，例如像素点(i，j)的邻域中的9个像素点，n为9，通过此式可以得到水平方向R通道值、G通道值或B通道值的自适应抗混叠后的图像。
根据如下表达式对第六像素点进行水平方向上的低通滤波处理，如下公式十一所示：
第二值outy(i，j)为对像素点(i，j)的R通道值、G通道值或B通道值在垂直方向上进行低通滤波之后得到的像素值。
示例性地，将第一值和第二值进行加权平均计算，得到第六像素点的第二通道的通道值。采用上述方式，可以得到每个第六像素点的R通道值、G通道值和B通道值的像素值。
本申请实施例提供的第二种方式是根据第一拜耳图像中的像素点的通道类型，相应地确定第一亚像素点第一范围内像素点的相同通道类型的通道值，然后基于这些相同通道类型的通道值进行计算。
上述实施例提供的第一种方式，提出利用像素邻域内相对位置关系，采用不同的分权重计算方法，得到邻域内更加稠密的像素信息，并在此基础上进行自适应的抗高频混叠处理。可以直接在初始拜耳图像上进行任意比例的RAW域缩放处理或者不规则的缩放处理，无需额外前处理，且能够保证处理图像质量。
本实施例提供的方法，直接在Bayer图像上进行预处理，不需要显性的前置预处理模块进行典型的ISP处理，例如OBC(optical black correct)或者WBC(white balancecorrect)，即可完成邻域内相对稠密的像素信息计算。在保证图像画质的同时，也大大减少后续模块的计算数据量，进一步提升视频图像信号处理(Image Signal Processing，ISP)管道(pipeline)的性能和功耗表现；
可以得到图像画质更好的矫正(warp)后或者缩放后的结果，特别是图像高频纹理区域的清晰度和伪色、伪像表现。并且矫正或者缩放尺度比例自由，无明显的限制范围。
以下对第一种方式进行如下举例说明。
如图2j所示，本申请实施例提供一种图像处理方法，包括如下步骤201-步骤204。
步骤201，获取原始尺寸的拜耳图像，即初始拜耳图像，其拜尔阵列(BayerPattern)包含RGGB、BGGR、GBRG、GRBG四种传感器阵列。
步骤202，通过初始拜耳图像不同像素的位置关系，通过不同的分权重计算方法，得到RGB图像。
根据当前像素点在初始拜耳图像上的位置，可将计算分为大致2类。
第一类计算：
如图2e所示，当前所在位置像素点的像素值是B1时，根据3*3邻域内的9个像素计算得到更加稠密的RGB三通道像素信息。
缺失的G像素计算公式一如下：
其中，G即为当前所在像素位置的缺失的G通道像素值，ω1为当前像素点的计算权重。
此ω1权重为垂直方向的计算权重，因为不同方向计算权重归一化合为1，所以(1-ω)即为水平方向的计算权重，权重取值范围均为0-1。垂直方向权重计算公式二如下：
缺失的R通道值计算公式三如下：
其中，R即为当前所在像素位置的缺失的R通道像素值，WB1为第一先验值，R1、R2、R3、R4为四个第四像素点的R通道值。
通过上述计算式中引入若干先验信息(WB1、WB2为当前已知的先验白平衡增益信息)，可以在不增加额外辅助模块的情况下完成像素值计算，一般的拜耳图像预处理在进行缺失像素计算时，需要先对整张图像进行白平衡矫正，缺失像素通道的计算均在白平衡矫正后的图像上进行，而上述方式只需在计算式中引入对应的白平衡增益信息进行计算，可以减少冗余计算量和复杂度。
通过上述计算可获得当前像素点缺失的各通道像素值。
如图2f所示，当前所在位置像素点的像素值是R1时，根据3*3邻域内的9个像素计算得到更加稠密的RGB三通道像素信息。
缺失的G通道值计算公式四如下：
ω2为当前像素点的计算权重，G1、G2、G3、G4为四个第三像素点的G通道值。
此ω2为垂直方向的计算权重，不同方向计算权重归一化合为1，(1-ω2)即为水平方向的计算权重，权重取值范围均为0-1。垂直方向权重计算公式五如下：
缺失的B通道值计算公式六如下：
WB2为第二先验值，B1、B2、B3、B4为四个第四像素点的B通道值。
第二类计算：
如图2g所示，当前第二像素点的像素值是G，根据3*3邻域内的9个像素计算得到更加稠密的RGB三通道像素信息。
缺失的R通道值计算公式七如下：
R1、R2为两个第三像素点的R通道值，G1、G2、G3、G4为四个第五像素点的G通道值，ω3为垂直方向的计算权重，不同方向计算权重归一化合为1，(1-ω3)即为水平方向的计算权重，权重取值范围均为0-1。垂直方向权重计算公式八如下：
缺失的B通道值计算公式九如下：
WB2为第二先验值，B1、B2为两个第四像素点的B通道值。
通过在上述计算公式中引入若干先验信息，可以在不增加额外辅助模块的情况下完成像素值计算。
当前第二像素点的像素值是G，水平方向相邻的像素点的像素值为B时，计算第二像素点的B通道和R通道的原理与上述公式类似，此处不再赘述。
至此，可以在初始拜耳图像上通过少量的先验知识，通过3*3邻域内分权重计算方式得到稠密的RGB图像信息。并且可以保证图像较好的清晰度、伪色表现，为后续图像采样和warp提供更多的图像信息。
步骤203，对RGB图像进行自适应抗混叠处理，得到稠密RGB图像。
一般情况下可通过先验知识得到第一拜耳图像的尺寸或者矫正网格图(warpgrid)后，可以得到每个像素位置的缩放比例尺度，水平方向每个像素位置的缩放尺度为公式十二：
其中(i,j)表示当前像素的坐标位置，在固定缩放比例场景中，dst_x为目标图像在水平方向的尺度，src_x为源图像在水平方向的尺度，这样计算得到的每个像素点的缩放比例一致。
或者，如公式十三所示：
上述是在矫正场景下计算的缩放尺度，矫正场景下每个区域缩放比例不一致，mv_xi,j表示像素点(i，j)的水平缩放尺度。
同理，可以得到水平方向每个像素位置的缩放尺度为公式十四所示：
其中(i,j)表示当前像素的坐标位置，在固定缩放比例场景中，dst_y为目标图像在水平方向的尺度，src_y为源图像在水平方向的尺度，这样计算得到的每个像素点的缩放比例一致。
或者，如公式十五所示：
根据上述每个像素点位的缩放尺度，可以设置不同的滤波强度，输入输出图像缩小尺度越大，滤波强度越高，抗混叠能力越强，并且当前位置滤波强度会与周围像素进行平滑处理，保证图像效果自然，不违和。示例性地，可根据如公式十计算水平方向上进行低通滤波之后的通道值：
ωj为像素点(i，j)的权重系数，权重系数根据当前点与周围点(邻域像素点)之间的相对距离计算得到，Flowpass()是低通滤波函数，c是指像素点(i，j)位置处的R通道值、G通道值或B通道值。低通滤波函数可采用高斯滤波，n表示区域范围，例如像素点(i，j)的邻域中的9个像素点，n为9，通过此式可以得到水平方向R通道值、G通道值或B通道值的自适应抗混叠后的图像。
可根据如公式十一计算垂直方向上进行低通滤波之后的通道值：
将outx(i，j)和outy(i，j)进行加权平均计算，得到像素点的一个通道的通道值。采用上述方式，可以得到每个像素点的R通道值、G通道值和B通道值的像素值。
通过水平和垂直方向的抗混叠滤波后即可得到滤波后的稠密RGB图像信息。
步骤204，对稠密RGB图像进行下采样或矫正操作，得到第一拜耳图像。
在获得了稠密的RGB图像信息后，可以在此基础上进行下采样或者根据外部输入的矫正网格图进行图像的矫正处理。根据第一拜耳图像每个像素点通道类型，选择R、G、B信息中的一个进行通道像素值的计算，而不需要将RGB三通道每个像素点进行采样或者矫正处理后，再选择所需的通道像素值，可进一步减少此系统整体计算量，提升性能。
以下以采样场景下的双线性插值为例进行说明。根据先验缩放比例信息，可以得到插值像素在原始图像上的亚像素坐标，如公式十六所示。
其中(xsrc,ysrc)为插值后新像素坐标在原图像(步骤203处理得到的图像)中的等效坐标，上标src代表坐标为原图像中的等效坐标，(xdst,tdst)为插值后新像素坐标在下采样图像中的实际坐标，上标dst表示坐标为下采样图像中的坐标，Q为下采样倍率。
在得到插值后新像素坐标在原图像中的等效亚像素坐标P(x,y)后，即可如图2i所示，根据周围4个点的距离分别计算出P1、P2、P3、P4的权重分别为W1、W2、W3、W4。
最后即可得到插值后的像素值P，如公式十七所示：
P＝P1*W1+P2*W2+P3*W3+P4*W4 (17)；
若目标像素点P对应的是G通道，则上述计算P1-P4均只选取G像素信息计算即可，其他通道计算方式类似。
本实施例中，通过分权重邻域计算方式，不需要前置处理模块即可得到从初始拜耳图像到RGB的稠密图像的计算，并且在最大限度保留图像信息。且对RGB信息进行自适应抗混叠处理，一定程度内保证后续图像缩放和矫正后较好的高频纹理表现，减少摩尔纹和伪色，最后对处理后的RGB信息进行按比例的缩放或矫正处理得到第一拜耳图像。
以下介绍第二种方式：
在本申请一实施例中，所述根据所述初始拜耳图像中所述第一亚像素点第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，包括：
若所述第一亚像素点对应的通道类别为第一通道，则计算得到所述初始拜耳图像中所述第一亚像素点的邻域像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道；
根据所述第一亚像素点的邻域像素点的第一通道的像素值进行加权平均计算，得到所述第一亚像素点的第一通道的像素值。
具体地，邻域像素点可以是初始拜耳图像中与第一亚像素点距离最近的四个像素点，若第一亚像素点对应的第一像素点的通道类别为R通道，则第一亚像素点对应的通道类别也为R通道，由于第一亚像素点映射在第一图像中，第一图像中的每个像素点只有一个通道类别的像素值，若第一亚像素点的邻域像素点的通道类别有G通道，则需要先计算出该像素点处的R通道值，得到四个像素点的R通道值之后，再进行加权平均计算，得到第一亚像素点的第一通道的像素值，该像素值即第一拜耳图像中与第一亚像素点对应的第一像素点的像素值。
上述实施例中，直接根据第一亚像素点对应的通道类别进行计算，例如，若通道类别为R通道，则只需要计算R通道的像素值，不需要计算G通道和B通道的像素值，可以减少计算量，节省计算资源。
以下对第二种方式进行如下举例说明。
在进行矫正处理的场景下，通过传感器获取初始拜耳图像，根据矫正网格图，获得在目标像素在原始图像内的邻域位置，根据分布式分权重计算方法直接得到第一拜耳图像，可减少冗余计算，提升算法性能。
如图2k所示，本申请实施例提供一种图像处理方法，包括如下步骤201’-步骤202’。
步骤201’，获取初始拜耳图像，其拜尔阵列(Bayer Pattern)包含RGGB、BGGR、GBRG、GRBG四种传感器阵列。
步骤202’，对初始拜耳图像根据先验信息进行矫正，得到对应的第一拜耳图像。
通过先验的矫正网格，可以得到第一拜耳图像的像素点(下文中可称为目标点)在原始图像上的映射亚像素坐标，根据其坐标信息收集相关周围点的像素信息，并根据目标像素的通道顺序直接计算出对应的目标像素值。如图2h所示，点P为目标像素在原始图像上的映射坐标，R、G、B为相关的周围邻域像素点，根据分权重计算式如下：
若目标点像素对应为G通道，则计算公式十八如下：
PG为第一拜耳图像上对应坐标下的G通道值，W1-W6为方向权重，根据每个像素点水平和垂直方向梯度计算得来，并归一化到0-1范围内。
若目标点像素对应为R通道，则计算公式十九如下：
PR＝W1×PR1+W2×PR2+W3×PR3+W4×PR4 (19)
其中W1-W4为计算权重，根据P距离相邻4个点的距离计算得到。
PR1-PR4的计算公式二十、公式二十一、公式二十二、公式二十三分别如下：
PR2＝R1 (21)
其中ω为计算权重，此方向权重为对应像素点根据其水平方向、垂直方向梯度计算得来，并归一化到0-1之间。WBgain为先验可知的白平衡增益，根据上述计算，可得到PR，即为第一拜耳图像上对应坐标下的R通道值。
若目标点像素对应为B通道，则计算式与计算R通道类似，计算结果记为PB。
因为在先验warp grid信息已知的情况下，第一拜耳图像每个像素和初始拜耳图像的对应关系已经确定，所以第一拜耳图像每个像素所在位置的通道类别也就确定了(R、G、B其中之一)，所以在计算每个目标点的像素值时只需选择上述计算式中的一个即可(PR、PG、PB其中之一)，通过一次计算即可直接从初始拜耳图像计算出第一拜耳图像。
本实施例中，通过分布式分权重邻域计算方式，不需要先根据初始拜耳图像计算出全部的RGB稠密像素信息，而是可直接通过映射关系和对应位置计算出第一拜耳图像，进一步减少冗余计算，提升系统整体性能和功耗。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
如图3所示，图像处理装置300包括：
第一获取模块301，用于获取图像传感器采集的初始拜耳图像；
第二获取模块302，用于基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；
第三获取模块303，用于根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；
第四获取模块304，用于将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。
在本申请一实施例中，所述第三获取模块303，包括：
第一计算子模块，用于对于所述初始拜耳图像中的每个第二像素点，根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，所述缺失的通道值为R通道、G通道和B通道中的两个通道的像素值；
更新子模块，用于根据每个所述第二像素点的R通道值、G通道值、B通道值对所述初始拜耳图像中的第二像素点的像素值进行更新，得到第一图像；
第二计算子模块，用于根据所述第一图像中所述第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值。
在本申请一实施例中，所述第一计算子模块，包括：
第一计算单元，用于对于所述初始拜耳图像中的每个第二像素点，若所述第二像素点的像素值为B通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第二像素点邻域包括所述第三像素点和第四像素点，所述第三像素点的像素值为G通道值；
第二计算单元，用于根据所述第二像素点邻域内的所述第四像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第四像素点的像素值为R通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值。
在本申请一实施例中，所述第一计算子模块，包括：
第三计算单元，用于对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为R通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第二像素点邻域包括所述第三像素点和第四像素点，所述第三像素点的像素值为G通道值；
第四计算单元，用于根据所述第二像素点邻域内的所述第四像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
在本申请一实施例中，所述第一计算子模块，包括：
第五计算单元，用于对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为G通道值，则根据所述第二像素点邻域内的第三像素点的像素值、第五像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第二像素点邻域包括所述第三像素点、第四像素点和所述第五像素点，所述第三像素点的像素值为R通道值，所述第五像素点的像素值为G通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值；
第六计算单元，用于根据所述第二像素点邻域内的所述第四像素点的像素值、所述第五像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
在本申请一实施例中，所述第二计算子模块，包括：
确定单元，用于基于所述初始拜耳图像的尺寸和所述第一拜耳图像的尺寸，确定所述第一图像中每个像素点在水平方向上的第一缩放尺度，以及在垂直方向上的第二缩放尺度；
滤波单元，用于基于所述第一图像中每个像素点的第一缩放尺度和第二缩放尺度对所述第一图像进行低通滤波处理，得到第二图像；
第七计算单元，用于若所述第一亚像素点对应的通道类别为第一通道，则根据所述第二图像中所述第一范围内的像素点的第一通道的像素值进行计算，得到所述第一亚像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道。
在本申请一实施例中，所述滤波单元，包括：
第一滤波子单元，用于对于所述第一图像中的每个第六像素点，根据所述第六像素点的第一缩放尺度和第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在水平方向上的第一值，所述第二通道为R通道、G通道或B通道；
第二滤波子单元，用于根据所述第六像素点的第二缩放尺度和所述第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在垂直方向上的第二值；
第一滤波子单元，用于根据所述第一值和所述第二值进行计算，得到所述第六像素点的第二通道的通道值。
在本申请一实施例中，所述第三获取模块303，包括：
第一获取子模块，用于若所述第一亚像素点对应的通道类别为第一通道，则计算得到所述初始拜耳图像中所述第一亚像素点的邻域像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道；
第二获取子模块，用于根据所述第一亚像素点的邻域像素点的第一通道的像素值进行加权平均计算，得到所述第一亚像素点的第一通道的像素值。
本申请实施例提供的图像处理装置300能够实现前述方法实施例实现的各个过程，为避免重复，这里不再赘述。
本申请实施例中的图像处理装置300可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置300可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401和存储器402，存储器402上存储有可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器510，用于获取图像传感器采集的初始拜耳图像；
基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；
根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；
将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。
在本申请一实施例中，处理器510，还用于对于所述初始拜耳图像中的每个第二像素点，根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，所述缺失的通道值为R通道、G通道和B通道中的两个通道的像素值；
根据每个所述第二像素点的R通道值、G通道值、B通道值对所述初始拜耳图像中的第二像素点的像素值进行更新，得到第一图像；
根据所述第一图像中所述第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值。
在本申请一实施例中，处理器510，还用于对于所述初始拜耳图像中的每个第二像素点，若所述第二像素点的像素值为B通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第二像素点邻域包括所述第三像素点和第四像素点，所述第三像素点的像素值为G通道值；
根据所述第二像素点邻域内的所述第四像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第四像素点的像素值为R通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值。
在本申请一实施例中，处理器510，还用于对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为R通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第二像素点邻域包括所述第三像素点和第四像素点，所述第三像素点的像素值为G通道值；
根据所述第二像素点邻域内的所述第四像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
在本申请一实施例中，处理器510，还用于对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为G通道值，则根据所述第二像素点邻域内的第三像素点的像素值、第五像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第二像素点邻域包括所述第三像素点、第四像素点和所述第五像素点，所述第三像素点的像素值为R通道值，所述第五像素点的像素值为G通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值；
根据所述第二像素点邻域内的所述第四像素点的像素值、所述第五像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
在本申请一实施例中，处理器510，还用于基于所述初始拜耳图像的尺寸和所述第一拜耳图像的尺寸，确定所述第一图像中每个像素点在水平方向上的第一缩放尺度，以及在垂直方向上的第二缩放尺度；
基于所述第一图像中每个像素点的第一缩放尺度和第二缩放尺度对所述第一图像进行低通滤波处理，得到第二图像；
若所述第一亚像素点对应的通道类别为第一通道，则根据所述第二图像中所述第一范围内的像素点的第一通道的像素值进行计算，得到所述第一亚像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道。
在本申请一实施例中，处理器510，还用于对于所述第一图像中的每个第六像素点，根据所述第六像素点的第一缩放尺度和第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在水平方向上的第一值，所述第二通道为R通道、G通道或B通道；
根据所述第六像素点的第二缩放尺度和所述第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在垂直方向上的第二值；
根据所述第一值和所述第二值进行计算，得到所述第六像素点的第二通道的通道值。
在本申请一实施例中，处理器510，还用于若所述第一亚像素点对应的通道类别为第一通道，则计算得到所述初始拜耳图像中所述第一亚像素点的邻域像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道；
根据所述第一亚像素点的邻域像素点的第一通道的像素值进行加权平均计算，得到所述第一亚像素点的第一通道的像素值。
本申请实施例提供的电子设备能够实现前述方法实施例实现的各个过程，为避免重复，这里不再赘述。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器509可以包括易失性存储器或非易失性存储器，或者，存储器509可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch linkDRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。
处理器510可包括一个或多个处理单元；可选地，处理器510集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取图像传感器采集的初始拜耳图像；
基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；
根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；
将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，包括：
对于所述初始拜耳图像中的每个第二像素点，根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，所述缺失的通道值为R通道、G通道和B通道中的两个通道的像素值；
根据每个所述第二像素点的R通道值、G通道值、B通道值对所述初始拜耳图像中的第二像素点的像素值进行更新，得到第一图像；
根据所述第一图像中所述第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，包括：
对于所述初始拜耳图像中的每个第二像素点，若所述第二像素点的像素值为B通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第二像素点邻域包括所述第三像素点和第四像素点，所述第三像素点的像素值为G通道值；
根据所述第二像素点邻域内的所述第四像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第四像素点的像素值为R通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，包括：
对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为R通道值，则根据所述第二像素点邻域内的第三像素点的像素值计算，得到所述第二像素点的G通道值，其中，所述第二像素点邻域包括所述第三像素点和第四像素点，所述第三像素点的像素值为G通道值；
根据所述第二像素点邻域内的所述第四像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第二像素点邻域内的像素点，计算每个所述第二像素点缺失的通道值，包括：
对于所述初始拜耳图像中的第二像素点，若所述第二像素点的像素值为G通道值，则根据所述第二像素点邻域内的第三像素点的像素值、第五像素点的像素值，以及第一先验值计算，得到所述第二像素点的R通道值，其中，所述第二像素点邻域包括所述第三像素点、第四像素点和所述第五像素点，所述第三像素点的像素值为R通道值，所述第五像素点的像素值为G通道值，所述第一先验值为所述初始拜耳图像的R通道对应的白平衡增益先验值；
根据所述第二像素点邻域内的所述第四像素点的像素值、所述第五像素点的像素值，以及第二先验值计算，得到所述第二像素点的B通道值，其中，所述第四像素点的像素值为B通道值，所述第二先验值为所述初始拜耳图像的B通道对应的白平衡增益先验值。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像中所述第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，包括：
基于所述初始拜耳图像的尺寸和所述第一拜耳图像的尺寸，确定所述第一图像中每个像素点在水平方向上的第一缩放尺度，以及在垂直方向上的第二缩放尺度；
基于所述第一图像中每个像素点的第一缩放尺度和第二缩放尺度对所述第一图像进行低通滤波处理，得到第二图像；
若所述第一亚像素点对应的通道类别为第一通道，则根据所述第二图像中所述第一范围内的像素点的第一通道的像素值进行计算，得到所述第一亚像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一图像中每个像素点的第一缩放尺度和第二缩放尺度对所述第一图像进行低通滤波处理，得到第二图像，包括：
对于所述第一图像中的每个第六像素点，根据所述第六像素点的第一缩放尺度和第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在水平方向上的第一值，所述第二通道为R通道、G通道或B通道；
根据所述第六像素点的第二缩放尺度和所述第二通道的通道值进行低通滤波处理，得到所述第六像素点的第二通道在垂直方向上的第二值；
根据所述第一值和所述第二值进行计算，得到所述第六像素点的第二通道的通道值。
8.根据权利要求1所述的方法，其特征在于，所述根据所述初始拜耳图像中所述第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，包括：
若所述第一亚像素点对应的通道类别为第一通道，则计算得到所述初始拜耳图像中所述第一亚像素点的邻域像素点的第一通道的像素值，所述第一通道为R通道、G通道或B通道；
根据所述第一亚像素点的邻域像素点的第一通道的像素值进行加权平均计算，得到所述第一亚像素点的第一通道的像素值。
9.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取图像传感器采集的初始拜耳图像；
第二获取模块，用于基于所述初始拜耳图像的尺寸和第一拜耳图像的尺寸，得到所述第一拜耳图像的每个像素点映射在所述初始拜耳图像上的亚像素点，所述第一拜耳图像的尺寸小于所述初始拜耳图像的尺寸；
第三获取模块，用于根据所述初始拜耳图像中第一亚像素点的第一范围内的像素点的像素值进行计算，得到所述第一亚像素点的像素值，所述第一亚像素点为映射到所述初始拜耳图像上的任意亚像素点；
第四获取模块，用于将所述第一亚像素点的像素值作为所述第一拜耳图像中第一像素点的像素值，得到所述第一拜耳图像。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
CN202311282619.1A 2023-09-28 2023-09-28 图像处理方法、装置及电子设备 Pending CN117437118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311282619.1A CN117437118A (zh) 2023-09-28 2023-09-28 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311282619.1A CN117437118A (zh) 2023-09-28 2023-09-28 图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117437118A true CN117437118A (zh) 2024-01-23

Family

ID=89550634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311282619.1A Pending CN117437118A (zh) 2023-09-28 2023-09-28 图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117437118A (zh)

Similar Documents

Publication Publication Date Title
EP2130175B1 (en) Edge mapping incorporating panchromatic pixels
GB2592835A (en) Configurable convolution engine for interleaved channel data
CN110944160B (zh) 一种图像处理方法及电子设备
JP3621304B2 (ja) 画像の輝度補正方法
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
US9449367B2 (en) Parallel processor for providing high resolution frames from low resolution frames
CN105141838A (zh) 去马赛克方法以及使用该方法的装置
CN110827314B (zh) 单目标跟踪方法及相关设备
US9811892B1 (en) Separating sub-band image data for processing and merging with unprocessed image data
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN112837254A (zh) 一种图像融合方法、装置、终端设备及存储介质
CN117437118A (zh) 图像处理方法、装置及电子设备
CN115797579A (zh) 三维地图的图像叠加方法、装置、电子设备及存储介质
CN115147297A (zh) 一种图像处理方法及装置
WO2013011797A1 (ja) 劣化復元システム、劣化復元方法およびプログラム
CN111242087B (zh) 物体识别方法及装置
US20110109794A1 (en) Caching structure and apparatus for use in block based video
CN114549581A (zh) 图像生成方法、系统、电子设备、存储介质和程序产品
CN113793249A (zh) 一种Pentile图像转换为RGB图像的方法、装置及存储介质
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
CN111935475B (zh) 基于多视图的场景重建方法及系统、服务器及存储介质
JP2021093636A (ja) 画像処理方法、画像処理装置、プログラム、及びイメージセンサ
CN117745613A (zh) 图像处理方法及其装置
CN114693508A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN114708168A (zh) 图像处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination