CN111447376B - 图像处理方法、摄像头组件、移动终端及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、摄像头组件、移动终端及计算机可读存储介质。本申请的图像处理方法用于图像传感器。图像处理方法包括：控制像素阵列曝光以获取原始图像；处理原始图像以获取全色拟合图像及第一图像，全色拟合图像中的像素与第一图像中的像素一一对应；及对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像。本申请实施方式的图像处理方法、摄像头组件、移动终端及计算机可读存储介质可以对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以得到同时具有全色拟合图像的全色像素信息和第一图像的像素信息的第二图像，使得第二图像具有更高的性噪比，有利于提升形成的图像质量。

Description

图像处理方法、摄像头组件、移动终端及计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别涉及一种图像处理方法、摄像头组件、移动终端及计算机可读存储介质。

背景技术

相关技术中，除了摄像头常采用的拜耳阵列(红色滤镜像素、绿色滤镜像素和蓝色滤镜像素排列结构)的图像传感器外，有的图像传感器上增加了全色滤镜像素。增加了全色滤镜像素的图像传感器中，全色滤镜像素能通过全部光线，提高了图像传感器的感光度。但由于全色滤镜像素与红色滤镜像素、绿色滤镜像素和蓝色滤镜像素的感光度不同，得到的通道图亮度分布有较大区别，因此如何处理增加了全色滤镜像素的图像传感器的感光像素探测的原始图像，使得图像不失真的同时具有较高的质量是一个技术难点。

发明内容

本申请实施方式提供一种图像处理方法、摄像头组件、移动终端及计算机可读存储介质。

本申请一个方面提供一种用于图像传感器的图像处理方法。所述图像传感器包括像素阵列。所述像素阵列包括多个全色像素及多个彩色像素。所述彩色像素具有比所述全色像素更窄的光谱响应。所述图像处理方法包括：控制所述像素阵列曝光以获取原始图像；处理所述原始图像以获取全色拟合图像及第一图像，所述全色拟合图像中的像素与所述第一图像中的像素一一对应；及对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像。

在另一个方面，本申请还提供一种摄像头组件。所述摄像头组件包括图像传感器和处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色像素及多个彩色像素。所述彩色像素具有比所述全色像素更窄的光谱响应。所述处理器用于：控制所述像素阵列曝光以获取原始图像；处理所述原始图像以获取全色拟合图像及第一图像，所述全色拟合图像中的像素与所述第一图像中的像素一一对应；及对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像。

在又一个方面，本申请还提供一种移动终端。所述移动终端包括壳体及摄像头组件。所述摄像头组件与所述壳体结合。所述摄像头组件包括图像传感器和处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色像素及多个彩色像素。所述彩色像素具有比所述全色像素更窄的光谱响应。所述处理器用于：控制所述像素阵列曝光以获取原始图像；处理所述原始图像以获取全色拟合图像及第一图像，所述全色拟合图像中的像素与所述第一图像中的像素一一对应；及对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像。

在再一个方面，本申请还提供一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序。所述计算机程序被处理器执行时实现图像处理方法。所述图像处理方法包括：控制像素阵列曝光以获取原始图像；处理所述原始图像以获取全色拟合图像及第一图像，所述全色拟合图像中的像素与所述第一图像中的像素一一对应；及对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像。

本申请实施方式的图像处理方法、摄像头组件、移动终端及计算机可读存储介质可以对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以对全色拟合图像的像素值和第一图像的像素值进行线性拟合，从而得到同时具有全色拟合图像的全色像素信息和第一图像的像素信息的第二图像，使得第二图像具有更高的性噪比，有利于提升形成的图像质量。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像传感器的示意图；

图2是本申请某些实施方式的移动终端的示意图

图3是本申请某些实施方式的图像处理方法的流程示意图；

图4是本申请某些实施方式的图像处理方法的一个原理示意图；

图5是本申请某些实施方式的一种最小重复单元和子单元的像素排布的示意图；

图6是本申请某些实施方式的又一种最小重复单元和子单元的像素排布的示意图；

图7是本申请某些实施方式的图像处理方法的流程示意图；

图8是本申请某些实施方式的图像处理方法的又一个原理示意图；

图9是本申请某些实施方式的图像处理方法的又一个原理示意图；

图10是本申请某些实施方式的图像处理方法的又一个原理示意图；

图11是本申请某些实施方式的图像处理方法的又一个原理示意图；

图12是本申请某些实施方式的图像处理方法的又一个原理示意图；

图13是本申请某些实施方式的图像处理方法的流程示意图；

图14是本申请某些实施方式的图像处理方法的流程示意图；

图15是本申请某些实施方式的图像处理方法的流程示意图；

图16是本申请某些实施方式的图像处理方法的又一个原理示意图；

图17是本申请某些实施方式的图像处理方法的流程示意图；

图18是本申请某些实施方式的图像处理方法的又一个原理示意图；

图19是本申请某些实施方式的图像处理方法的又一个原理示意图；

图20是本申请某些实施方式的图像处理方法的流程示意图；

图21是本申请某些实施方式的图像处理方法的又一个原理示意图；

图22是本申请某些实施方式的图像处理方法的又一个原理示意图；

图23是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图3，本申请提供一种用于图像传感器10的图像处理方法。图像传感器10包括像素阵列11。像素阵列11包括多个全色像素及多个彩色像素。彩色像素具有比全色像素更窄的光谱响应。图像处理方法包括：

01：控制像素阵列11曝光以获取原始图像；

02：处理原始图像以获取全色拟合图像及第一图像，全色拟合图像中的像素与第一图像中的像素一一对应；及

03：对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像。

请参阅图1、图2和图3，本申请还提供一种摄像头组件100。摄像头组件100包括图像传感器10和处理器20。图像传感器10包括像素阵列11。像素阵列11包括多个全色像素及多个彩色像素。彩色像素具有比全色像素更窄的光谱响应。处理器20可以用于执行01、02和03中的方法。

也即是说，处理器20可以用于：控制像素阵列11曝光以获取原始图像；处理原始图像以获取全色拟合图像及第一图像，全色拟合图像中的像素与第一图像中的像素一一对应；及对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像。

本申请实施方式的图像处理方法和摄像头组件100可以对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以对全色拟合图像的像素值和第一图像的像素值进行线性拟合，从而得到同时具有全色拟合图像的全色像素信息和第一图像的像素信息的第二图像，使得第二图像具有更高的性噪比，有利于提升本申请实施方式的图像处理方法和摄像头组件100得到的图像的成像质量。

本申请实施方式的图像处理方法可以用于本申请实施方式的处理器20，或者说，本发明实施方式的图像处理方法可以由本发明实施方式的处理器20实现。

下面结合附图对本申请作进一步说明。

图1是本申请某实施方式中的图像传感器10的示意图。图像传感器10可以包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

像素阵列11可以包括以阵列形式二维排列(即二维矩阵形式排布)的多个全色像素(图未示)及多个彩色像素(图未示)。每个全色像素和每个彩色像素根据入射在其上的光的强度将光转换为电荷。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括多个最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括一个或多个彩色像素及一个或多个全色像素。彩色像素可以包括多类单颜色像素。例如，多类单颜色像素可以包括红色像素、绿色像素和蓝色像素。又例如，多类单颜色像素可以包括品红像素、青色像素和黄色像素。再例如，多类单颜色像素可以包括红色像素、黄色像素和蓝色像素，本申请对此不作限制。

请参阅图3和图4，01中的方法，即是控制像素阵列曝光以获取图4左边所示的原始图像。

原始图像由具有多个最小重复单元的像素阵列11曝光形成。

请参阅图5，在某些实施方式中，最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。子单元的类别包括三类。其中，第一类子单元UA可以包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB可以包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC可以包括多个全色感光像素W和多个第三颜色感光像素C。第一对角线和第二对角线可以垂直。

请参阅图6，在另一些实施方式中，最小重复单元包括八个子单元，分别为两个第一类子单元UA、四个第二类子单元UB及两个第三类子单元UC。其中，两个第一类子单元UA与两个第三类子单元UC设置在第一对角线方向D1(例如图6中左上角和右下角连接的方向)，四个第二类子单元UB设置在第二对角线方向D2(例如图6中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。子单元的类别包括三类。其中，第一类子单元UA包括一个全色感光像素W和一个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和一个第二颜色感光像素B；第三类子单元UC包括一个全色感光像素W和一个第三颜色感光像素C。第一对角线和第二对角线可以垂直。

本申请实施方式的最小重复单元和子单元还可以为其他的像素排列形式，本申请对此不作限制。本申请某些实施方式的图像处理方法和摄像头组件100可以根据不同像素排列的最小重复单元和子单元，而对应地对相应的子单元的像素进行后续的分离和融合处理得到全色拟合图像和第一图像，例如图5所示的最小重复单元和子单元可以在后续的分离和融合处理中得到图像长宽为原始图像像素尺寸等比缩小的全色拟合图像和第一图像，而图6所示的最小重复单元和子单元可以在后续的分离和融合处理中得到图像长宽并且为原始图像像素尺寸等比缩小、但保留了更多的原始像素数据的全色拟合图像和第一图像，从而有利于呈现本申请某些实施方式的图像处理方法和摄像头组件100根据不同应用场景设置不同的最小重复单元和子单元，使得所得图像具有更好的成像效果。

请参阅图7，在某些实施方式的图像处理方法中，像素阵列11包括最小重复单元。每个最小重复单元包括多个子单元。每个子单元包括多个全色像素及多个彩色像素。处理原始图像以获取全色拟合图像及第一图像(02)，包括：

021：分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；

022：融合每个子单元中的多个全色像素的像素值以得到全色拟合图像；及

023：融合每个子单元中的多个彩色像素的像素值以得到第一图像。

在某些实施方式的摄像头组件100中，像素阵列11包括最小重复单元。每个最小重复单元包括多个子单元。每个子单元包括多个全色像素及多个彩色像素。处理器20还可以用于执行021、022和023中的方法。

也即是说，处理器20还可以用于：分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；融合每个子单元中的多个全色像素的像素值以得到全色拟合图像；及融合每个子单元中的多个彩色像素的像素值以得到第一图像。

请参阅图4，本申请某些实施方式的图像处理方法和摄像头组件100可以分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像。

请参阅图8或图10，本申请某些实施方式的图像处理方法和摄像头组件100可以融合每个子单元中的多个全色像素的像素值以得到全色拟合图像。具体地，当最小重复单元和子单元为图5所示的像素排列形式时，本申请某些实施方式的图像处理方法和摄像头组件100可以如图8所示，融合图8左侧的全色原始图像中每个子单元中的多个全色像素的像素值以得到全色拟合图像。其中，图8左侧的全色原始图像中的虚线框内的子单元融合得到图8右侧的全色拟合图像的虚线框中的像素值。当最小重复单元和子单元为图6所示的像素排列形式时，本申请某些实施方式的图像处理方法和摄像头组件100可以如图10所示，融合图10左侧的全色原始图像中每个子单元中的多个全色像素的像素值以得到全色拟合图像。其中，图10左侧的全色原始图像中的虚线框内的子单元融合得到图10右侧的全色拟合图像的虚线框中的像素值。

请参阅图9或图11，本申请某些实施方式的图像处理方法和摄像头组件100可以融合每个子单元中的多个彩色像素的像素值以得到第一图像。具体地，当最小重复单元和子单元为图5所示的像素排列形式时，本申请某些实施方式的图像处理方法和摄像头组件100可以如图9所示，融合图9左侧的彩色原始图像中每个子单元中的多个彩色像素的像素值以得到第一图像。其中，图9左侧的彩色原始图像中的虚线框内的子单元融合得到图9右侧的第一图像的虚线框中的像素值。当最小重复单元和子单元为图6所示的像素排列形式时，本申请某些实施方式的图像处理方法和摄像头组件100可以如图11所示，融合图11左侧的彩色原始图像中每个子单元中的多个彩色像素的像素值以得到第一图像。其中，图11左侧的彩色原始图像中的虚线框内的子单元融合得到图11右侧的第一图像的虚线框中的像素值。

本申请某些实施方式的图像处理方法和摄像头组件100可以融合每个子单元中的多个全色像素的像素值以得到全色拟合图像、融合每个子单元中的多个彩色像素的像素值以得到第一图像，使得原始图像能根据全色像素数据能输出全色拟合图像、根据彩色像素数据输出第一图像，便于后续本申请某些实施方式的图像处理方法和摄像头组件100能利用该全色拟合图像对第一图像进行优化，有利于提升成像效果。

第一图像可以包括第一彩色图像，第二图像可以包括第二彩色图像。本申请某些实施方式的图像处理方法和摄像头组件100可以对全色拟合图像与第一彩色图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二彩色图像，使得第二彩色图像具有第一彩色图像的彩色信息的同时具有全色拟合图像的全色信息，有利于提高第二彩色图像的性噪比，从而有利于提升本申请实施方式的图像处理方法和摄像头组件100的图像的成像质量。

请参阅图12及图13，在某些实施方式中，对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像(03)，包括：

031：根据像素的像素值大小确定全色拟合图像中的过曝像素及非过曝像素，其中，过曝像素对应第一彩色图像中的第一类像素，非过曝像素对应第一彩色图像中的第二类像素；

032：根据非过曝像素的像素值采用线性拟合融合滤波算法处理对第二类像素的像素值进行拟合以得到拟合像素值；及

033：在第一彩色图像中，将第二类像素的像素值替换为对应的拟合像素值，并保持第一类像素的像素值不变，以获取第二彩色图像。

在某些实施方式中，处理器20还可以用于执行031、032和033中的方法。

也即是说，处理器20还可以用于：根据像素的像素值大小确定全色拟合图像中的过曝像素及非过曝像素，其中，过曝像素对应第一彩色图像中的第一类像素，非过曝像素对应第一彩色图像中的第二类像素；根据非过曝像素的像素值采用线性拟合融合滤波算法处理对第二类像素的像素值进行拟合以得到拟合像素值；及在第一彩色图像中，将第二类像素的像素值替换为对应的拟合像素值，并保持第一类像素的像素值不变，以获取第二彩色图像。

本申请某些实施方式的图像处理方法和摄像头组件100可以根据像素的像素值大小确定全色拟合图像中的过曝像素及非过曝像素，其中，过曝像素对应第一彩色图像中的第一类像素，非过曝像素对应第一彩色图像中的第二类像素。具体地，请参阅图12，全色拟合图像中虚线框标示出的像素值W23和W31大于预设的像素阈值，因而像素值W23和W31对应的像素被确定为全色拟合图像中的过曝像素。全色拟合图像中未被虚线框标示出的像素值{W1,W2,W3,W4,...,W30,W32}均小于或等于预设的像素阈值，因而被确定为全色拟合图像中的非过曝像素。根据坐标位置，过曝像素对应第一彩色图像中的第一类像素，过曝像素的像素值W23和W31分别对应第一彩色图像中虚线框标示出的像素值A23和B31，则像素值A23和B31对应的像素为第一彩色图像中的第一类像素；非过曝像素对应第一彩色图像中的第二类像素，非过曝像素的像素值{W1,W2,W3,W4,...,W30,W32}分别对应第一彩色图像中未被虚线框标示出的像素值{A1,B2,A3,B4,...,C30,C32},则像素值{A1,B2,A3,B4,...,C30,C32}对应的像素为第一彩色图像中的第二类像素。

本申请某些实施方式的图像处理方法和摄像头组件100可以在全色拟合图像中根据预设的像素阈值划分出过曝像素及非过曝像素，再根据坐标位置的对应关系在第一彩色图像中划分出第一类像素和第二类像素，以对过曝像素及非过曝像素、第一类像素和第二类像素采用不同的处理策略，对去除过曝区域的全色拟合图像的像素值和第一图像的像素值进行线性拟合，使得线性拟合融合滤波算法处理能具有更好的对第一彩色图像和全色拟合图像的线性拟合的效果，使得第二彩色图像具有更高的性噪比，有利于提升本申请实施方式的图像处理方法和摄像头组件100得到的图像的成像质量。

请参阅图14，在某些实施方式中，根据非过曝像素的像素值采用线性拟合融合滤波算法处理对第二类像素的像素值进行拟合以得到拟合像素值(032)，包括：

0321：根据第二类像素的像素值与非过曝像素的像素值构建输入数据集；

0322：根据输入数据集利用最小二乘法获取线性拟合函数；及

0323：根据线性拟合函数及非过曝像素的像素值获取拟合像素值。

在某些实施方式中，处理器20还可以用于执行0321、0322和0323中的方法。

也即是说，处理器20还用于：根据第二类像素的像素值与非过曝像素的像素值构建输入数据集；根据输入数据集利用最小二乘法获取线性拟合函数；及根据线性拟合函数及非过曝像素的像素值获取拟合像素值。

具体地，请参照图12，本申请某些实施方式的图像处理方法和摄像头组件100可以根据第二类像素的像素值{A1,B2,A3,B4,...,C30,C32}与非过曝像素的像素值{W1,W2,W3,W4,...,W30,W32}构建输入数据集D＝{(W1,A1),(W2,B2),(W3,A3),(W4,B4),...,(W30,C30),(W32,C32)}。然后，本申请某些实施方式的图像处理方法和摄像头组件100可以根据输入数据集D＝{(W1,A1),(W2,B2),(W3,A3),(W4,B4),...,(W30,C30),(W32,C32)}利用最小二乘法获取线性拟合函数，获取线性拟合函数的方法如下：

①.列出线性拟合方程：

f(w_i)＝aw_i+b

②.用最小二乘法求解线性拟合方程的参数a、b，得到线性拟合函数：

先列出均方误差：

然后E(a,b)分别对a和b求导，得到：

再令偏导等于0，即可求得参数a和b的解：

从而得到线性拟合函数：

f(w_i)＝a₀w_i+b₀

其中，w_i为数据集D的数据中的{W1,W2,W3,W4,...,W30,W32}，y_i为数据集D的数据中的{A1,B2,A3,B4,...,C30,C32}，

为所有w_i的均值，n为数据集D中的w_i的个数或y_i的个数。数据集D中的w_i的个数和y_i的个数相等。

当本申请某些实施方式的图像处理方法和摄像头组件100的黑电平值已知时，参数b可以不用求解，线性回归方程可列为：

f(w_i)＝aw_i+b₁

其中，b₁为已知值，则只需要求解参数a，即可得到线性拟合函数f(w_i)＝a₀w_i+b₁。

接着，本申请某些实施方式的图像处理方法和摄像头组件100可以根据线性拟合函数f(w_i)＝a₀w_i+b₀(或f(w_i)＝a₀w_i+b₁)及非过曝像素的像素值{W1,W2,W3,W4,...,W30,W32}获取拟合像素值{A1’,B2’,A3’,B4’,...,C30’,C32’}。其中，A1’＝a₀·W1+b₀，B2’＝a₀·W2+b₀，A3’＝a₀·W3+b₀，B4’＝a₀·W4+b₀，...，C30’＝a₀·W30+b₀，C32’＝a₀·W32+b₀。

然后，请参阅图12，本申请某些实施方式的图像处理方法和摄像头组件100可以在第一彩色图像中，将第二类像素的像素值替换为对应的拟合像素值，并保持第一类像素的像素值不变，以获取第二彩色图像。具体地，第一图像中第二类像素的像素值{A1,B2,A3,B4,...,C30,C32}均替换为对应的拟合像素值{A1’,B2’,A3’,B4’,...,C30’,C32’}，并保持第一类像素的像素值A23和B31不变，以获取图12右侧所示的第二彩色图像。

请参阅图1及图15，在某些实施方式的图像处理方法中，像素阵列11包括最小重复单元。每个最小重复单元包括多个子单元。每个子单元包括多个全色像素及多个彩色像素。处理原始图像以获取全色拟合图像及第一图像(02)，包括：

本申请某些实施方式的线性拟合融合滤波算法处理可以利用最小二乘法获取线性拟合函数，并采用该线性拟合函数对全色拟合图像的像素值和第一图像的像素值进行线性拟合从而得到第二图像，使得第二图像融合了全色拟合图像的全色像素信息和第一图像的像素信息，以使得第二图像具有更高的性噪比，有利于提升本申请实施方式的图像处理方法和摄像头组件100得到的图像的成像质量。其中，第一图像可以为第一彩色图像，第二图像可以为第二彩色图像。

024：分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；

025：融合每个子单元中的多个全色像素的像素值以得到全色拟合图像；

026：融合每个子单元中的多个彩色像素的像素值以得到彩色中间图像；及

027：将彩色中间图像转换为YUV格式以得到第一图像。

请参阅图1、图2及图15，在某些实施方式的摄像头组件100中，像素阵列11包括最小重复单元。每个最小重复单元包括多个子单元。每个子单元包括多个全色像素及多个彩色像素。处理器20还可以用于执行025、026、027和028中的方法。

也即是说，处理器20可以还用于：分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；融合每个子单元中的多个全色像素的像素值以得到全色拟合图像；融合每个子单元中的多个彩色像素的像素值以得到彩色中间图像；及将彩色中间图像转换为YUV格式以得到第一图像。

请参阅图4，本申请某些实施方式的图像处理方法和摄像头组件100可以分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像。

请参阅图8或图10，本申请某些实施方式的图像处理方法和摄像头组件100可以融合每个子单元中的多个全色像素的像素值以得到全色拟合图像，其具体过程与前述本申请某些实施方式的图像处理方法和摄像头组件100融合每个子单元中的多个全色像素的像素值以得到全色拟合图像的具体过程相同，在此不再展开说明。

请参阅图9或图11，本申请某些实施方式的图像处理方法和摄像头组件100可以融合每个子单元中的多个彩色像素的像素值以得到彩色中间图像。具体地，当最小重复单元和子单元为图5所示的像素排列形式时，本申请某些实施方式的图像处理方法和摄像头组件100可以如图9所示，融合图9左侧的彩色原始图像中每个子单元中的多个彩色像素的像素值以得到彩色中间图像。其中，图9左侧的彩色原始图像中的虚线框内的子单元融合得到图9右侧的彩色中间图像的虚线框中的像素值。当最小重复单元和子单元为图6所示的像素排列形式时，本申请某些实施方式的图像处理方法和摄像头组件100可以如图11所示，融合图11左侧的彩色原始图像中每个子单元中的多个彩色像素的像素值以得到彩色中间图像。其中，图11左侧的彩色原始图像中的虚线框内的子单元融合得到图11右侧的彩色中间图像的虚线框中的像素值。

本申请某些实施方式的图像处理方法和摄像头组件100可以融合每个子单元中的多个全色像素的像素值以得到全色拟合图像、融合每个子单元中的多个彩色像素的像素值以得到彩色中间图像，并可以将彩色中间图像转换为YUV格式以得到第一图像(或者称为第一YUV图像)，使得原始图像能根据全色像素数据能输出全色拟合图像、根据彩色像素数据输出第一YUV图像，便于后续本申请某些实施方式的图像处理方法和摄像头组件100能利用该全色拟合图像对第一YUV图像进行优化，有利于提升成像效果。

第一图像可以包括第一YUV图像，第二图像可以包括第二YUV图像。本申请某些实施方式的图像处理方法和摄像头组件100可以对全色拟合图像与第一YUV图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二YUV图像，使得第二YUV图像具有第一YUV图像的信息的同时具有全色拟合图像的全色信息，有利于提高第二YUV图像的性噪比，从而有利于提升本申请实施方式的图像处理方法和摄像头组件100的图像的成像质量。

请参阅图16，本申请某些实施方式的图像处理方法和摄像头组件100可以将彩色中间图像转换为YUV格式以得到第一图像(或者称为第一YUV图像)，具体地，将图16左侧所示的彩色中间图像转换为YUV格式以得到图16右侧所示的第一图像(或者称为第一YUV图像)。

请参阅图17，在某些实施方式中，对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像(03)，包括：

034：根据像素的像素值大小确定全色拟合图像中的过曝像素及非过曝像素，其中，过曝像素对应第一YUV图像中的第一类像素，非过曝像素对应第一YUV图像中的第二类像素；

035：处理第一图像以获取Y通道图像数据及色度通道图像数据；

036：根据非过曝像素的像素值采用线性拟合融合滤波算法处理对第二类像素的像素值进行拟合以得到拟合像素值；及

037：在第一YUV图像中，将Y通道图像数据中的第二类像素的像素值替换为对应的拟合像素值，并保持第一类像素的像素值不变及保持色度通道图像数据不变，以获取第二YUV图像。

在某些实施方式中，处理器20还可以用于执行034、035、036和037中的方法。

也即是说，处理器20还可以用于：根据像素的像素值大小确定全色拟合图像中的过曝像素及非过曝像素，其中，过曝像素对应第一YUV图像中的第一类像素，非过曝像素对应第一YUV图像中的第二类像素；处理第一图像以获取Y通道图像数据及色度通道图像数据；根据非过曝像素的像素值采用线性拟合融合滤波算法处理对第二类像素的像素值进行拟合以得到拟合像素值；及在第一YUV图像中，将Y通道图像数据中的第二类像素的像素值替换为对应的拟合像素值，并保持第一类像素的像素值不变及保持色度通道图像数据不变，以获取第二YUV图像。

本申请某些实施方式的图像处理方法和摄像头组件100可以根据像素的像素值大小确定全色拟合图像中的过曝像素及非过曝像素，其中，过曝像素对应第一YUV图像中的第一类像素，非过曝像素对应第一YUV图像中的第二类像素。具体地，请参阅图18，全色拟合图像中虚线框标示出的像素值W23和W31大于预设的像素阈值，因而像素值W23和W31对应的像素被确定为全色拟合图像中的过曝像素。全色拟合图像中未被虚线框标示出的像素值{W1,W2,W3,W4,...,W30,W32}均小于或等于预设的像素阈值，因而被确定为全色拟合图像中的非过曝像素。根据坐标位置，过曝像素对应第一YUV图像中的第一类像素，过曝像素的像素值W23和W31分别对应第一YUV图像中虚线框标示出的像素值YCrCb23和YCrCb31，则像素值YCrCb23和YCrCb31对应的像素为第一YUV图像中的第一类像素；非过曝像素对应第一YUV图像中的第二类像素，非过曝像素的像素值{W1,W2,W3,W4,...,W30,W32}分别对应第一YUV图像中未被虚线框标示出的像素值{YCrCb1,YCrCb2,YCrCb3,YCrCb4,...,YCrCb30,YCrCb32},则像素值{YCrCb1,YCrCb2,YCrCb3,YCrCb4,...,YCrCb30,YCrCb32}对应的像素为第一YUV图像中的第二类像素。

本申请某些实施方式的图像处理方法和摄像头组件100可以处理第一图像以获取Y通道图像数据及色度通道图像数据。具体地，请参阅图19，第一YUV图像中每个像素的Y通道数据和色度通道数据可以分离，从而得到Y通道图像数据及色度通道图像数据。其中，第一YUV图像中的第一类像素对应Y通道图像数据中的第一类Y通道数据，也即Y通道图像数据中虚线框标示出的Y通道数据Y23和Y31；第一YUV图像中的第二类像素对应Y通道图像数据中的第二类Y通道数据，也即Y通道图像数据中未被虚线框标示出的Y通道数据{Y1,Y2,Y3,Y4,...,Y30,Y32}。

可以理解，若直接将第一YUV图像的Y通道数据替换为全色拟合图像的全色数据，则会完全保留全色拟合图像的信噪比，全色拟合图像的整体亮度高于第一YUV图像因而更容易产生过曝现象。基于以上思考，本申请某些实施方式的图像处理方法和摄像头组件100可以在全色拟合图像中根据预设的像素阈值划分出过曝像素及非过曝像素，再根据坐标位置的对应关系在第一YUV图像中划分出第一类像素和第二类像素，并且第一类像素还对应第一类Y通道数据，第二类像素还对应第二类Y通道数据，以对过曝像素及非过曝像素、第一类像素和第二类像素、采用不同的处理策略，对去除过曝区域的全色拟合图像的像素值和第一YUV图像的像素值进行线性拟合，使得线性拟合融合滤波算法处理能具有更好的对第一YUV图像和全色拟合图像的线性拟合的效果，使得第二YUV图像具有更高的性噪比，有利于提升本申请实施方式的图像处理方法和摄像头组件100得到的图像的成像质量。

请参阅图20，在某些实施方式中，根据非过曝像素的像素值采用线性拟合融合滤波算法处理对第二类像素的像素值进行拟合以得到拟合像素值(036)，包括：

0361：根据第二类像素的像素值与非过曝像素的像素值构建输入数据集；

0362：根据输入数据集利用最小二乘法获取线性拟合函数；及

0363：根据线性拟合函数及非过曝像素的像素值获取拟合像素值。

在某些实施方式中，处理器20还可以用于执行0361、0362和0363中的方法。

也即是说，处理器20还可以用于：根据第二类像素的像素值与非过曝像素的像素值构建输入数据集；根据输入数据集利用最小二乘法获取线性拟合函数；及根据线性拟合函数及非过曝像素的像素值获取拟合像素值。

具体地，请参照图19，本申请某些实施方式的图像处理方法和摄像头组件100可以根据第二类像素的像素值{YCrCb1,YCrCb2,YCrCb3,YCrCb4,...,YCrCb30,YCrCb32}中的第二类Y通道数据{Y1,Y2,Y3,Y4,...,Y30,Y32}与非过曝像素的像素值{W1,W2,W3,W4,...,W30,W32}构建输入数据集D＝{(W1,Y1),(W2,Y2),(W3,Y3),(W4,Y4),...,(W30,Y30),(W32,Y32)}。然后，本申请某些实施方式的图像处理方法和摄像头组件100可以根据输入数据集D＝{(W1,Y1),(W2,Y2),(W3,Y3),(W4,Y4),...,(W30,Y30),(W32,Y32)}利用最小二乘法获取线性拟合函数，获取线性拟合函数的方法如下：

①.列出线性拟合方程：

f(w_i)＝aw_i+b

②.用最小二乘法求解线性拟合方程的参数a、b，得到线性拟合函数：

先列出均方误差：

然后E(a,b)分别对a和b求导，得到：

再令偏导等于0，即可求得参数a和b的解：

从而得到线性拟合函数：

f(w_i)＝a₀w_i+b₀

其中，w_i为数据集D的数据中的{W1,W2,W3,W4,...,W30,W32}，y_i为数据集D的数据中的{Y1,Y2,Y3,Y4,...,Y30,Y32}，

为所有w_i的均值，n为数据集D中的w_i的个数或y_i的个数。数据集D中的w_i的个数和y_i的个数相等。

当本申请某些实施方式的图像处理方法和摄像头组件100的黑电平值已知时，参数b可以不用求解，线性回归方程可列为：

f(w_i)＝aw_i+b₁

其中，b₁为已知值，则只需要求解参数a，即可得到线性拟合函数f(w_i)＝a₀w_i+b₁。

接着，本申请某些实施方式的图像处理方法和摄像头组件100可以根据线性拟合函数f(w_i)＝a₀w_i+b₀(或f(w_i)＝a₀w_i+b₁)及非过曝像素的像素值{W1,W2,W3,W4,...,W30,W32}获取拟合Y通道图像数据{Y1’,Y2’,Y3’,Y4’,...,Y30’,Y32’}，从而与。其中，Y1’＝a₀·W1+b₀，Y2’＝a₀·W2+b₀，Y3’＝a₀·W3+b₀，Y4’＝a₀·W4+b₀，...，Y30’＝a₀·W30+b₀，Y32’＝a₀·W32+b₀。

然后，请参阅图19、图21和图22，本申请某些实施方式的图像处理方法和摄像头组件100可以在第一YUV图像的Y通道图像数据中，将第二类Y通道数据替换为对应的拟合Y通道图像数据，同时保持第一类Y通道数据的数据值不变,并结合保持不变的色度通道图像数据，从而实现将第二类像素的像素值替换为对应的拟合像素值，同时保持第一类像素的像素值不变，以获取第二YUV图像。具体地，第二类Y通道数据{Y1,Y2,Y3,Y4,...,Y30,Y32}替换为对应的拟合Y通道图像数据{Y1’,Y2’,Y3’,Y4’,...,Y30’,Y32’}，同时保持第一类Y通道数据Y23和Y31的数据值不变,并结合保持不变的色度通道图像数据{CrCb1,CrCb2,CrCb3,CrCb4,...,CrCb31,CrCb32}，从而实现将第二类像素的像素值{YCrCb1,YCrCb2,YCrCb3,YCrCb4,...,YCrCb30,YCrCb32}替换为对应的拟合像素值{YCrCb1’,YCrCb2’,YCrCb3’,YCrCb4’,...,YCrCb30’,YCrCb32’}，同时保持第一类像素的像素值YCrCb23和YCrCb31不变，以获取图21右侧所示的第二YUV图像。

本申请某些实施方式的线性拟合融合滤波算法处理可以利用最小二乘法获取线性拟合函数，并采用该线性拟合函数对全色拟合图像的像素值和第一YUV图像的像素值进行线性拟合从而得到第二YUV图像，使得第二YUV图像融合了全色拟合图像的全色像素信息和第一YUV图像的像素信息，以使得第二YUV图像具有更高的性噪比，有利于提升本申请实施方式的图像处理方法和摄像头组件100得到的图像的成像质量。

请参阅图2，本申请还提供一种移动终端1000。移动终端1000包括壳体200及上述任意一项实施方式的摄像头组件100。摄像头组件100与壳体200结合。请结合图1，摄像头组件100包括图像传感器10和处理器20。图像传感器10包括像素阵列11。像素阵列11包括多个全色像素及多个彩色像素。彩色像素具有比全色像素更窄的光谱响应。处理器20用于：控制像素阵列11曝光以获取原始图像；处理原始图像以获取全色拟合图像及第一图像，全色拟合图像中的像素与第一图像中的像素一一对应；及对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像。

请参阅图23，本申请还提供一种计算机可读存储介质2000。计算机可读存储介质2000上存储有计算机程序。计算机程序被处理器20执行时实现上述任意一项实施方式的图像处理方法。图像处理方法包括：控制像素阵列11曝光以获取原始图像；处理原始图像以获取全色拟合图像及第一图像，全色拟合图像中的像素与第一图像中的像素一一对应；及对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以获取融合了全色拟合图像中全色像素信息的第二图像。

本申请实施方式的图像处理方法、摄像头组件100、移动终端1000及计算机可读存储介质2000可以对全色拟合图像与第一图像进行线性拟合融合滤波算法处理，以对去除了过曝区域的全色拟合图像的像素值和第一图像的像素值进行线性拟合，从而得到同时具有全色拟合图像的全色像素信息和第一图像的像素信息的第二图像，能充分利用原始图像中的全色像素的信息，使得第二图像具有更高的性噪比，有利于提升形成的图像质量。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (16)

1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素；所述彩色像素具有比所述全色像素更窄的光谱响应；所述图像处理方法包括：

控制所述像素阵列曝光以获取原始图像；

处理所述原始图像以获取全色拟合图像及第一图像，所述全色拟合图像中的像素与所述第一图像中的像素一一对应；及

对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像；

在所述第一图像包括第一彩色图像，所述第二图像包括第二彩色图像的情况下，所述对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像，包括：

根据像素的像素值大小确定所述全色拟合图像中的过曝像素及非过曝像素，其中，所述过曝像素对应所述第一彩色图像中的第一类像素，所述非过曝像素对应所述第一彩色图像中的第二类像素；

根据所述非过曝像素的像素值采用线性拟合融合滤波算法处理对所述第二类像素的像素值进行拟合以得到拟合像素值；及

在所述第一彩色图像中，将所述第二类像素的像素值替换为对应的所述拟合像素值，并保持所述第一类像素的像素值不变，以获取所述第二彩色图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述非过曝像素的像素值采用线性拟合融合滤波算法处理对所述第二类像素的像素值进行拟合以得到拟合像素值，包括：

根据所述第二类像素的像素值与所述非过曝像素的像素值构建输入数据集；

根据所述输入数据集利用最小二乘法获取线性拟合函数；及

根据所述线性拟合函数及所述非过曝像素的像素值获取所述拟合像素值。

3.根据权利要求1所述的图像处理方法，其特征在于，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个子单元，每个所述子单元包括多个所述全色像素及多个彩色像素；所述处理所述原始图像以获取全色拟合图像及第一图像，包括：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；

融合每个所述子单元中的多个所述全色像素的像素值以得到所述全色拟合图像；及

融合每个所述子单元中的多个所述彩色像素的像素值以得到所述第一图像。

4.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像包括第一YUV图像，所述第二图像包括第二YUV图像。

5.根据权利要求4所述的图像处理方法，其特征在于，在所述第一图像包括第一YUV图像，所述第二图像包括第二YUV图像的情况下，所述对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像，包括：

根据像素的像素值大小确定所述全色拟合图像中的过曝像素及非过曝像素，其中，所述过曝像素对应所述第一YUV图像中的第一类像素，所述非过曝像素对应所述第一YUV图像中的第二类像素；

处理所述第一图像以获取Y通道图像数据及色度通道图像数据；

根据所述非过曝像素的像素值采用线性拟合融合滤波算法处理对所述第二类像素的像素值进行拟合以得到拟合像素值；及

在所述第一YUV图像中，将所述Y通道图像数据中的所述第二类像素的像素值替换为对应的所述拟合像素值，并保持所述第一类像素的像素值不变及保持所述色度通道图像数据不变，以获取所述第二YUV图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述非过曝像素的像素值采用线性拟合融合滤波算法处理对所述第二类像素的像素值进行拟合以得到拟合像素值，包括：

根据所述第二类像素的像素值与所述非过曝像素的像素值构建输入数据集；

根据所述输入数据集利用最小二乘法获取线性拟合函数；及

根据所述线性拟合函数及所述非过曝像素的像素值获取所述拟合像素值。

7.根据权利要求4所述的图像处理方法，其特征在于，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个子单元，每个所述子单元包括多个所述全色像素及多个彩色像素；所述处理所述原始图像以获取全色拟合图像及第一图像，包括：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；

融合每个所述子单元中的多个所述全色像素的像素值以得到所述全色拟合图像；

融合每个所述子单元中的多个所述彩色像素的像素值以得到彩色中间图像；及

将所述彩色中间图像转换为YUV格式以得到所述第一图像。

8.一种摄像头组件，其特征在于，所述摄像头组件包括：

图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素；所述彩色像素具有比所述全色像素更窄的光谱响应；及

处理器，所述处理器用于：

控制所述像素阵列曝光以获取原始图像；

处理所述原始图像以获取全色拟合图像及第一图像，所述全色拟合图像中的像素与所述第一图像中的像素一一对应；及

对所述全色拟合图像与所述第一图像进行线性拟合融合滤波算法处理，以获取融合了所述全色拟合图像中全色像素信息的第二图像

在所述第一图像包括第一彩色图像，所述第二图像包括第二彩色图像的情况下，所述处理器还用于：

根据像素的像素值大小确定所述全色拟合图像中的过曝像素及非过曝像素，其中，所述过曝像素对应所述第一彩色图像中的第一类像素，所述非过曝像素对应所述第一彩色图像中的第二类像素；

根据所述非过曝像素的像素值采用线性拟合融合滤波算法处理对所述第二类像素的像素值进行拟合以得到拟合像素值；及

在所述第一彩色图像中，将所述第二类像素的像素值替换为对应的所述拟合像素值，并保持所述第一类像素的像素值不变，以获取所述第二彩色图像。

9.根据权利要求8所述的摄像头组件，其特征在于，所述处理器还用于：

根据所述第二类像素的像素值与所述非过曝像素的像素值构建输入数据集；

根据所述输入数据集利用最小二乘法获取线性拟合函数；及

根据所述线性拟合函数及所述非过曝像素的像素值获取所述拟合像素值。

10.根据权利要求8所述的摄像头组件，其特征在于，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个子单元，每个所述子单元包括多个所述全色像素及多个彩色像素；所述处理器还用于：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；

融合每个所述子单元中的多个所述全色像素的像素值以得到所述全色拟合图像；及

融合每个所述子单元中的多个所述彩色像素的像素值以得到所述第一图像。

11.根据权利要求8所述的摄像头组件，其特征在于，所述第一图像包括第一YUV图像，所述第二图像包括第二YUV图像。

12.根据权利要求11所述的摄像头组件，其特征在于，所述处理器还用于：

根据像素的像素值大小确定所述全色拟合图像中的过曝像素及非过曝像素，其中，所述过曝像素对应所述第一YUV图像中的第一类像素，所述非过曝像素对应所述第一YUV图像中的第二类像素；

处理所述第一图像以获取Y通道图像数据及色度通道图像数据；

根据所述非过曝像素的像素值采用线性拟合融合滤波算法处理对所述第二类像素的像素值进行拟合以得到拟合像素值；及

在所述第一YUV图像中，将所述Y通道图像数据中的所述第二类像素的像素值替换为对应的所述拟合像素值，并保持所述第一类像素的像素值不变及保持所述色度通道图像数据不变，以获取所述第二YUV图像。

13.根据权利要求12所述的摄像头组件，其特征在于，所述处理器还用于：

根据所述第二类像素的像素值与所述非过曝像素的像素值构建输入数据集；

根据所述输入数据集利用最小二乘法获取线性拟合函数；及

根据所述线性拟合函数及所述非过曝像素的像素值获取所述拟合像素值。

14.根据权利要求11所述的摄像头组件，其特征在于，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个子单元，每个所述子单元包括多个所述全色像素及多个彩色像素；所述处理器还用于：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及一帧彩色原始图像；

融合每个所述子单元中的多个所述全色像素的像素值以得到所述全色拟合图像；

融合每个所述子单元中的多个所述彩色像素的像素值以得到彩色中间图像；及

将所述彩色中间图像转换为YUV格式以得到所述第一图像。

15.一种移动终端，其特征在于，包括：

壳体；及

权利要求8至14任一项所述的摄像头组件，所述摄像头组件与所述壳体结合。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的图像处理方法。

Images