CN114760449A - 图像处理方法、图像处理装置、终端及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、终端及可读存储介质。图像传感器中的像素阵列包括多个感光像素，每个感光像素具有对应的视场及对应的颜色，图像处理方法包括：获取像素阵列曝光得到的原始图像，原始图像由多个原始图像数据组成，每个原始图像数据由一个感光像素生成；获取与每个感光像素的颜色及视场均对应的目标点扩散函数；根据与同一个感光像素对应的原始图像数据及目标点扩散函数进行卷积处理，以获取与感光像素对应的中间图像数据，多个中间图像数据组成中间图像。本申请通过与感光像素对应视场下的点扩散函数与原始图像中的原始图像数据进行卷积，能够降低串扰对感光像素响应数据的影响，以提升感光像素响应数据的准确性。

Description

图像处理方法、图像处理装置、终端及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、终端及计算机可读存储介质。

背景技术

图像传感器中包括多个像素，每个像素接收到单颜色通道的像素信息，但是在实际过程中像素之间是存在串扰的，例如光谱串扰、光学串扰及电子扩散等。因此，各个像素响应的准确性就会急剧下降，进而会导致后续获得的图像的色彩误差，使得图像的图像品质急剧下降。

发明内容

本申请实施方式提供了一种图像处理方法、图像处理装置、终端及计算机可读存储介质。

本申请实施方式的图像处理方法用于图像传感器。所述图像传感器中的像素阵列包括多个感光像素，每个感光像素具有对应的视场及对应的颜色，所述图像处理方法包括：获取所述像素阵列曝光得到的原始图像，所述原始图像由多个原始图像数据组成，每个所述原始图像数据由一个所述感光像素生成；获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数；根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取与所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。

本申请实施方式的图像处理装置包括第一获取模块、第二获取模块及处理模块。第一获取模块用于获取所述像素阵列曝光得到的原始图像，所述原始图像由多个原始图像数据组成，每个所述原始图像数据由一个所述感光像素生成。第二获取模块用于获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数。处理模块用于根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。其中，图像传感器中的像素阵列包括多个感光像素，每个感光像素具有对应的视场及对应的颜色。

本申请实施方式的终端包括一个或多个处理器、存储器及一个或多个程序。其中一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行图像处理方法。图像处理方法包括：获取所述像素阵列曝光得到的原始图像，所述原始图像由多个原始图像数据组成，每个所述原始图像数据由一个所述感光像素生成；获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数；根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取与所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。

本申请实施方式的非易失性计算机可读存储介质包含有计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如下图像处理方法：获取所述像素阵列曝光得到的原始图像，所述原始图像由多个原始图像数据组成，每个所述原始图像数据由一个所述感光像素生成；获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数；根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取与所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。

本申请的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质，通过与感光像素对应视场下的点扩散函数与原始图像中的原始图像数据进行卷积，能够降低串扰对感光像素响应数据的影响，以提升感光像素响应数据的准确性，从而提升最终获得的图像的图像品质。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是相邻感光像素之间存在串扰的问题的原理示意图；

图2是本申请某些实施方式中的图像处理方法的流程示意图；

图3是本申请某些实施方式中的图像处理装置的结构示意图；

图4是本申请某些实施方式中的终端的结构示意图；

图5是本申请某些实施方式中的像素阵列的示意图；

图6是本申请某些实施方式中的像素阵列的感光像素及其对应的视场的示意图；

图7是本申请某些实施方式中的像素阵列、原始图像及中间图像的示意图；

图8是本申请某些实施方式中的图像处理方法的流程示意图；

图9是本申请某些实施方式中的与红色对应的某一视场下PSF测量结果的示意图；

图10是本申请某些实施方式中的图像处理方法的流程示意图；

图11是本申请某些实施方式中的获取与不同颜色对应的中心视场下的点扩散函数及预设数量个不同视场下的点扩散函数的示意图；

图12是本申请某些实施方式中的图像处理方法的流程示意图；

图13A是本申请某些实施方式中与绿色对应的不同视场下的点扩散函数的示意图；

图13B是本申请某些实施方式中的空间变化的系数矩阵的示意图；

图14是本申请某些实施方式中的图像处理方法的流程示意图；

图15是本申请某些实施方式中的非易失性计算机可读存储介质与处理器的连接示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

图像传感器中包括多个像素，每个像素接收到单颜色通道的像素信息，但是在实际过程中像素之间是存在串扰的，例如光谱串扰、光学串扰及电子扩散等。示例地，如图1所示，每个像素均包括微透镜101、滤光层102及光电转换元件103，图1中从左至右分别是蓝色像素、绿色像素和红色像素。在不发生串扰的情况下，蓝色像素的光电转换元件仅能够接收到与蓝色对应的信号光；红色像素的光电转换元件仅能够接收到与红色对应的信号光；绿色像素的光电转换元件仅能够接收到与绿色对应的信号光。但是在实际过程中像素之间是存在串扰的，以与绿色对应的信号光入射到对应像素上为例进行说明，其中，图1中直线表示与绿色对应的信号光。例如，如(a)所示，由于红色(R)、绿色(G)、蓝色(Bu)三通道的透射光谱响应存在公共区域，因此就会产生光谱串扰；再例如，如(b)所示，当信号光线入射角度增大就会产生光学串扰；再例如，如(c)所示，信号光通过滤光层到达光电转换元件上进行光电转换后产生的光电子由于内部电场和粒子本身漂移就会产生电子扩散。在这三种串扰作用下，信号光可以向周围其他像素迁移和传播，同理其他通道像素的信号也会向周围像素传播，因此由各个像素经过光电转换获取的图像数据的准确度就会急剧下降，进而影响后续插值的准确度，最终增大影像的色彩误差，使得影像表现力急剧下降。

为了解决上述问题，请参阅图2，本申请实施方式提供一种图像处理方法。图像处理方法用于图像传感器300(如图11所示)，图像传感器300中的像素阵列301(如图5所示)包括多个感光像素302，每个感光像素302具有对应的视场及对应的原始。图像处理方法包括：

01：获取像素阵列曝光得到的原始图像，原始图像由多个原始图像数据组成，每个原始图像数据由一个感光像素生成；

02：获取与每个感光像素的颜色及视场均对应的目标点扩散函数；

03：根据与同一个感光像素对应的原始图像数据及目标点扩散函数进行卷积处理，以获取与感光像素对应的中间图像数据，多个中间图像数据组成中间图像。

请参阅图3，本申请实施方式还提供一种图像处理装置100。图像处理装置100包括第一获取模块10、第二获取模块20及处理模块30。上述01中的方法可以由第一获取模块10执行实现、02中的方法可以由第二获取模块20执行实现、03中的方法可以由处理模块30执行实现。也即是说，第一获取模块10用于获取像素阵列曝光得到的原始图像，原始图像由多个原始图像数据组成，每个原始图像数据由一个感光像素生成。第二获取模块20用于获取与每个感光像素的颜色及视场均对应的目标点扩散函数。处理模块30用于根据与同一个感光像素对应的原始图像数据及目标点扩散函数进行卷积处理，以获取与感光像素对应的中间图像数据，多个中间图像数据组成中间图像。

请参阅图4，本申请实施方式还提供一种终端1000。终端1000包括一个或多个处理器200、存储器900及一个或多个程序。其中，一个或多个程序被存储在存储器900中，并且被一个或多个处理器200执行，程序包括用于执行上述图像处理方法的指令。也即是说，一个或多个处理器200用于执行上述01、02及03中所述的方法。即，一个或多个处理器200还用于获取像素阵列曝光得到的原始图像，原始图像由多个原始图像数据组成，每个原始图像数据由一个感光像素生成；获取与每个感光像素的颜色及视场均对应的目标点扩散函数；及根据与同一个感光像素对应的原始图像数据及目标点扩散函数进行卷积处理，以获取与感光像素对应的中间图像数据，多个中间图像数据组成中间图像。

本申请的图像处理方法、图像处理装置100及终端1000，通过与感光像素302对应视场下的点扩散函数与原始图像中的原始图像数据进行卷积，能够降低串扰对感光像素302响应数据的影响，以提升感光像素响应数据的准确性，从而提升最终获得的图像的图像品质。

需要说明的是，若感光像素302能够接收与某一颜色对应波长的光线，则认为该感光像素302与该颜色对应。在一些实施例中，图像中包括与三种不同颜色对应的感光像素302，感光像素302能够接收与其对应颜色对应波长的光线，并将接收到的光线转换为图像数据。示例地，请参阅图5，像素阵列301中包括第一颜色感光像素A、第二颜色感光像素B及第三感光像素C。其中，第一颜色感光像素A与第一颜色对应，也即，第一颜色感光像素A能够接收与第一颜色对应波长的光线；第二颜色感光像素B与第二颜色对应，也即，第二颜色感光像素B能够接收与第二颜色对应波长的光线；第三颜色感光像素C与第三颜色对应，也即，第三颜色感光像素C能够接收与第三颜色对应波长的光线。

其中，在一些实施例中，第一颜色可以为红色、第二颜色可以为绿色、第三颜色可以为蓝色，即第一感光像素A为红色感光像素R、第二感光像素B为绿色感光像素G、第三感光像素C为蓝色感光像素Bu；或者，在一些实施例中，第一颜色可以为红色、第二颜色为黄色、第三颜色为蓝色，即第一感光像素A为红色感光像素R、第二感光像素B为黄色感光像素Y、第三感光像素C为蓝色感光像素Bu；或者，在一些实施例中，第一颜色可以为品红色、第二颜色为青色、第三颜色为黄色，即第一感光像素A为品红色感光像素M、第二感光像素B为青色感光像素Cy、第三感光像素C为黄色感光像素Y。当然，在一些实施例中，像素阵列也可以包括其他颜色的感光像素，为了方便说明，在本申请实施例中，均以像素阵列包括与三种不同颜色对应的感光像素，且第一颜色可以为红色、第二颜色可以为绿色、第三颜色可以为蓝色，即第一感光像素A为红色感光像素R、第二感光像素B为绿色感光像素G、第三感光像素C为蓝色感光像素Bu，为例进行说明。

在一些实施例中，像素阵列中的红色感光像素R、绿色感光像素G及蓝色感光像素Bu可以呈拜耳阵列排列。示例地，请参阅图5，像素阵列包括多个最小重复单元，在每个最小重复单元中，绿色感光像素G沿第一对角线D1方向排列，红色感光像素R及蓝色感光像素Bu沿第二对角线D2方向排列，第一对角线D1与第二对角线D2方向不同。由于像素阵列中的红色感光像素R、绿色感光像素G及蓝色感光像素Bu呈拜耳阵列排列，有利于后续进行插值处理。

此外，每个感光像素具有对应的视场。在一些实施例中，不同视场具有对应的编号，且预先存储有位于像素阵列中不同位置的感光像素与不同视场编号的对应表，可以直接根据感光像素在像素阵列中的位置获取与其对应的视场编号，从而获取与该感光像素对应的视场。示例地，请参阅图6，图6左图为像素阵列301中多个感光像素302的示意图，图6右图为多个视场的示意图，其中多个视场的示意图是按照其对应的空间位置进行排列的。假设，在位于像素阵列中不同位置的感光像素与不同视场编号的对应表中记载，排列在像素阵列第一行第一列的感光像素与编号为(-1，1)的视场对应；排列在像素阵列第一行第二列的感光像素与编号为(-1，1)的视场对应；排列在第五行第一列的感光像素与编号为(-1，0)的视场对应，则排列在像素阵列第一行第一列的感光像素，与编号为(-1，1)的视场对应，即与第一视场对应；则排列在像素阵列第一行第二列的感光像素，与编号为(-1，1)的视场对应，即与第一视场对应；则排列在像素阵列第五行第一列的感光像素，与编号为(-1，0)的视场对应，即与第二视场对应。

具体地，控制像素阵列301曝光，获取像素阵列301曝光得到的原始图像。原始图像由多个原始图像数据组成，每个原始图像数据由一个感光像素302生成。请参阅图7，图7最上图为像素阵列中多个感光像素302的示意图，图7中间图为原始图像。其中，原始图像中包括多个原始图像数据，每个原始图像数据均是由在像素阵列对应位置的感光像素生成的。例如，排列在原始图像第一行第一列的原始图像数据，是由排列在像素阵列的第一行第一列的感光像素302生成的。

需要注意的是，每个原始图像数据与单颜色通道对应。例如，排列在像素阵列的第一行第一列的感光像素302为绿色感光像素，则排列在原始图像第一行第一列的原始图像数据与绿色通道对应；再例如，排列在像素阵列的第一行第二列的感光像素301为红色感光像素，则排列在原始图像第一行第二列的原始图像数据与红色通道对应。

请参阅图8，在一些实施例中，图像处理方法还包括：

04：预先标定与不同颜色对应的所有视场下的点扩散函数；

此时，获取与每个感光像素的颜色及视场均对应的目标点扩散函数，包括：

021：遍历像素阵列中的所有感光像素，获取当前感光像素对应的颜色及视场，并将与当前感光像素的颜色及视场均对应的点扩散函数，作为当前感光像素的目标点扩散函数。

请结合图3，在一些实施例中，图像处理模块30还包括标定模块40，上述04中的方法由标定模块40执行实现，021中的方法由第二获取模块20执行实现。即，标定模块40用于预先标定与不同颜色对应的所有视场下的点扩散函数，第二获取模块20还用于遍历像素阵列中的所有感光像素，获取当前感光像素对应的颜色及视场，并将与当前感光像素的颜色及视场均对应的点扩散函数，作为当前感光像素的目标点扩散函数。

请结合图4，在一些实施例中，上述04及021中的方法还可以由处理器200执行实现。也即，处理器200还可以用于预先标定与不同颜色对应的所有视场下的点扩散函数；及遍历像素阵列中的所有感光像素，获取当前感光像素对应的颜色及视场，并将与当前感光像素的颜色及视场均对应的点扩散函数，作为当前感光像素的目标点扩散函数。

示例地，在一些实施例中，可以在终端1000(或图像处理装置100)出厂之前就预先标定与不同颜色对应的所有视场下的点扩散函数，随后再将每个颜色对应的所有视场下的点扩散函数存储在终端1000(或图像处理装置100)中，以便后续能够获得与每个感光像素对应的颜色及视场均对应的点扩散函数。

需要说明的是，点扩散函数(point spread function，PSF)对光学系统来讲，输入物为一点光源时其输出像的光场分布。如图9所示，图9为与红色对应的某一视场下PSF测量结果。其中，中间的感光像素(即最高的柱状对应的点)为红色感光像素，其周围四个感光像素(即较低的四个柱状对应的点)并不是红色感光像素，光源是穿过红色滤光片及小孔直接入射至中间的感光像素上的，也即，红色的点光源是直接入射至中间的感光像素上的。若不存在串扰现象，光线应该全部被红色感光像素接收，而现在四周感光像素也接收到了光线，也即出现了串扰现象。如此可以通过该PSF标定出该红色光感像素(即最高的柱状对应的点)接收光线时，向四周感光像素外溢的光线值，后续在图像传感器300实际使用过程中再根据该PSF修正该红色光感像素实际响应的图像数据，即可降低串扰对感光像素响应图像数据的影响，以提升感光像素响应数据的准确性。

请参阅图10，在一些实施例中，预先标定与不同颜色对应的所有点扩散函数，包括：

041：获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；

042：根据与同一颜色对应的中心视场点扩散函数、及预设数量个与不同视场下的点扩散函数，获取与不同颜色对应的本征点扩散函数与空间变化的系数矩阵，其中，本征点扩散函数为中心视场下的点扩散函数，空间变化的系数矩阵用于表征与位于中心视场不同位置的视场下的点扩散函数与本征点扩散函数之间的变化；及

043：根据本征点扩散函数与空间变化的系数矩阵，预估与不同颜色对应的所有视场下的点扩散函数。

请结合图3，在一些实施例中，041、042及043中的方法可以由标定模块40执行实现。也即，标定模块40还用于获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；根据与同一颜色对应的中心视场点扩散函数、及预设数量个与不同视场下的点扩散函数，获取与不同颜色对应的本征点扩散函数与空间变化的系数矩阵，其中，本征点扩散函数为中心视场下的点扩散函数，空间变化的系数矩阵用于表征与位于中心视场不同位置的视场下的点扩散函数与本征点扩散函数之间的变化；及根据本征点扩散函数与空间变化的系数矩阵，预估与不同颜色对应的所有视场下的点扩散函数。

请结合图4，在一些实施例中，041、042及043中的方法可以处理器200执行实现。也即，处理器200还用于获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；根据与同一颜色对应的中心视场点扩散函数、及预设数量个与不同视场下的点扩散函数，获取与不同颜色对应的本征点扩散函数与空间变化的系数矩阵，其中，本征点扩散函数为中心视场下的点扩散函数，空间变化的系数矩阵用于表征与位于中心视场不同位置的视场下的点扩散函数与本征点扩散函数之间的变化；及根据本征点扩散函数与空间变化的系数矩阵，预估与不同颜色对应的所有视场下的点扩散函数。

由于整个空间的视场很多，不可能将所有视场下的点扩散函数均测量出来。因此，在一些实施例中，可以通过先获取与不同颜色对应的中心视场下的点扩散函数及预设数量个不同视场下的点扩散函数，再根据中心视场下的点扩散函数与其他不同视场下的点扩散函数预估出所有视场下的点扩散函数。如此能够在降低测量次数的同时，还能够获得所有视场下的点扩散函数，有利于降低标定的复杂程度。

为了能够获取与不同颜色对应的中心视场下的点扩散函数及预设数量个不同视场下的点扩散函数，请参阅图11，在一些实施例中，提供光源500、滤光片组件600、测试板700及透镜组件800，将光源500、滤光片组件600、测试板700、透镜组件800沿光源500的出光方向依次排列。其中，滤光片组件600包括与不同颜色对应的滤光片，且其颜色与像素阵列301中感光像素302对应的颜色相同，不同颜色的滤光片仅能通过与其颜色对应波长的光线。例如，若像素阵列301中包括红色感光像素、绿色感光像素及蓝色感光像素，则滤光片组件600包括红色滤光片、绿色滤光片及蓝色滤光片，且红色滤光片仅能通过与红色对应波长的光线，绿色滤光片仅能通过与绿色对应波长的光线，蓝色滤光片仅能通过与蓝色对应波长的光线。测试板700为不透光的平面结构，且其开设直径较小的有贯穿孔701，光线仅能够从测试板700的贯穿孔701穿过测试板700。由于PSF需要输入物为点光源，通过设置带贯穿孔701的测试板700，能够将入射图像传感器300的光线为点光源，以实现输入物为点光源，有利于后续PSF的测量。

将图像传感器300置于透镜组件800远离测试板700的一侧，且调整图像传感器300的与透镜组件800之间的距离，以将图像传感器300固定在能够获得清晰图像的位置。随后打开光源500，调整图像传感器300位置，以使图像传感器300中心与光源500的主光轴重合。在一些实施例中，会对光源500发出的光线先进行准直处理，以将光线处理为平行光，平行光依次穿过滤光片组件600及测试板700的贯穿孔701，这样通过移动贯穿孔701，就能够使图像传感器300中每个感光像素接收到的为点光源。

需要说明的是，在一些实施例中，是在图像传感器300组装至终端1000之前就将预先获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数。当然，在一些实施例中，还可以在将图像传感器300组装至终端1000后，再获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数，由于终端1000组件的镜头中包括透镜组件800，光线可以通过镜头的透镜组件800入射至图像传感器300，此时在获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数的过程中，无需再设置透镜组件800。

具体地，请参阅图12，在获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数，包括：

0411：将滤光片组件600中的其中一个滤光片与光源500对应；

0412：第一获取步骤：将贯穿孔701与图像传感器300的中心对应，获取中心视场下的点扩散函数；

0413：第二获取步骤：按照预设步长分别沿第一方向及第二方向移动测试板700，每移动一次测试板700获取一次当前视场下的点扩散函数，直至获取预设数量的点扩散函数，第一方向与第二方向不同；

0414：将滤光片组件600中的其他滤光片分别与光源500对应，并重复第一获取步骤及第二获取步骤。

请结合图3，在一些实施例中，0411、0412、0413及0414中的方法还可以由标定模块40执行实现，也即，标定模块40还用于将滤光片组件600中的其中一个滤光片与光源500对应；第一获取步骤：将贯穿孔701与图像传感器300的中心对应，获取中心视场下的点扩散函数；第二获取步骤：按照预设步长分别沿第一方向及第二方向移动测试板700，每移动一次测试板700获取一次当前视场下的点扩散函数，直至获取预设数量的点扩散函数，第一方向与第二方向不同；将滤光片组件600中的其他滤光片分别与光源500对应，并重复第一获取步骤及第二获取步骤。

请结合图4，在一些实施例中，0411、0412、0413及0414中的方法还可以由处理器200执行实现，也即，处理器200还用于将滤光片组件600中的其中一个滤光片与光源500对应；第一获取步骤：将贯穿孔701与图像传感器300的中心对应，获取中心视场下的点扩散函数；第二获取步骤：按照预设步长分别沿第一方向及第二方向移动测试板700，每移动一次测试板700获取一次当前视场下的点扩散函数，直至获取预设数量的点扩散函数，第一方向与第二方向不同；将滤光片组件600中的其他滤光片分别与光源500对应，并重复第一获取步骤及第二获取步骤。

以滤光片组件600包括红色滤光片、绿色滤光片及蓝色滤光片为例进行说明。示例地，在一些实施例中，滤光片组件600还可以包括可转动的转动件，红色滤光片、绿色滤光片及蓝色滤光片环绕转动件转动，转动件转动即可带动红色滤光片、绿色滤光片及蓝色滤光片转动，以使不同的滤光片与光源500对应。如此处理器200(或标定模块40)可以通过传输信号至滤光片组件600，以控制转动件转动，从而切换不同的滤光片与光源500对应。当然，在一些实施例中，还可以由用户直接手动切换不同的滤光片与光源500对应，在此不作限制。

首先，将滤光片组件600中的其中一个滤光片与光源500对应，此时只有与该滤光片的颜色对应波长的光线才能够穿过该滤光片。随后，执行第一获取步骤，即将贯穿孔701与图像传感器300的中心对应，获取中心视场下的点扩散函数。其中，可以通过移动测试板700以移动贯穿孔701。例如，在一些实施例中，测试板700可以安装于驱动组件上，且驱动组件能够驱动测试板700沿第一方向及第二方向移动，处理器200(或标定模块40)可以通过向驱动组件传输信号，以控制测试板700移动，从而使贯穿孔701与图像传感器300的中心对应。当然，在一些实施例中，还可以由用户手动直接移动测试板700，以使贯穿孔701与图像传感器300的中心对应，在此不作限制。

当贯穿孔701与图像传感器300的中心对应时，光源500发射的光线通过贯穿孔701能够打到像素阵列的中心视场下，此时图像传感器300中的像素阵列曝光，即可获得与滤光片的颜色对应的中心视场下的点扩散函数。

特别地，在一些实施例中，第一获取步骤还包括：若获取的中心视场下的点扩散函数与预设点扩散函数之间的误差，大于预设误差，则重新调整光源500、滤光片组件600、测试板700、透镜组件800及图像传感器300中的至少一个，并在调整后重新获取中心视场下的点扩散函数。

请结合图3及图4，在一些实施例中，若获取的中心视场下的点扩散函数与预设点扩散函数之间的误差，大于预设误差，则重新调整光源500、滤光片组件600、测试板700、透镜组件800及图像传感器300中的至少一个，标定模块40及处理器200均还用于在调整后重新获取中心视场下的点扩散函数。

需要说明的是，预设点扩散函数是指通过仿真模拟透镜组件800及图像传感器300在做完光学设计后可以输出的理论点扩散函数。在获得中心视场下的点扩散函数后，将获得中心视场下的点扩散函数与预设点扩散函数进行比较，若二者之间的误差大于预设误差，说明此时光源500、滤光片组件600、测试板700、透镜组件800及图像传感器300中的至少一个可能存在问题，若坚持以当前状态继续获取其他视场下的点扩散函数，会影响获取到的点扩散函数的准确度。因此，在本实施例中，在获取的中心视场下的点扩散函数与预设点扩散函数之间的误差大于预设误差时，重新调整光源500、滤光片组件600、测试板700、透镜组件800及图像传感器300中的至少一个，并且在调整后重新获取中心视场下的点扩散函数，直至获取到的中心视场下的点扩散函数与预设点扩散函数之间的误差不大于预设误差，才进行后续步骤。如此能够提高获取的点扩散函数的准确度，从而提升感光像素响应数据的准确性。

在获得中心视场下的点扩散函数后，按照预设步长分别沿第一方向及第二方向移动测试板700，每移动一次测试板700获取一次当前视场下的点扩散函数，直至获取预设数量的点扩散函数，第一方向与第二方向不同。其中，第一方向包括第一方向的正方向及第一方向的负方向，第二方向也包括第二方向的正方向及第二方向的负方向。

示例地，在一些实施例中，第一方向与像素阵列301的每一行的延伸方向相同，第二方向与像素阵列301的每一列的延伸方向相同。假设预设步长为5，预设数量为8，在贯穿孔701与图像传感器300的中心对应获取中心视场下的点扩散函数后，测试板700沿第一方向的正方向移动步长5，获取编号为(1,0)视场下的点扩散函数；测试板700再沿第二方向的正方向移动步长5，获取编号为(1,1)视场下的点扩散函数；测试板700再沿第一方向的负方向移动步长5，获取编号为(0,1)视场下的点扩散函数；测试板700再沿第一方向的负方向移动步长5，获取编号为(-1,1)视场下的点扩散函数；测试板700再沿第二方向的负方向移动步长5，获取编号为(-1,0)视场下的点扩散函数；测试板700再沿第二方向的负方向移动步长5，获取编号为(-1,-1)视场下的点扩散函数；测试板700再沿第一方向的正方向移动步长5，获取编号为(0,-1)视场下的点扩散函数；测试板700再沿第一方向的正方向移动步长5，获取编号为(1,-1)视场下的点扩散函数。通过移动测试板700，以使测试板700上的贯穿孔701与图像传感器300中不同感光像素对应，从而获得预设数量个不同视场下的点扩散函数。

同样地，在一些实施例中，测试板700可以安装于驱动组件上，且驱动组件能够驱动测试板700沿第一方向及第二方向移动，处理器200(或标定模块40)可以通过向驱动组件传输信号，以控制测试板700移动，从而使贯穿孔701与图像传感器300的中心对应。当然，在一些实施例中，还可以由用户手动直接移动测试板700，以使贯穿孔701与图像传感器300的中心对应，在此不作限制。

如此便获得了此时与光源500对应的滤光片的颜色的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；随后切换滤光片组件600中的其他滤光片与光源500对应，并重复上述步骤，如此便获得了与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数。例如，滤光片组件600包括红色滤光片、绿色滤光片及蓝色滤光片，先使红色滤光片与光源500对应后，获取与红色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；再将绿色滤光片光源500对应后，获取与绿色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；再将蓝色滤光片光源500对应后，获取与蓝色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数。如图13所示，图13A中为与绿色对应的不同视场下的点扩散函数，并且图13中多个点扩散函数是安装其对应视场的空间位置进行排布的。排列在第四行第七列的点扩散函数是中心视场下的点扩散函数，排列在第四行第六列的点扩散函数是编号为(-5,0)视场下的点扩散函数。也即，在获得中心视场下的扩散函数后，将测试板700沿第一方向的负方向移动一个预设步长后，获得的点扩散函数即为排列在第四行第六列的所示的点扩散函数。

由于在本实施例中，每次测试板700均是移动相同的预设步长，则相邻的两个视场的间隔也是相同的，相较于每次移动不同的步长，更有利于后续根据有限个不同视场下的点扩散函数，预估所有视场下的点扩散函数。

需要说明的是，上述获取与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数的过程需要在暗室中进行，如此能够减少其他光的干扰。在点扩散函数采集时，还需要注意控制像素阵列的曝光时间，以免点扩散函数强度值溢出。

此外，在一些实施例中，获取与不同所述颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数，还可以包括：调整光源500强度，以使光源500强度达到图像传感器300满阱值的一半。同样地，在一些实施例中，可以通过处理器200(或标定模块40)向光源500传输信号，以调整光源500强度；在一些实施例中，也可以用户直接控制光源500，以调整光源500的强度。由于，光源500强度在图像传感器300满阱值的一半时，图像传感器300中的感光像素的线性度最好，更有利于获取点扩散函数。其中，在一些实施例中，可以在调整不同颜色的滤光片与光源500对应后，调整光源500强度，以避免图像传感器300对不同颜色的光线的满阱值不同。当然，在一些实施例中，也可以仅调整一次光源500强度，在后续切换不同滤光片后无需再调整，如此能够降低操作的复杂程度，在此均不作限制。

在获得与不同颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数后，根据与同一颜色对应的中心视场点扩散函数、及预设数量个与不同视场下的点扩散函数，获取与不同颜色对应的本征点扩散函数与空间变化的系数矩阵，其中，本征点扩散函数为中心视场下的点扩散函数，空间变化的系数矩阵用于表征与位于中心视场不同位置的视场下的点扩散函数与本征点扩散函数之间的变化。

示例地，在一些实施例中，将获取到的与同一颜色对应的中心视场点扩散函数、及预设数量个与不同视场下的点扩散函数进行非负矩阵分解为一系列正交且空间无关的本征点扩散函数与空间变化的系数矩阵的乘积和。其中，在一些实施例中，本征点扩散函数可以为中心视场下的点扩散函数，空间变化的系数矩阵中的某一数值用于表征与该数值对应位置的视场下的点扩散函数与本征点扩散函数之间的变化。也即，本征点扩散函数与空间变化的系数矩阵中的某一数值的乘积，即为与该数值对应位置的视场下的点扩散函数。如此能够通过空间变化的系数矩阵将中心视场下的点扩散函数与其他不同视场下的点扩散函数之间的内在联系表示出来。

例如，以获取与绿色对应的本征点扩散函数与空间变化的系数矩阵为例，请参阅图13A及图13B，图13A中为与绿色对应的不同视场下的点扩散函数，并且图13中多个点扩散函数是安装其对应视场的空间位置进行排布的。其中，排列在图13A的第四行第七列的点扩散函数是中心视场下的点扩散函数。根据图13A中多个不同视场下的点扩散函数获取与不同颜色对应的本征点扩散函数与空间变化的系数矩阵。排列在图13A的第四行第七列的点扩散函数即为本征点扩散函数，图13B即为空间变化的系数矩阵。排列在图13A的第四行第七列的点扩散函数即为本征点扩散函数，与排列在空间变化的系数矩阵的第一行第一列的系数k1的乘积，即为排列在图13A的第一行第一列的点扩散函数。

需要说明的是，在一些实施例中，本征点扩散函数也可以不为中心视场下的点扩散函数，可以为其他视场下的点扩散函数。此时，获取的空间变化的系数矩阵用于表征与位于本征点扩散函数对应的视场的不同位置的视场下的点扩散函数与本征点扩散函数之间的变化。

在获得与不同颜色对应的本征点扩散函数与空间变化的系数矩阵后，根据本征点扩散函数与空间变化的系数矩阵，预估与不同颜色对应的所有视场下的点扩散函数。在一些实施例中，可以根据与同一颜色对应的本征点扩散函数与空间变化的系数矩阵进行拟合量化，以获得一个与该颜色对应的函数f(x)，其中，变量x为不同视场与中心视场之间的空间位置，因变量f(x)为与中心视场之间的空间位置x的视场下的点扩散函数。如此只需要将不同视场与中心视场之间的空间位置代入与该颜色对应的函数f(x)，即可获得与该颜色对应的不同视场下的点扩散函数，如此便可以获得所有颜色对应的所有视场下的点扩散函数。

在完成预先标定不同颜色对应的所有视场下的点扩散函数后，在一些实施例中，将标定好的不同颜色对应的所有视场下的点扩散函数存储在终端1000(或图像处理装置100)中。在获取到原始图像后，处理器200(或第二获取模块20)遍历像素阵列中的所有感光像素，获取感光像素对应的颜色及视场，并将与当前感光像素的颜色及视场均对应的点扩散函数，作为当前感光像素的目标点扩散函数。

例如，假设感光像素A为绿色，且其对应的视场为中心视场，则先获取与绿色对应的所有视场下的点扩散函数，随后在其中找到与绿色对应的中心视场的点扩散函数，并将该点扩散函数作为感光像素A的目标点扩散函数。

在获得与感光像素的颜色及视场均对应的目标点扩散函数后，根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取与所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。由于通过与感光像素对应视场下的点扩散函数与原始图像中的原始图像数据进行卷积获得中间图像，能够降低串扰对感光像素响应数据的影响，以提升中间图像或者的多个中间图像数据的准确性，有利于提升最终获得图像的图像品质。

示例地，请参阅图7，图7最上图为像素阵列中感光像素的示意图，图7中间图为原始图像的示意图，图7最下图为中间图像的示意图，排列在原始图像的第一行第一列的原始图像数据，与排列在像素阵列的第一行第一列的感光像素对应。排列在原始图像的第一行第一列的原始图像数据，与排列在像素阵列的第一行第一列的感光像素对应的目标点扩散函数进行卷积处理，获得的中间图像数据放置在中间图像的第一行第一列。

请参阅图14，在一些实施例中，每个中间图像数据与单颜色通道对应，图像处理方法还包括：

05：对中间图像进行插值处理，以获得目标图像，目标图像中包括多个像素点，每个像素点具有多个与不同颜色通道对应的目标图像数据。

请结合图3，在一些实施例中，图像处理装置100还包括插值模块50，05中的方法可以由插值模块50执行实现。也即，插值模块50还用于对中间图像进行插值处理，以获得目标图像，目标图像中包括多个像素点，每个像素点具有多个与不同颜色通道对应的目标图像数据。

请结合图4，在一些实施例中，05中的方法可以由处理器200执行实现。也即，处理器200还用于对中间图像进行插值处理，以获得目标图像，目标图像中包括多个像素点，每个像素点具有多个与不同颜色通道对应的目标图像数据。

在获得中间图像后，每个中间图像数据与单颜色通道对应。对中间图像进行插值处理，以获得目标图像，目标图像中包括多个像素点，每个像素点具有多个与不同颜色通道对应的目标图像数据。如此目标图像中的每个像素点均具有与多个颜色通道对应的目标图像数据。

请参阅图15，本申请实施方式还提供一种包含计算机程序401的非易失性计算机可读存储介质400。当计算机程序401被一个或多个处理器200执行时，使得处理器200执行：01、02、03、、04、021、041、042、043、0411、0412、0413、0414、05中的图像处理方法。

例如，请结合图2，当计算机程序401被一个或多个处理器200执行时，使得处理器200执行以下方法：

01：获取像素阵列曝光得到的原始图像，原始图像由多个原始图像数据组成，每个原始图像数据由一个感光像素生成；

02：获取与每个感光像素的颜色及视场均对应的目标点扩散函数；

03：根据与同一个感光像素对应的原始图像数据及目标点扩散函数进行卷积处理，以获取与感光像素对应的中间图像数据，多个中间图像数据组成中间图像。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，用于图像传感器，所述图像传感器中的像素阵列包括多个感光像素，每个感光像素具有对应的视场及对应的颜色，所述图像处理方法包括：

获取所述像素阵列曝光得到的原始图像，所述原始图像由多个原始图像数据组成，每个所述原始图像数据由一个所述感光像素生成；

获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数；

根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取与所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

预先标定与不同颜色对应的所有所述视场下的点扩散函数；

所述获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数，包括：

遍历所述像素阵列中的所有感光像素，获取所述感光像素对应的所述颜色及所述视场，并将与当前感光像素的所述颜色及所述视场均对应的点扩散函数，作为当前所述感光像素的目标点扩散函数。

3.根据权利要求2所述的图像处理方法，其特征在于，所述预先标定与不同颜色对应的所有所述视场下的点扩散函数，包括：

获取与不同所述颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数；

根据与同一所述颜色对应的中心视场点扩散函数、及预设数量个与不同视场下的点扩散函数，获取与不同颜色对应的本征点扩散函数与空间变化的系数矩阵，其中，所述本征点扩散函数为中心视场下的点扩散函数，所述空间变化的系数矩阵用于表征与位于中心视场不同位置的视场下的点扩散函数与本征点扩散函数之间的变化；及

根据所述本征点扩散函数与所述空间变化的系数矩阵，预估与不同颜色对应的所有所述视场下的点扩散函数。

4.根据权利要求3所述的图像处理方法，其特征在于，提供光源、滤光片组件、测试板及透镜组件，将所述光源、所述滤光片组件、所述测试板、所述透镜组件及所述图像传感器沿所述光源的出光方向依次排列，所述图像传感器的中心与所述光源的主光轴重合，所述测试板开设有贯穿孔，所述滤光片组件包括多个与不同颜色对应的滤光片；

所述获取与不同所述颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数，包括：

将所述滤光片组件中的其中一个所述滤光片与所述光源对应；

第一获取步骤：将所述贯穿孔与所述图像传感器的中心对应，获取所述中心视场下的点扩散函数；

第二获取步骤：按照预设步长分别沿第一方向及第二方向移动所述测试板，每移动一次所述测试板获取一次当前视场下的点扩散函数，直至获取预设数量的点扩散函数，所述第一方向与所述第二方向不同；

将所述滤光片组件中的其他所述滤光片分别与所述光源对应，并重复所述第一获取步骤及所述第二获取步骤。

5.根据权利要求4所述的图像处理方法，其特征在于，所述获取与不同所述颜色对应的中心视场下的点扩散函数、及预设数量个不同视场下的点扩散函数，还包括：

调整所述光源强度，以使所述光源强度到达所述图像传感器满阱值的一半。

6.根据权利要求4所述的图像处理方法，其特征在于，所述第一获取步骤还包括：

若获取的所述中心视场下的点扩散函数与预设点扩散函数之间的误差大于预设误差，则重新调整所述光源、所述滤光片组件、所述测试板、所述透镜组件及所述图像传感器中的至少一个，并在调整后重新获取中心视场下的点扩散函数。

7.根据权利要求1所述的图像处理方法，其特征在于，每个所述中间图像数据与单颜色通道对应，所述图像处理方法还包括：

对所述中间图像进行插值处理，以获得目标图像，所述目标图像中包括多个像素点，每个像素点具有多个与不同颜色通道对应的目标图像数据。

8.一种图像处理装置，其特征在于，图像传感器中的像素阵列包括多个感光像素，每个感光像素具有对应的视场及对应的颜色，所述图像处理装置，包括：

第一获取模块，用于获取所述像素阵列曝光得到的原始图像，所述原始图像由多个原始图像数据组成，每个所述原始图像数据由一个所述感光像素生成；

第二获取模块，用于获取与每个所述感光像素的所述颜色及所述视场均对应的目标点扩散函数；及

处理模块，用于根据与同一个所述感光像素对应的所述原始图像数据及所述目标点扩散函数进行卷积处理，以获取所述感光像素对应的中间图像数据，多个所述中间图像数据组成中间图像。

9.一种终端，其特征在于，包括：

一个或多个处理器、存储器；及

一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行权利要求1至7任意一项所述的图像处理方法的指令。

10.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至7任意一项所述的图像处理方法。

Images