CN115225740A - 一种电子设备、显示屏及成像方法 - Google Patents

Abstract

本申请提供一种电子设备、显示屏及成像方法，涉及电子设备成像及显示技术领域。所述电子设备包括显示屏和至少一个前置摄像头，前置摄像头包括菲涅尔波带片和图像传感器；菲涅尔波带片设置在显示屏的像素界定层的第一区域；图像传感器设置在显示屏的后侧，图像传感器的感光面与第一区域相对；照射在显示屏上的光线，经过菲涅尔波带片投射到图像传感器上，在图像传感器上成像。本申请通过在显示屏上设置菲涅尔波带片，可以兼顾成像与显示效果。

Description

一种电子设备、显示屏及成像方法

技术领域

本申请涉及成像及显示技术领域，尤其涉及一种电子设备、显示屏及成像方法。

背景技术

现有的屏下摄像(Camera Under Panel，简称CUP)技术，是将前置摄像头隐藏在显示屏之下，以减小前置摄像头对于显示屏显示功能的影响。但由于前置摄像头位于显示屏之下，光线需要透过显示屏才能投射到前置摄像头的感光面上进行成像，而光线在经过显示屏时，会产生衍射效应，从而对屏下摄像头的拍摄效果产生了较大的影响，影响了屏下摄像的成像质量。因此，屏下摄像面临的最大挑战就是：如何解决屏下摄像头的拍照效果问题。

发明内容

有鉴于此，本申请提供了一种电子设备、显示屏及成像方法，可以提高屏下摄像头的拍照效果。

第一方面，本申请提供一种电子设备，该电子设备包括显示屏和至少一个前置摄像头。其中，前置摄像头包括菲涅尔波带片和图像传感器。菲涅尔波带片设置在显示屏的像素界定层(pixel definition layer,PDL)的第一区域；而图像传感器设置在显示屏的后侧，且图像传感器的感光面与第一区域相对。菲涅尔波带片包括透光区域和不透光区域。由此，照射在显示屏上的光线，可以经过菲涅尔波带片的透光区域投射到图像传感器的感光面上，在图像传感器上成像。

本申请提供的电子设备，采用全新的无透镜成像方案。具体的，采用菲涅尔波带片代替摄像头中的透镜，并将菲涅尔波带片设置在显示屏的像素界定层，使菲涅尔波带片与显示屏合二为一。相比于常规CUP技术中，摄像头的透镜设置在显示屏后，光线先需要穿过显示屏，再在显示屏后方透镜的作用下在图像传感器上成像；光线在穿过显示屏时，会产生衍射效应。由于衍射效应的影响，图像传感器所获取的原始图像质量不佳。而采用本申请的方案，照射在显示屏上第一区域的光线，直接经过菲涅尔波带片，便可以投射在设置在显示屏后方第一区域对应位置处的图像传感器上，在该图像传感器上成像。因此，可以保证图像传感器所获取的原始图像的图像质量。

在第一方面的一种可能的实现方式中，菲涅尔波带片的不透光区域用第一像素阵列填充；且显示屏像素界定层上除第一区域之外的第二区域用第二像素阵列填充。在这种实现方式中，电子设备显示屏中的菲涅尔波带片的透光区域可以用于透光成像，而菲涅尔波带片的不透光区域可以通过第一像素阵列实现显示功能。这样，电子设备可以在菲涅尔波带片的不透光区域和第二区域，通过第一像素阵列和第二像素阵列，实现显示功能。也就是说，在这种实现方式中，电子设备显示屏可以同时兼顾透光成像以及显示的双重功能，实现透光和显示功能二合一，且不但能够保证图像传感器所获取的原始图像的图像质量，还能够提高显示屏的显示区域占比。

在第一方面的一种可能的实现方式中，菲涅尔波带片由多个交替出现的第一环形带和第二环形带组成。其中，第一环形带和第二环形带是同心环形带。菲涅尔波带片的第一环形带对应位置采用透明材质，属于透光区域。在这种实现方式中，菲涅尔波带片中的每个环形带为一个半波带。光束经相邻的半波带到达焦点会产生π的相位差。而在菲涅尔波带片中，相邻的半波带一个透光一个不透光，所以光束经过菲涅尔波带片中各个透光的半波带，最后到达焦点时，光程差都是依次为λ，相位相同，振动方向也相同，合振动大大增强，衍射后的光强大大增强，这样可以实现聚焦和成像。而菲涅尔波带片的第二环形带对应位置属于不透光区域，填充有第一像素阵列，可以实现显示功能。

在第一方面的另一种可能的实现方式中，该电子设备还包括处理器，处理器与图像传感器连接。其中，图像传感器，可以对投射在图像传感器上形成的图像进行光电转化和模数转换，得到图像信号。图像传感器可以向处理器传输该图像信号。由于图像传感器采集的原始图像信号存在瑕疵，在这种实现方式中，图像传感器可以向处理器传输其采集的原始的图像信号，处理器可以在接收到图像传感器传输的图像信号后，可以对图像信号进行重建，这样就得到清晰的图像。此外，处理器还可以控制显示屏显示其输出的图像。

在第一方面的另一种可能的实现方式中，摄像头还包括颜色滤波阵列(colorfilter array，CFA)。该颜色滤波阵列设置在菲涅尔波带片和图像传感器的感光面之间。在这种实现方式中，照射在显示屏上的光线，经过菲涅尔波带片，先由颜色滤波阵列进行滤波处理后，再投射到图像传感器的感光面上，这样，图像传感器就可以获得彩色的图像信号。

在上述可能的实现方式中，颜色滤波阵列可以采用拜耳阵列，拜耳阵列对应的像素排列方式为RGGB阵列。由于拜耳阵列包含的绿色滤光片是红色或蓝色滤光片的两倍，而人眼对绿色更为敏感，因此，采用拜耳阵列可以模拟人眼对色彩的敏感程度；且与每种颜色均等相比，带有绿色像素的冗余所产生的图像看起来噪声更少，并且具有更好的细节。

在第一方面的另一种可能的实现方式中，电子设备还包括控制电路和显示驱动电路。第一像素阵列和第二像素阵列中均包括多个像素单元；每个像素单元又包括R、G、B子像素；每个R、G、B子像素分别连接到相应的阴极和阳极。控制电路的输出端与显示驱动电路的控制端相连，其可以控制显示驱动电路向各个R、G、B子像素的阴极和阳极施加电流，从而使相应的R、G、B子像素发光；而发光强度与施加的电流大小相关。这样，该电子设备可以通过控制电路控制显示驱动电路输出给各个R、G、B子像素的阴极和阳极施加电流，以控制它们发光，实现显示功能。

在第一方面的另一种可能的实现方式中，处理器针对所要输出的图像的多个像素点中的每个像素点执行以下操作，以控制显示屏显示处理器输出的图像：首先判断该像素点对应于像素界定层上的第一区域或第二区域；如果该像素点对应于第二区域，就控制显示屏通过第二像素阵列，在第二区域的对应位置正常显示像素点；如果该像素点对应于第一区域，就先对该像素点进行坐标转换，确定该像素点在菲涅尔波带片上的极坐标位置；再根据极坐标位置，确定该像素点对应于菲涅尔波带片上的透光区域或不透光区域；如果该像素点对应于透光区域，就控制显示屏不显示该像素点；如果该像素点对应于不透光区域，就基于显示屏上的第一像素阵列，控制该像素点在不透光区域的对应位置的显示方式。

在该实现方式中，处理器可以采用以下坐标转换公式，对像素点进行坐标转换，确定该像素点在菲涅尔波带片上的极坐标位置(r，θ)：

可选地，以显示屏的左上角为坐标原点(0，0)，以显示屏的宽度方向作为x轴，以显示屏的长度方向作为y轴，将从显示屏左上角由左向右的方向作为x轴的正方向，将显示屏左上角由从上向下的方向作为y轴的正方向。上式中(x，y)为像素点的坐标点；(x₀，y₀)为菲涅尔波带片的中心点的坐标；r表示(x，y)与菲涅尔波带片的中心点(x₀，y₀)的距离；θ表示(x，y)与菲涅尔波带片的中心点的连线与x轴所成的角度。

在该实现方式中，处理器根据像素点在菲涅尔波带片上的极坐标位置，结合以下菲涅尔波带片的掩模公式，判断该像素点对应于透光区域还是不透光区域；

式中，r₁表示菲涅尔波带片的中心透光孔半径；sgn函数为符号函数，sgn函数的输入为正数时的输出为1，输入为负数时的输出为-1；如果T(r)＝1，则该像素点对应于透光区域；如果T(r)＝0，则该像素点对应于不透光区域。

在该实现方式中，若像素点对应于不透光区域，则基于显示屏上的第一像素阵列，控制像素点在不透光区域的对应位置的显示方式，可以采用以下方式：

如果某个像素点对应的T(r)＝0，则处理器先判断(r，θ)对应位置处是否排布有第一像素阵列中的像素单元；如果(r，θ)对应位置处排布有像素单元U，就激活像素单元U以显示该像素点；若(r，θ)对应位置处没有排布像素单元，就判断与(r，θ)对应位置最邻近的像素单元U_nei是否已处于激活状态；如果像素单元U_nei处于未激活状态，就激活像素单元U_nei来显示该像素点；如果像素单元U_nei处于已激活状态，就控制显示屏不显示该像素点。

在本申请中，第一像素阵列填充在显示屏像素界定层上菲涅尔波带片的不透光区域；而菲涅尔波带片的不透光区域是多个环形带；所以，第一像素阵列中的像素单元呈环形排布。而第二像素阵列填充在显示屏像素界定层上除菲涅尔波带片之外的第二区域；所以，第二区域的像素单元则呈行列式排布。本申请提供的上述实现方式，在显示过程中，先判断所处理器输出的图像中的各个像素点对应于像素界定层上的第一区域还是第二区域；如果对应于第二区域，就对这些像素点进行的坐标转换，然后再控制第一像素阵列中的像素单元与第二像素阵列中的像素单元，协同显示相应的像素点，可以共同实现处理器输出的图像的完整显示。

进一步地，处理器遍历过所有的(r，θ)之后，判断第一区域内排布的所有像素单元是否均处于激活状态；如果存在处于未激活状态的显示单元，就采取线性插值的方式激活处于未激活状态的像素单元。通过执行上述处理，可以使菲涅尔波带片的不透光区域填充的所有像素单元都发挥显示作用，以最大限度实现显示画面的完整性。

第二方面，本申请提供一种显示屏，该显示屏的像素界定层的第一区域设置有菲涅尔波带片。菲涅尔波带片包括透光区域和不透光区域。菲涅尔波带片的透光区域可以将照射在显示屏上的光线，透射到显示屏的后侧的图像传感器上，从而在图像传感器上成像。其中，的图像传感器设置在显示屏的后侧，其感光面与第一区域相对。

在第二方面的另一种可能的实现方式中，不透光区域填充有第一像素阵列，显示屏上除第一区域之外的第二区域填充有第二像素阵列；不透光区域和第二区域用于通过第一像素阵列和第二像素阵列，用于实现电子设备的显示功能。

可以理解，本申请第二方面提供的显示屏，可以采用上述第一方面及其任何一种可能的实现方式中提供的电子设备中的显示屏结构，因此二者能够解决相同的技术问题，并达到相同的技术效果，在此不再进行赘述。

第三方面，本申请提供一种成像方法，应用于本申请上述第一方面及其任何一种可能的实现方式中所提供的电子设备，该成像方法为：电子设备获取图像传感器输出的图像信号，并采用图像恢复算法对图像信号进行重建，得到清晰的图像。其中图像信号包括图像传感器采集的RAW图像。

在第三方面的一种可能的实现方式中，电子设备可以采用图像恢复算法对图像信号进行重建，得到清晰的图像，具体包括以下步骤：电子设备将图像信号作为输入，运行预设图像恢复网络模型，输出清晰的图像。其中，预设图像恢复网络模型用于对图像信号进行重建得到清晰的图像。

在上述可能的实现方式中，电子设备通过以下方式得到预设图像恢复网络模型：首先，构建样本数据集，该样本数据集包括多组样本数据对。每组样本数据对包括第一图像和第二图像，其中第二图像是拍摄第一图像得到的，第二图像的清晰度小于第一图像的清晰度。然后，采用样本数据集，对图像恢复网络模型进行模型训练，以使训练后的图像恢复网络模型具备对电子设备采集的图像进行重建得到清晰的图像的功能。训练后的图像恢复网络模型即可以作为电子设备中的预设图像恢复网络模型。

其中，构建样本数据集，可以采用以下方法：在保证暗室的采集条件下，将清晰的图像投影到幻灯片上，然后利用电子设备对幻灯片进行拍摄，在图像传感器处获取对应的RAW图像，由此得到一个样本数据对；其中，清晰的图像作为Ground Truth(图像真值)，也就是第一图像；其中，拍摄得到的RAW图像作为第二图像。变更不同的幻灯片距离以及不同的播放图片，重复上述采集图像和构建样本数据对的过程，可以收集大量的样本数据对。

进一步地，基于原生的样本数据对，可以对样本数据对进行增广，例如对样本数据对中的图像进行裁切、缩放、加入噪声、加入畸变等操作，由此得到更多的样本数据对。

通过电子设备采用构建好的样本数据集，对图像恢复网络模型进行模型训练，可以采用深度学习的方式对图像恢复网络模型进行端到端的训练；损失函数(lossfunction)可以用来度量图像恢复网络模型的输出的图像，也就是模型的预测值与图像真值的差异程度；本实施例中，可以采用以下损失函数：

上式的第一项中，

为图像恢复网络模型输出的图像，I_GT表示图像真值；L为回归损失函数：

上式的第二项及第三项表示边缘损失，是保证图像边缘清晰的正则化项，两个系数λ_x和λ_y是用于调节边缘锐化程度的系数，具体地，

式中，

分别为将

I_GT上与x方向的sobel算子进行卷积运算，提取得到的图像边缘；

分别为

I_GT与y方向的sobel算子进行卷积运算，提取得到的图像边缘。

上述回归损失函数L可以选择MSE(Mean Square Error，均方误差)损失函数L_MSE，或MAE(Mean Absolute Error，即平均绝对值误差)损失函数

用Y和

分别为图像真值和图像预测值，则两者之间的MSE损失函数

表示为：

两者之间的MAE损失函数

表示为：

式中，N为Y和

中的像素点个数，y_i和

分别表示Y和

中的第i个像素点。

待图像恢复网络模型训练收敛后，损失函数Loss函数值降到最低，即可得到训练好的图像恢复网络模型，且该训练好的图像恢复网络模型具备对电子设备采集的图像进行重建得到清晰的图像的功能，且由于在损失函数中增加了边缘损失项，可以保证图像的边缘清晰。将该训练好的图像恢复网络模型作为图像恢复过程中预设的图像恢复网络模型，可以对电子设备新获取到的图像信号进行重建。

在第三方面的另一种可能的实现方式中，电子设备可以采用图像恢复算法对图像信号进行重建，得到清晰的图像，具体包括以下步骤：电子设备首先对图像信号进行去马赛克处理，得到R、G、B三个颜色通道的全分辨率图像；并确定用于进行图像优化的目标函数；然后针对每个颜色通道的全分辨率的图像，分别采用优化算法对目标函数进行迭代优化，直至最终优化后的图像满足收敛条件；最后将三个颜色通道最终优化后的图像进行合并，得到清晰的RGB图像。通过该实现方式对图像信号进行重建，可以大大提高成像的质量。

在上述可能的实现方式中，可以采用双线性插值的方式对图像信号进行去马赛克处理，得到R、G、B三个颜色通道的全分辨率图像。

在上述可能的实现方式中，可以设置用于进行图像优化的目标函数为：

其中，J表示待优化的图像，

为优化后的图像；φ表示传感矩阵；I表示图像变量；其中R(I)为正则项，采用TV范数R(I)_TV，计算公式为：

式中，H，W分别表示图像变量I的高和宽，单位为像素；Δ表示图像变量I的梯度，h，v分别表示水平方向和垂直方向，

和

分别表示图像变量I在像素点i处水平和垂直方向上的一阶梯度，N_HW表示图像变量I上的像素点个数；

在上述可能的实现方式中，最终优化的图像要满足收敛条件。该收敛条件可以设置为MSE损失函数小于设定阈值ε。其中MSE损失函数如下公式所示：

在上述可能的实现方式中，得到清晰的RGB图像后，可以进一步针对不同的拍照场景，对输出的图像进行不同的后处理算法优化，输出最终优化后的图像，由此可以进一步提高输出图像的质量。例如，针对人脸，采用人脸超分算法进行后处理；针对暗光场景，采用暗光提亮算法进行后处理。

第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在如第一方面及其任一种可能的实现方式所述的电子设备上运行时，使得所述电子设备执行对应的方法步骤。当所述计算机指令在该电子设备上运行时，使得电子设备还执行如第三方面及任一种可能的实现方式所述的方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品可以在第一方面及其任一种可能的实现方式所述的电子设备(即计算机)上运行。当该计算机程序产品在计算机(如上述电子设备)上运行时，使得该计算机执行如第三方面及任一种可能的实现方式所述的方法。

可以理解地，第四方面所述的计算机存储介质，第五方面所述的计算机程序产品所能达到的有益效果，可参考第一方面、第二方面和第三方面及其任一种可能的实现方式中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例中所述的有源矩阵有机发光二极体显示屏结构示意图；

图2A为本申请实施例中的菲涅尔波带片与显示屏二合一的结构图；

图2B为本申请实施例中的前置摄像头处的显示屏分层结构示意图；

图3A为本申请实施例中菲涅尔波带片成像示意图一；

图3B为本申请实施例中菲涅尔波带片成像示意图二；

图4为本申请实施例中几种典型的波带片尺寸；

图5为本申请实施例中一种电子设备结构图；

图6为本申请实施例中处理器控制显示屏显示处理器输出的图像原理图；

图7为本申请实施例中基于深度学习的图像恢复网络结构图；

图8为本申请实施例中采用图像恢复算法对图像传感器获取的图像信号进行重建的流程图；

图9为本申请实施例中图像优化示意图；

图10为本申请实施例提供的芯片系统结构示意图。

具体实施方式

需要说明的是，在本申请实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

本申请实施例中所提到的方位用语，例如，“上”、“下”、“前”、“后”、“内”、“外”、“左”、“右”等，仅是参考附图的方向，或是为了更好、更清楚地说明及理解本申请实施例，而不是指示或暗指所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例的限制。

在本申请实施例的描述中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是可拆卸地连接，也可以是不可拆卸地连接；可以是直接连接，也可以通过中间媒介间接连接。

在本申请实施例的描述中，术语“包括”、“包含”或者其任何其他变体，意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

为了更好的理解本申请的方案，以下对本申请实施例所涉及的部分术语进行介绍：

CUP技术：全面屏终端对于显示屏显示的完整性具有很大的提升，是终端显示屏完美呈现的方式。实现全面屏最大的障碍是前置摄像头的设置问题。CUP技术，是当前为了实现真全面屏所采用的技术方案，是指在不影响整块显示屏显示效果的情况下，将前置摄像头隐藏在显示屏之下，以实现全面屏显示。与之前的挖孔屏技术不同的是，显示屏位于前置摄像头前方的区域还保留有显示功能。手机的前置摄像头一般为透镜序列组成。CUP技术的成像原理是：光线透过显示屏，照射到显示屏后摄像头的透镜上，摄像头的透镜将光线汇聚后，在后方的图像传感器上成像。

衍射：是指波遇到障碍物时偏离原来直线传播的物理现象。在经典物理学中，波在穿过狭缝、小孔或圆盘之类的障碍物后会发生不同程度的弯散传播。现有的CUP技术，光线通过显示屏上的像素阵列时，由于像素的尺寸很小，会导致光线发生衍射现象，从而导致显示屏后方的图像传感器端获取的图像质量严重下降。具体地，图像往往会存在辐射状的炫光、雾状的模糊等现象。

为了便于理解，本申请实施例这里以示例方式给出电子设备的显示屏的结构。以有源矩阵有机发光二极体(Active-matrix organic light-emitting diode，AMOLED)显示屏为例，如图1所示，其显示屏从上到下可以分为：盖板玻璃100、偏光片101、封装玻璃102、阴极103、像素界定层104和基板玻璃105。需要说明的是，图1中显示屏的每一层都填充了不同的图案，这只是为了能更好地分辨显示屏的不同层，并不是表示实际显示屏中各层上有相应的图案。其中，像素界定层，属于显示屏上用于实现显示功能的一层，包括用于发光的有机发光二极管(Organic light-emitting diode，OLED)层和用于控制OLED层发光的薄膜晶体管(Thin Film Transistor，TFT)层。其中，OLED层设置有若干像素单元，每个像素单元由R、G、B子像素构成；TFT层设置有若干TFT；每个R、G、B子像素后有一个TFT，用于作为R、G、B子像素发光的控制器件。由于像素界电层上的R、G、B子像素需要实现显示功能，所以它们是不透光的，像素界电层的成像透光只能通过各像素之间的缝隙实现。

显示屏需要保证拥有良好的透光性能，才能为在显示屏之下前置摄像头的创造更好的条件，拍摄到清晰的画面。CUP技术很重要的一方面即显示屏的透光性问题。现有技术通过特殊的像素设计和透明电极导入，来提升显示屏CUP区域透光率，让外部光线更好透过CUP区域到达摄像头内部的传感器，从而提升成像素质。由于显示屏的不断朝着向更高分辨率的方向发展，显示屏将拥有数量越来越多、尺寸越来越小并且密度越来越大地排列在一起的像素，而像素密度增加对显示屏的透光性有了更高的挑战。此外，CUP技术的成像方法还存在以下问题：光线穿过显示屏时，由于显示屏中周期性排列的像素单元之间的缝隙作用，会对于经过它的光线会产生衍射效应，从而对屏下摄像头的拍摄效果产生了较大的影响，影响了屏下摄像的成像质量。因此，屏下摄像头作为全面屏的解决方案，目前尚存在光透过率不足、光的衍射导致的眩光、雾化等问题。

常规的CUP技术解决方案集中于采用特殊的像素排布，如缩小显示屏在摄像头处像素的大小，或者更改此处的像素排列方式，以尽量提升摄像头处的透光率，再配合后续的衍射消除算法来提升图像质量。现有的屏下摄像头图像衍射效应消除算法，由于在信号源处图像的质量已经受到衍射光很大的污染，后续算法难以消除这种影响，且往往在强光、逆光场景下有特别明显的炫光。另一个问题是恢复出来的图像很有可能是局部模糊的。其他提升屏下摄像头的图像质量的方法还有在光路上增加衍射补偿元件，此法对补偿器件的安装工艺要求特别严苛，稍有不慎，图像可能会变得更差。而且，另一个问题是衍射补偿元件进一步降低了模组的透光率，对暗光场景更加不友好。

针对常规CUP技术的不足，本申请实施例提供一种电子设备、显示屏和成像方法。本申请实施例提供的方案，采用全新的无透镜成像方案，采用菲涅尔波带片代替摄像头中的透镜，并将菲涅尔波带片设置在显示屏的像素界定层PDL中。并且，将图像传感器设置在显示屏的后侧，且保证图像传感器的感光面与菲涅尔波带片在像素界定层所在区域相对。如此，便可以将摄像头中的菲涅尔波带片与显示屏合二为一。光线照射在显示屏上，经过菲涅尔波带片投射到图像传感器后，便可以在图像传感器上成像。之后，配合后续的图像恢复算法，可以得到清晰的可观看图像。

示例性的，请参考图2A，其示出了包括前置摄像头201的手机200示意图。如图2A所示，该手机200的前置摄像头201中设置了菲涅尔波带片202。该菲涅尔波带片202包括透光区域203和不透光区域204。例如，图2A中用白色区域表征菲涅尔波带片的透光区域，黑色区域表征菲涅尔波带片的不透光区域，此黑色区域需要用不透明的像素阵列来填充。菲涅尔波带片的透光区域可以用于成像，不透光区域填充有像素阵列，可以用于显示。需要说明的是，在图2A中仅以菲涅尔波带片202设置在显示屏上端中间位置为例，但在实际应用中，菲涅尔波带片202还可以设置在显示屏的左上角、右上角或其它位置，本申请方案对此没有限制。

以上述手机200的显示屏为AMOLED显示屏为例，如图2B所示，其显示屏从上到下可以分为：盖板玻璃205、偏光片206、封装玻璃207、阴极208、像素界定层209和基板玻璃210。菲涅尔波带片202设置在该显示屏的像素界定层209。因此，设置了菲涅尔波带片202的像素界定层也可以称为二合一层。需要说明的是，图2B中显示屏的每一层都填充了不同的图案，但是除了菲涅尔波带片202之外，其它图案的填充只是为了能更好地分辨显示屏的不同层，并不是表示实际显示屏中各层上有相应的图案。

综上所述，常规CUP技术中，摄像头的透镜设置在显示屏后，光线需要穿过显示屏，在显示屏后方透镜的作用下在图像传感器上成像；光线在穿过显示屏时，会产生衍射效应。由于衍射效应的影响，图像传感器所获取的原始图像质量不佳。因此常规CUP技术需要消除光衍射的影响，来提高图像传感器所获取的图像的质量。

而本申请实施例中改进了电子设备中摄像头的组件，采用菲涅尔波带片代替摄像头中的透镜，并将菲涅尔波带片设置在显示屏的像素界定层，使菲涅尔波带片与显示屏合二为一。利用光的衍射进行成像，即光线可以直接穿过显示屏上菲涅尔波带片上的透光区域，投射到显示屏下方的图像传感器上，实现成像。因此，本申请实施例提供的方案，对于图像传感器所获取的原始图像的质量提升是有帮助的。

本申请实施例提供的方案是，利用菲涅尔波带片的衍射原理成像，以下对菲涅尔波带片的成像原理进行说明。

菲涅尔波带片由一系列同心的环形带(圆环)组成。菲涅尔波带片中透光的环形带和不透光的环形带是交替排列的。菲涅尔波带片的设计方式有两种。一种是从其中心圆孔往外的顺序，排序为偶数的环形带透光，排序为奇数的环形带不透光。另一种是，从其中心圆孔往外的顺序，排序为偶数的环形带不透光，排序为奇数的环形带透光。由于在菲涅尔衍射中，每一个环形带的相应边缘两点或两个相邻的环形带的对应点或到焦点之间的光程差都是为

所有通常称这种环形带为半波带。光束经相邻的半波带到达焦点会产生π的相位差。而在菲涅尔波带片中，相邻的半波带一个透光一个不透光，所以光束经过菲涅尔波带片中各个透光的半波带最后到达焦点时，光程差都是依次为λ，相位相同，振动方向也相同，合振动大大增强，衍射后的光强大大增强。由于菲涅尔波带片的聚光、成像特性，类似于一个普通透镜，固菲涅尔波带片又称为菲涅尔透镜。如图3A所示，菲涅尔波带片的成像结果与薄透镜特别相似，均会在像平面成倒立的实像。而且，菲涅尔波带片的物距、像距、焦距的关系和普通薄透镜所满足的成像公式(高斯公式)完全相同：

其中，R表示物距，b表示像距，f为菲涅尔波带片的焦距，其计算方式如下：

其中，ρ₁表示菲涅尔波带片中心圆孔的半径，λ表示光线的波长。

菲涅尔波带片像凸透镜一样，对光线有会聚作用，凸透镜靠的是几何光学，即光的折射，而波带片靠的是波动光学，即光的衍射；对于凸透镜，波长越大，焦距越大，而对于波带片，波长越大，焦距越小，二者正好相反。

作为利用光的衍射工作的成像器件，分辨率是一个重要的指标。菲涅尔波带片最外环，即最外面一个环形带的宽度决定了它的分辨率。图4显示了几种典型的波带片的尺寸及其对应的相干脉冲响应的宽度，从左到右的参数依次为：中心透光孔半径0.8mm，0.5mm，0.3mm；最外环宽度0.063mm，0.024mm，0.009mm；相干脉冲相应宽度0.076mm，0.030mm，0.011mm。类似于(PSF，point spread function点扩散函数)的概念，宽度越窄，分辨率越高。

需要理解的是，作为前置摄像头的菲涅尔波带片采用哪种参数，需要综合考虑摄像头的工作距离以及制造工艺的约束。例如，手机上的主摄像头一般焦距f为27mm，对应于滤波的波长λ为480nm，根据公式

那么要求波带片的中心透光孔半径ρ₁为0.11mm。

因此，可以将菲涅尔波带片的不透光区域用于显示，透光区域用于成像。但是，如图3B所示，光线经过菲涅尔波带片上透光区域的不同位置投射到图像传感器上，在图像传感器上会形成多个实像，且多个实像之间会存在叠加，所以后续需要对图像传感器采集到原生的图像信号进行优化重建，以得到清晰的图像。

本申请实施例中电子设备可以是手机、智能手表、电脑、电视机等可以设置屏内摄像头的设备。下面将结合附图对本申请实施例的实施方式进行详细描述。请参考图5，为本申请实施例提供的一种电子设备500的结构示意图。如图5所示，电子设备500可以包括：处理器510，外部存储器接口520，内部存储器521，通用串行总线(universal serial bus，USB)接口530，充电管理模块540，电源管理模块541，电池542，天线1，天线2，移动通信模块550，无线通信模块560，音频模块570，扬声器570A，受话器570B，麦克风570C，耳机接口570D，传感器模块580，按键590，马达591，指示器592，摄像头593，显示屏594，以及用户标识模块(subscriber identification module，SIM)卡接口595等。

其中，上述传感器模块580可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。

可以理解的是，本实施例示意的结构并不构成对电子设备500的具体限定。在另一些实施例中，电子设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器510可以包括一个或多个处理单元，例如：处理器510可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是电子设备500的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器510中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器510中的存储器为高速缓冲存储器。该存储器可以保存处理器510刚用过或循环使用的指令或数据。如果处理器510需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器510的等待时间，因而提高了系统的效率。

在一些实施例中，处理器510可以包括一个或多个接口。可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备500的结构限定。在另一些实施例中，电子设备500也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块540用于从充电器接收充电输入。充电管理模块540为电池542充电的同时，还可以通过电源管理模块541为电子设备供电。

电源管理模块541用于连接电池542、充电管理模块540与处理器510。电源管理模块541接收电池542和/或充电管理模块540的输入，为处理器510，内部存储器521，外部存储器，显示屏594，摄像头593，和无线通信模块560等供电。

电子设备500的无线通信功能可以通过天线1，天线2，移动通信模块550，无线通信模块560，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。在一些实施例中，电子设备500的天线1和移动通信模块550耦合，天线2和无线通信模块560耦合，使得电子设备500可以通过无线通信技术与网络以及其他设备通信。

电子设备500通过GPU，显示屏594，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏594和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器510可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏594用于显示图像，视频等。该显示屏594包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-OLED，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。本申请实施例中的显示屏结构可以使用于每个像素单元可以独立进行显示控制的显示屏，例如，可以是TFT-LCD(Thin Film Transistor LiquidCrystal Display，薄膜晶体管液晶显示屏)，也可以AMOLED显示屏。其中，TFT-LCD的构造是在两片平行的玻璃基板当中放置液晶盒，下基板玻璃上设置薄膜晶体管(Thin FilmTransistor，TFT)，上基板玻璃上设置彩色滤光片；每个像素都设有一个TFT开关；通过TFT上的信号与电压改变来控制液晶分子的转动方向，从而达到控制每个像素偏振光出射与否，而达到显示目的。其中，AMOLED具有TFT阵列，可以独立地控制每个像素点的发光情况，从而像素点可以连续且独立发光，最终形成所需图像。其中，TFT是一种绝缘栅场效应晶体管，其中晶体管(Transistor)本名是半导体三极管，其内部含有两个PN结，外部通常为三个引出电极的半导体器件，具有检波、整流、放大、开关、稳压、信号调制等多种功能。晶体管作为一种可变电流开关，能够基于输入电压控制输出电流。在TFT中的晶体管均为场效应晶体管，简称“场效应管”。其中，OLED是指有机半导体材料和发光材料在电场驱动下，通过载流子注入和复合导致发光的现象。OLED的阳极为薄而透明的铟锡氧化物(ITO)，阴极为金属组合物，而将有机材料层(包括电洞传输层、发光层、电子传输层等)包夹在其中。接通电流，阳极的电洞与阴极的电荷就会在发光层结合，发出光亮。根据包夹在其中的有机材料的不同，会发出不同颜色的光。OLED按有机材料分子大小分为小分子OLED和高分子OLED，它们的差异主要是器件的制备工艺不同:小分子器件主要采用真空热蒸发工艺，高分子器件则采用旋转涂覆或喷墨工艺。

电子设备500可以通过ISP，摄像头593，视频编解码器，GPU，显示屏594以及应用处理器等实现拍摄功能。

ISP用于处理摄像头593反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头593中。

摄像头593用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备500可以包括N个摄像头593，N为大于1的正整数。

本申请实施例中，电子设备500的至少一个摄像头593上的透镜可以被菲涅尔波带片代替，该摄像头593的菲涅尔波带片设置在显示屏594的像素界定层中。具体的，摄像头593的菲涅尔波带片在显示屏中的设置方式和位置可以参考上述实施例对图2B的介绍，这里不予赘述。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备500在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备500可以支持一种或多种视频编解码器。这样，电子设备500可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备500的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口520可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备500的存储能力。外部存储卡通过外部存储器接口520与处理器510通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器521可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器510通过运行存储在内部存储器521的指令，从而执行电子设备500的各种功能应用以及数据处理。例如，在本申请实施例中，处理器510可以通过执行存储在内部存储器521中的指令，内部存储器521可以包括存储程序区和存储数据区。

其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备500使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器521可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash storage，UFS)等。

电子设备500可以通过音频模块570，扬声器570A，受话器570B，麦克风570C，耳机接口570D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

按键590包括开机键，音量键等。马达591可以产生振动提示。指示器592可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口595用于连接SIM卡。SIM卡可以通过插入SIM卡接口595，或从SIM卡接口595拔出，实现和电子设备500的接触和分离。电子设备500可以支持一个或N个SIM卡接口，N为大于1的正整数。SIM卡接口595可以支持Nano SIM卡，Micro SIM卡，SIM卡等。

本申请实施例提供一种电子设备，该电子设备包括显示屏和至少一个前置摄像头，该前置摄像头包括菲涅尔波带片和图像传感器。菲涅尔波带片设置在显示屏的像素界定层PDL的第一区域。图像传感器设置在显示屏的后侧，图像传感器的感光面与第一区域相对。

此处，后侧的意思是，根据光线的传播方向，以光线先经过的位置为前，而光线后经过的位置为后。其中，相对的意思是指，显示屏上的第一区域在显示屏背侧的图像传感器的感光面上的正投影，与显示屏背侧的图像传感器的感光面重合。照射在显示屏上的光线，经过菲涅尔波带片投射到图像传感器上，在图像传感器上成像。

本申请实施例，对显示屏上的像素界定层进行改造，在像素界定层该层的一部分区域仍为传统的显示区，另一部分区域改为菲涅尔波带片，利用菲涅尔波带片对光的衍射效应进行成像，可从原理上避免现有的CUP技术成像方法中，显示屏对于穿其的光线产生的衍射效应，所导致的眩光、雾化，成像质量不佳的问题。因此，本申请提供的方案，有利于提升图像传感器所获取的原始图像的质量。且不同于现有CUP技术，需要额外设置光学器件来消除光衍射的影响，本申请实施例用菲涅尔波带片替换传统的基于几何光学的薄透镜成像模组，可节省成像光路上的耗材。同时，采用本实施例提供的方案，用菲涅尔波带片代替了摄像头中的透镜，不但可以同时兼顾成像和显示，而且菲涅尔波带片就设置在像素界定层的第一区域，成像所用镜头与像素界定层合二为一，节省了元器件的空间需求，有利于实现屏终端的轻薄设计。

上述实施例中，电子设备包括至少一个前置摄像头的意思是，电子设备可以设置一个前置摄像头，也可以设置两个或者更多前置摄像头。由此，可以通过多个摄像头组合的方式来提升拍摄性能。比如说，可以设置两个前置摄像头。其中，主摄像头配备彩色图像传感器，副摄像头则是配备黑白传感器。拍摄时双镜头能协同工作合成照片，通过主摄像头收集图像色彩，副摄像头则可以补充图像亮度与细节。其中，彩色图像传感器是指，感光面前设置有颜色滤波阵列的图像传感器的。在电子设备包括两个或者更多前置摄像头的情况下，该电子设备中的每个前置摄像头，都可以为采用内置于显示屏中的菲涅尔波带片代替透镜，并在显示屏的后侧对应位置设置图像传感器。或者，该电子设备中的部分前置摄像头可以是上述结构的摄像头，其他前置摄像头可以是包括设置于显示屏后侧、且包括透镜的普通摄像头。

本申请实施例中，将显示屏上用于实现显示功能的一层，即像素界定层分为两个区域，分别称之为第一区域和第二区域。第二区域就是像素界定层上除第一区域之外的区域。其中，第一区域设置有菲涅尔波带片，而第二区域为普通的显示区域。

第一区域的菲涅尔波带片兼具成像和显示功能，具体实现原理为：

菲涅尔波带片包括透光区域和不透光区域。照射在显示屏上的光线，可以经过菲涅尔波带片上的透光区域，位于显示屏的后侧的图像传感器的感光面上，在图像传感器上成像，从而实现电子设备的成像功能。菲涅尔波带片上的不透光区域填充有第一像素阵列；且显示屏像素界定层上的第二区域为普通的显示区域，填充有第二像素阵列。由此，显示屏的像素界定层，可以通过菲涅尔波带片上的不透光区域和第二区域的第一像素阵列和第二像素阵列，实现电子设备的显示功能。本申请实施例可以利用菲涅尔波带片上的不透光区域进行显示，同时兼顾显示屏透光成像以及显示屏进行显示的双重功能，实现透光和显示功能二合一。

在本申请实施例中，菲涅尔波带片由多个交替出现的第一环形带和第二环形带组成。第一环形带和第二环形带是同圆心的；第一环形带对应位置采用透明材质，形成透光区域，可以透过光线在后方的图像传感器上成像。而第二环形带对应位置是不透光区域，填充有第一像素阵列，可以实现显示功能。

现有的“开孔式”屏下前置摄像头技术，在手机正面显示屏上开一个小孔，从而将前置摄像头放置于显示屏玻璃盖板等层的下方，以保证前置摄像头可以正常工作。在这样的方式下，显示屏开孔区域在显示功能上会变成荒废区域，会对视觉有显著影响。相对于该现有技术，本申请实施例提供的上述方案，充分利用了显示屏的屏下摄像头对应的区域进行显示，提高了显示屏上显示区域的占比，可以带来更好的视觉体验。

在本申请实施例中，上述的电子设备，还可以包括处理器，处理器与图像传感器连接。图像传感器，可以对投射在图像传感器上形成的图像进行光电转化和模数转换，得到图像信号(该图像信号是数字信号)，还可以将形成的图像信号传输给处理器。处理器接收到图像传感器将传输过来的图像信号后，由于经过菲涅尔波带片在相平面所成的像有瑕疵，图像较模糊而且呈现一定的波纹扩散的伪纹理，所以通过处理器对图像信号进行重建，以得到清晰的图像。菲涅尔波带片成像配合后续的图像重建和优化算法，可以有效地提升拍摄图像的质量。此外，处理器还可以控制显示屏显示其输出的图像。

在本申请实施例中，摄像头还包括颜色滤波阵列，也称为颜色滤波片。该颜色滤波阵列位于菲涅尔波带片和图像传感器的感光面之间，照射在显示屏上的光线，经过菲涅尔波带片，由颜色滤波阵列滤波处理后，投射到图像传感器的感光面，由此图像传感器获得彩色的图像信号。优选地，该颜色滤波阵列可以采用拜耳阵列，对应的像素排列方式为RGGB阵列。拜耳阵列包含的绿色滤光片是红色或蓝色滤光片的两倍，由于人眼对绿色更为敏感，采用拜耳阵列可以模拟人眼对色彩的敏感程度；且与每种颜色均等相比，带有绿色像素的冗余所产生的图像看起来噪声更少，并且具有更好的细节。当然，本实施例中选用的颜色滤波阵列也可以采用除拜耳阵列外其他类型的颜色滤波阵列。

在上述实施例中，填充在菲涅尔波带片上的不透光区域的第一像素阵列和填充在像素界定层第二区域的第二像素阵列中均包括多个像素单元。每个像素单元又包括R、G、B子像素；每个R、G、B子像素分别连接到相应的阴极和阳极。电子设备还包括控制电路和显示驱动电路；控制电路的输出端与显示驱动电路的控制端相连，可以控制显示驱动电路向各个R、G、B子像素的阴极和阳极施加电流，从而使相应的R、G、B子像素发光；其中发光强度与施加的电流大小相关。通过调节加在各个子像素上的电压值，可以改变各色光的透射强度。由不同强度的RGB色光混合在一起，就实现了彩色显示。

需要说明的是，本实施例中的控制电路与处理器可以集成在同一硬件模块上，也可以通过不同的硬件模块实现。

在本申请实施例中，第一像素阵列填充在显示屏像素界定层上菲涅尔波带片的不透光区域；而菲涅尔波带片的不透光区域是多个环形带；因此，第一像素阵列中的像素单元呈环形排布。而第二像素阵列填充在显示屏像素界定层上除菲涅尔波带片之外的第二区域；因此，第二区域的像素单元则呈行列式排布。所以，在显示过程中，需要对处理器输出的图像(矩形画面)中的像素点进行一定的坐标转换，以通过第一像素阵列中的像素单元与第二像素阵列中的像素单元，共同实现处理器输出的图像的完整显示。

在一些实施例中，处理器输出的图像包括多个像素点；处理器控制显示屏显示处理器输出的图像可以通过以下方法实现：

如图6所示，处理器针对多个像素点中的每个像素点执行以下操作，来控制显示屏显示处理器输出的图像：

首先，判断像素点对应于像素界定层上的第一区域还是第二区域；

如果像素点对应于第二区域，就控制显示屏通过第二像素阵列，在第二区域的对应位置正常显示像素点；

如果像素点对应于第一区域，就先对像素点进行坐标转换，确定像素点在菲涅尔波带片上的极坐标位置；再根据极坐标位置，确定像素点对应于菲涅尔波带片上的透光区域或不透光区域；如果像素点对应于透光区域，就控制显示屏不显示像素点；如果像素点对应于不透光区域，就基于显示屏上的第一像素阵列，控制像素点在不透光区域的对应位置的显示方式。

其中，对像素点进行坐标转换，即将像素点的坐标从显示屏的直角坐标系下转换到菲涅尔波带片的极坐标系下。

示例性地，以显示屏的左上角为坐标原点(0，0)，以显示屏的宽度方向作为x轴，以显示屏的长度方向作为y轴，将从显示屏左上角由左向右的方向作为x轴的正方向，将显示屏左上角由从上向下的方向作为y轴的正方向，由此构建直角坐标系。可以理解的是，此处直角坐标系以及后面的极坐标系的设置可以根据具体实际需要灵活设置，此处仅为描述需要举例说明，不构成对本申请中技术特征的限制。

设(x，y)为直角坐标系下像素点P的坐标点；(x₀，y₀)为直角坐标系下菲涅尔波带片的中心点的坐标。设菲涅尔波带片的最大半径，即菲涅尔波带片最外面一个环形带的外径为r₀。由此，对于

的像素点，可以确定其对应于显示屏的像素界定层上的第二区域，则可以通过第二区域进行正常显示；而对于

的像素点，可以确定其对应于显示屏的像素界定层上的第一区域。对于该像素点，需要首先进行坐标转换，确定其在菲涅尔波带片上的极坐标位置；再根据所述极坐标位置，确定所述像素点对应于所述菲涅尔波带片上的所述透光区域或所述不透光区域，从而确定是否显示该像素点。

示例性地，以菲涅尔波带片的中心点O为极点，从极点从左向右引一条射线0x作为极轴，取逆时针方向为角度的正方向，由此构建极坐标系。对直角坐标系下任何一个像素点P，用r表示线段0P的长度，θ表示从0x到0P的角度，r叫做像素点P的极径，θ叫做像素点P的极角，有序数对(r，θ)就叫像素点P的极坐标；本实施例中，r也就是像素点P(x，y)与菲涅尔波带片的中心点0(x₀，y₀)的距离；θ也就是像素点P(x，y)与菲涅尔波带片的中心点0的连线与0x(x轴)所成的角度。

由此，处理器可以采用下面的坐标转换公式，确定像素点P在菲涅尔波带片上的极坐标位置(r，θ)：

处理器确定像素点P在菲涅尔波带片上的所述极坐标位置后，可以再结合菲涅尔波带片的掩模公式判断该像素点对应于菲涅尔波带片上的透光区域还是不透光区域；其中，菲涅尔波带片的掩模(mask)公式为：

式中，r₁表示菲涅尔波带片的中心透光孔半径，r表示像素点P与菲涅尔波带片中心的距离，sgn函数为符号函数，其函数值在输入为正数时取1，在输入为负数时取-1；由此可知，当

为正数时，T(r)＝1，像素点P对应于菲涅尔波带片上的透光区域；当

为负数时，T(r)＝0，像素点P对应于菲涅尔波带片上的不透光区域，也就是显示区域。上述菲涅尔波带片的掩模公式也叫做菲涅尔波带片的透过率函数。

在一些实施例中，如果某一像素点对应于不透光区域，处理器就基于显示屏上的第一像素阵列，控制该像素点在不透光区域的对应位置的显示方式，包括：

如果某一像素点对应的T(r)＝0，则处理器先判断(r，θ)对应位置处是否排布有第一像素阵列中的像素单元；如果(r，θ)对应位置处正好有对应的像素单元U排布，就可以正常激活像素单元U来显示该像素点；如果(r，θ)对应位置处没有对应的像素单元排布，就判断与(r，θ)对应位置最邻近的像素单元U_nei是否已经处于激活状态；如果像素单元U_nei处于未激活状态，就激活像素单元U_nei来显示该像素点；如果像素单元U_nei处于已激活状态，就控制显示屏不显示该像素点。

在一些实施例中，处理器遍历过所有的(r，θ)之后，判断第一区域内排布的所有像素单元是否均处于激活状态；如果存在处于未激活状态的显示单元，就采取线性插值的方式激活处于未激活状态的像素单元。通过执行上述处理，可以使菲涅尔波带片的不透光区域填充的所有像素单元都发挥显示作用，以最大限度实现显示画面的完整性。

其中的激活显示，是指控制电路已经通过显示驱动电路向该像素单元的阴极和阳极施加电流，使该像素发光显示。

在一些实施例中，对菲涅尔波带片上的不透光区域填充的像素阵列的显示亮度进行调节，具体地：将菲涅尔波带片上的不透光区域填充的像素阵列的亮度调整为处理器输出的原图像亮度的两倍。由于菲涅尔波带片的结构原因，其不透光区域填充的像素单元不是连续排布的，尽管肉眼无法感知到显示上的不连续，但由于某些区域的缺失像素单元，此菲涅尔波带片上不透光区域整体显示相对显示屏的其它区域较暗。从菲涅尔波带片的掩模公式可以看出，菲涅尔波带片的每个环形带的面积是相等的。因此，采用本实施例中的方案，可以使菲涅尔波带片的平均光通量与显示屏其它区域的一致，可以实现显示屏画面亮度的一致性。通过提升位于菲涅尔波带片透光区域的像素单元的显示亮度，可使得显示屏全局亮度的一致，有效提升电子设备的用户体验，可做到真全面屏的效果。

本申请实施例，还提供一种成像方法，应用于前面所说的电子设备。该成像方法为：首先，电子设备获取电子设备的图像传感器输出的图像信号，图像信号包括图像传感器采集的RAW图像；然后，电子设备采用图像恢复算法对图像信号进行重建，得到清晰的图像。其中，RAW是一个英文单词，中文释义为：生的，未加工的；RAW图像是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。经过菲涅尔波带片在相平面成的像有瑕疵，图像较模糊而且呈现一定的波纹扩散的伪纹理，本实施例中电子设备采用图像恢复算法对图像信号进行重建，以得到清晰的图像。

在一些实施例中，采用图像恢复算法对图像传感器获取的图像信号进行重建，得到清晰的图像，可以采用基于深度学习的图像恢复网络模型对图像传感器获取的图像信号进行重建，包括以下步骤：电子设备将图像信号作为输入，运行预设图像恢复网络模型，输出清晰的图像；其中，预设图像恢复网络模型用于对图像信号进行重建得到清晰的图像。

例如，如图7所示，本实施例采用的图像恢复网络模型的结构，可以是基于经典的U-Net网络进行改造得到的，包括卷积层、最大池化(max-pooling，也称为下采样)层、上采样层(up-convolution，也称为反卷积)以及ReLU非线性激活函数。图7中跳跃连接，英文为skip connection，该结构能够使得在U-Net网络在每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合，U-Net网络能够保留更多高的高分辨率细节信息，进而更完善地恢复原始图像中的细节信息。基于大量的样本数据对该图像恢复网络模型进行训练，可得到训练好的图像恢复网络模型，该训练好的图像恢复网络模型具备对电子设备采集的图像进行重建得到清晰的图像的功能。

示例性地，预设图像恢复网络模型是由以下步骤训练得到的：首先，电子设备构建样本数据集，该样本数据集包括多组样本数据对，每组样本数据对包括第一图像和第二图像，第二图像是拍摄第一图像得到的，第二图像的清晰度小于第一图像的清晰度。然后，通过电子设备采用构建好的样本数据集，对图像恢复网络模型进行模型训练，以使训练后的图像恢复网络模型具备对电子设备采集的图像进行重建得到清晰的图像的功能，作为图像恢复过程中预设的图像恢复网络模型，对电子设备新获取到的图像信号进行重建。

示例性地，电子设备构建样本数据集，可以采用以下方法：在保证暗室的采集条件下，将清晰的图像投影到幻灯片上，然后利用如图5所示的电子设备对幻灯片进行拍摄，在图像传感器处获取对应的RAW图像，由此得到一个样本数据对；其中，清晰的图像作为Ground Truth(图像真值)，也就是第一图像；其中，拍摄得到的RAW图像作为第二图像。变更不同的幻灯片距离以及不同的播放图片，重复上述采集图像和构建样本数据对的过程，可以收集大量的样本数据对。

此外，基于原生的样本数据对，可以对样本数据对进行增广，例如对样本数据对中的图像进行裁切、缩放、加入噪声、加入畸变等操作，由此得到更多的样本数据对。

示例性地，通过电子设备采用构建好的样本数据集，对图像恢复网络模型进行模型训练，可以采用深度学习的方式对图像恢复网络模型进行端到端的训练；损失函数(lossfunction)可以用来度量图像恢复网络模型的输出的图像，也就是模型的预测值与图像真值的差异程度；本实施例中，可以采用以下损失函数：

上式的第一项中，

为图像恢复网络模型输出的图像，I_GT表示图像真值；L为回归损失函数：

上式的第二项及第三项表示边缘损失，是保证图像边缘清晰的正则化项，两个系数λ_x和λ_y是用于调节边缘锐化程度的系数，具体地，

式中，

分别为将

I_GT上与x方向的sobel算子进行卷积运算，提取得到的图像边缘；

分别为

I_GT与y方向的sobel算子进行卷积运算，提取得到的图像边缘。其中Sobel算子是一组方向算子，包括x方向的sobel算子和y方向的sobel算子，即水平算子和垂直算子，用于从不同的方向检测边缘。sobel算子不是简单的求平均差分，而是加强中心像素上下左右四个方向的权重，运算结果是一幅边缘图像。

上述回归损失函数L可以选择MSE(Mean Square Error，均方误差)损失函数L_MSE，或MAE(Mean Absolute Error，即平均绝对值误差)损失函数

用Y和

分别为图像真值和图像预测值，则两者之间的MSE损失函数

表示为：

两者之间的MAE损失函数

表示为：

N为Y和

中的像素点个数，y_i和

分别表示Y和

中的第i个像素点。

待图像恢复网络模型训练收敛后，Loss函数值降到最低，即可得到训练好的图像恢复网络模型，该训练好的图像恢复网络模型具备对电子设备采集的图像进行重建得到清晰的图像的功能，可以作为图像恢复过程中预设的图像恢复网络模型，对电子设备新获取到的图像信号进行重建。

在另一些实施例中，采用图像恢复算法对图像传感器获取的图像信号进行重建，得到清晰的图像，可以基于压缩感知的原理对图像传感器采集到的图像进行迭代重建，如图8所示，包括以下步骤为：

第一步，对图像信号进行去马赛克处理，得到R、G、B三个颜色通道的全分辨率图像；

第二步，确定用于进行图像优化的目标函数；再针对每个颜色通道的全分辨率的图像，分别采用优化算法对目标函数进行迭代优化，直至最终优化后的图像满足收敛条件；

第三步，将三个颜色通道最终优化后的图像进行合并，得到清晰的RGB图像。

其中，第一步中的去马赛克算法是用于从覆盖有颜色滤波器阵列(color filterarray，CFA)的图像传感器输出的不完整颜色样本重建全色图像的数字图像处理。所述覆盖有颜色滤波器阵列的图像传感器输出的图像信号为RAW(原始)图像信号，即光线经过颜色滤波阵列并经过光电转化和模数转换得到的数字信号。RAW图像信号的格式与一般RGB图像格式是有区别的。图像传感器的感光原理是通过一个一个的感光点对光进行采样和量化，在覆盖有颜色滤波器阵列的图像传感器中，每一个感光点只能感光RGB中的一种颜色，即RAW图像信号中每个像素点只有一个颜色通道的像素值，是每个像素点只有红、绿或蓝一种颜色分量的马赛克图。而要还原一个真正RGB的图像，需要每一个点都有R、G、B三个颜色通道得像素值。因此，对于RAW图像信号中的每个像素点，除了其本身具有的颜色通道的像素值，还需要借助这个像素点周围的像素点进行插值去马赛克处理，得到其另外的两个颜色通道的像素值。对RAW图进行去马赛克处理，可以采用双线性插值的方式。双线性插值的原理是，由于遗漏的像素值很可能与其现有相邻像素的值具有相似性，因此可以通过取其相邻像素的平均值来内插每个通道中遗漏的像素值。换句话说，我们从红色通道开始，对于任何遗漏的值，我们查看其相邻像素，如果它们包含一个值，则取其平均值，并将计算出的平均值分配给遗漏的像素。采用双线性插值的方式对RAW图进行去马赛克处理，实现简单。当然，本步骤中对RAW图进行去马赛克处理，还可以采取利用相关性的插值方法。相关性包括每个色彩通道内像素之间空间关系的相关性和多通道间色彩的相关性。采用利用相关性的去马赛克算法，相对于没有利用任何相关性的双线性插值方法效果更优。

其中，如图9所示，第二步中的用于进行图像优化的目标函数可以采用以下函数：

式中，J表示待优化的图像，

为优化后的图像；φ表示传感矩阵，φ与菲涅尔波带片的几何尺寸、焦距等参数相关；I表示图像变量；R(I)为正则化(regularization)项，正则化项用于优化模型中，相当于给模型增加一个约束规则项，可以减轻模型过拟合的程度；本申请实施例中，正则项R(I)采用TV范数R(I)TV，即令R(I)＝R(I)TV，可以保持图像的光滑性，消除图像复原可能带来的伪影；其中R(I)TV的计算公式为：

式中，H，W分别表示图像变量I的高和宽，单位为像素；Δ表示图像变量I的梯度，h，v分别表示水平方向和垂直方向，

知

分别表示图像变量I在像素点i处水平和垂直方向上的一阶梯度，N_HW表示图像变量I上的像素点个数。

该目标函数中，I是一个二维的图像变量，对目标函数

进行求解的目的是，求得一个图像变量I，使

的取值最小，将这个图像变量I记为

可选地，第二步中的采用优化算法对目标函数进行迭代优化，直至最终优化后的图像满足收敛条件，所谓收敛条件可以设置为MSE损失函数小于设定阈值ε，MSE损失函数如下公式所示：

优选地，如图8所示，在所述第三步之后，可以针对不同的拍照场景，对输出的图像进行不同的后处理算法优化，输出最终优化后的图像。例如，针对人脸，采用人脸超分算法进行后处理；针对暗光场景，采用暗光提亮算法进行后处理。

本申请另一些实施例提供了一种电子设备，该电子设备可以包括：上述显示屏、摄像头、存储器和一个或多个处理器。该显示屏、摄像头、存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图5所示的手机的结构。

本申请实施例还提供一种芯片系统，如图10所示，该芯片系统1000包括至少一个处理器1001和至少一个接口电路1002。处理器1001和接口电路1002可通过线路互联。例如，接口电路1002可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路1002可用于向其它装置(例如处理器1001)发送信号。示例性的，接口电路1002可读取存储器中存储的指令，并将该指令发送给处理器1001。当所述指令被处理器1001执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种电子设备，其特征在于，所述电子设备包括显示屏和至少一个前置摄像头，所述前置摄像头包括菲涅尔波带片和图像传感器；

所述菲涅尔波带片设置在所述显示屏的像素界定层的第一区域；所述图像传感器设置在所述显示屏的后侧，且所述图像传感器的感光面与所述第一区域相对；

所述菲涅尔波带片包括透光区域和不透光区域；

其中，照射在所述显示屏上的光线，经过所述菲涅尔波带片的所述透光区域投射到所述图像传感器上；在所述图像传感器上成像。

2.根据权利要求1所述的电子设备，其特征在于，所述不透光区域填充有第一像素阵列，所述显示屏像素界定层上除所述第一区域之外的第二区域填充有第二像素阵列；所述不透光区域和所述第二区域用于通过所述第一像素阵列和所述第二像素阵列，实现所述电子设备的显示功能。

3.根据权利要求2所述的电子设备，其特征在于，所述菲涅尔波带片由多个交替出现的第一环形带和第二环形带组成，所述第一环形带和所述第二环形带是同心环形带；所述第一环形带对应位置采用透明材质，是所述透光区域；所述第二环形带对应位置是所述不透光区域，填充有所述第一像素阵列。

4.根据权利要求2-3中任一项所述的电子设备，其特征在于，所述电子设备还包括处理器，所述处理器连接所述图像传感器；

所述图像传感器，用于对投射在所述图像传感器上形成的图像进行光电转化和模数转换，得到图像信号，还用于向所述处理器传输图像信号，所述图像信号是数字信号；

所述处理器，用于接收所述图像信号，并对所述图像信号进行重建，得到清晰的图像，还用于控制所述显示屏显示所述处理器输出的图像。

5.根据权利要求4所述的电子设备，其特征在于，所述摄像头还包括颜色滤波阵列；所述颜色滤波阵列设置在所述菲涅尔波带片和所述图像传感器的感光面之间；

其中，照射在所述显示屏上的光线，经过所述菲涅尔波带片，由所述颜色滤波阵列处理后，投射到所述图像传感器上。

6.根据权利要求4所述的电子设备，其特征在于，所述电子设备还包括控制电路和显示驱动电路；

所述第一像素阵列和所述第二像素阵列中均包括多个像素单元；每个像素单元又包括R、G、B子像素；每个R、G、B子像素分别连接到相应的阴极和阳极；

所述控制电路的输出端与显示驱动电路的控制端相连，用于控制所述显示驱动电路向所述的阴极和阳极施加电流，从而使相应的R、G、B子像素发光；其中发光强度与施加的电流大小相关。

7.根据权利要求4-6中任一项所述的电子设备，其特征在于，所述处理器输出的图像包括多个像素点；

所述处理器控制所述显示屏显示所述处理器输出的图像，包括：

所述处理器，用于针对所述多个像素点中的每个像素点执行以下操作，控制所述显示屏显示所述处理器输出的图像：

判断所述像素点对应于所述像素界定层上的所述第一区域或所述第二区域；

若所述像素点对应于所述第二区域，则控制所述显示屏通过所述第二像素阵列，在所述第二区域的对应位置正常显示所述像素点；

若所述像素点对应于所述第一区域，则对所述像素点进行坐标转换，确定所述像素点在所述菲涅尔波带片上的极坐标位置；根据所述极坐标位置，确定所述像素点对应于所述菲涅尔波带片上的所述透光区域或所述不透光区域；若所述像素点对应于所述透光区域，则控制所述显示屏不显示所述像素点；若所述像素点对应于所述不透光区域，则基于所述显示屏上的所述第一像素阵列，控制所述像素点在所述不透光区域的对应位置的显示方式。

8.根据权利要求7所述的电子设备，其特征在于，所述处理器对所述像素点进行坐标转换，确定所述像素点在所述菲涅尔波带片上的极坐标位置，包括：

所述处理器，用于采用以下坐标转换公式，对所述像素点进行坐标转换，确定所述像素点在所述菲涅尔波带片上的极坐标位置(r，θ)：

所述的坐标转换公式为：

其中，以所述显示屏的左上角为坐标原点(0,0)，以所述显示屏的宽度方向作为x轴，以所述显示屏的长度方向作为y轴，将从所述显示屏左上角由左向右的方向作为所述x轴的正方向，将所述显示屏左上角由从上向下的方向作为所述y轴的正方向，(x，y)为所述像素点的坐标点；(x₀，y₀)为所述菲涅尔波带片的中心点的坐标；r表示(x，y)与所述菲涅尔波带片的中心点(x₀，y₀)的距离；θ表示(x，y)与所述菲涅尔波带片的中心点的连线与x轴所成的角度。

9.根据权利要求7或8所述的电子设备，其特征在于，所述处理器根据所述极坐标位置，确定所述像素点对应于所述菲涅尔波带片上的所述透光区域或所述不透光区域，包括：

所述处理器，用于根据所述像素点在所述菲涅尔波带片上的所述极坐标位置，结合所述菲涅尔波带片的掩模公式，判断所述像素点对应于所述透光区域或者所述不透光区域；其中，所述菲涅尔波带片的掩模公式为：

在所述菲涅尔波带片的所述掩模公式中，r₁表示所述菲涅尔波带片的中心透光孔半径；sgn函数为符号函数，所述sgn函数的输入为正数时的输出为1，输入为负数时的输出为-1；

其中，若所述T(r)＝1,则所述像素点对应于所述透光区域；若所述T(r)＝0,则所述像素点对应于所述不透光区域。

10.根据权利要求9所述的电子设备，其特征在于，所述若所述像素点对应于所述不透光区域，则基于所述显示屏上的所述第一像素阵列，控制所述像素点在所述不透光区域的对应位置的显示方式，包括：

所述处理器，用于若所述T(r0＝0，则判断所述(r，θ)对应位置处是否排布有所述第一像素阵列中的像素单元；若所述(r，θ)对应位置处排布有像素单元U，则激活所述像素单元U以显示所述像素点；若所述(r，θ)对应位置处没有排布像素单元，则判断与所述(r，θ)对应位置最邻近的像素单元U_nei是否已处于激活状态；若所述像素单元U_nei处于未激活状态，则激活所述像素单元U_nei以显示所述像素点；若所述像素单元U_nei处于已激活状态，则控制所述显示屏不显示所述像素点；

所述处理器，还用于遍历过所有的(r，θ)之后，判断所述第一区域内排布的所有像素单元是否均处于所述激活状态；若存在处于所述未激活状态的显示单元，则采取线性插值的方式激活处于所述未激活状态的像素单元。

11.一种显示屏，其特征在于，所述显示屏的像素界定层的第一区域设置有菲涅尔波带片；所述菲涅尔波带片包括透光区域和不透光区域；所述菲涅尔波带片的所述透光区域用于将照射在所述显示屏上的光线，透射到所述显示屏的后侧的图像传感器上；其中，所述的图像传感器设置在所述显示屏的后侧，其感光面与所述第一区域相对。

12.根据权利要求11所述的显示屏，其特征在于，所述不透光区域填充有第一像素阵列，所述显示屏上除所述第一区域之外的第二区域填充有第二像素阵列；所述不透光区域和所述第二区域用于通过所述第一像素阵列和所述第二像素阵列，用于实现所述显示屏的显示功能。

13.一种成像方法，其特征在于，应用于如权利要求1-10中任一项所述的电子设备，所述方法包括：

所述电子设备获取所述电子设备的图像传感器输出的图像信号，所述图像信号包括所述图像传感器采集的RAW图像；

所述电子设备采用图像恢复算法对所述图像信号进行重建，得到清晰的图像。

14.根据权利要求13所述的成像方法，其特征在于，所述采用图像恢复算法对所述图像信号进行重建，得到清晰的图像，包括：

所述电子设备将所述图像信号作为输入，运行预设图像恢复网络模型，输出清晰的图像；

其中，所述预设图像恢复网络模型用于对图像信号进行重建得到清晰的图像。

15.根据权利要求14所述的成像方法，其特征在于，所述方法还包括：

所述电子设备构建样本数据集，所述样本数据集包括多组样本数据对，每组样本数据对包括第一图像和第二图像，所述第二图像是拍摄所述第一图像得到的，所述第二图像的清晰度小于所述第一图像的清晰度；

所述电子设备采用所述样本数据集，对图像恢复网络模型进行模型训练，以使训练后的图像恢复网络模型具备对所述电子设备采集的图像进行重建得到清晰的图像的功能。

16.根据权利要求13所述的成像方法，其特征在于，所述采用图像恢复算法对所述图像信号进行重建，得到清晰的图像，包括：

对所述图像信号进行去马赛克处理，得到R、G、B三个颜色通道的全分辨率图像；

确定用于进行图像优化的目标函数；

针对每个颜色通道的全分辨率的图像，分别采用优化算法对所述目标函数进行迭代优化，直至最终优化后的图像满足收敛条件；

将所述三个颜色通道最终优化后的图像进行合并，得到清晰的RGB图像。

17.根据权利要求16所述的成像方法，其特征在于，对所述图像信号进行去马赛克处理，得到R、G、B三个颜色通道的全分辨率图像，包括：

采用双线性插值的方式对所述图像信号进行去马赛克处理，得到R、G、B三个颜色通道的全分辨率图像。

18.根据权利要求16所述的成像方法，其特征在于，所述目标函数为：

其中，J表示待优化的图像，

为优化后的图像；φ表示传感矩阵；I表示图像变量；

R(I)为正则项，采用TV范数R(I)_TV，计算公式为：

式中，H，W分别表示图像变量I的高和宽，单位为像素；Δ表示图像变量I的梯度，h，v分别表示水平方向和垂直方向，

和

分别表示图像变量I在像素点i处水平和垂直方向上的一阶梯度，N_HW表示图像变量I上的像素点个数；

所述最终优化的图像满足收敛条件，即为MSE损失函数小于设定阈值ε，所述MSE损失函数如下公式所示：

19.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在如权利要求1-10中任一项所述的电子设备上运行时，使得所述电子设备执行对应的方法步骤；当所述计算机指令在所述电子设备上运行时，使得所述电子设备还执行如权利要求13-18中任一项所述的方法。

Images