CN114894444A - 屏幕漏光及环境光的检测方法、装置和电子设备 - Google Patents

Abstract

本申请实施例提供了一种屏幕漏光及环境光的检测方法、装置、电子设备和计算机存储介质。该方法包括：获取屏幕的显示参数，所述显示参数包括：所述屏幕的亮度值和所述屏幕的预设显示区域内各像素点的灰度值；将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值；根据所述各像素点对应的漏光值，得到所述屏幕的漏光值。基于上述技术方案，可以精确且可靠地确定屏幕的漏光值。

Description

屏幕漏光及环境光的检测方法、装置和电子设备

技术领域

本申请实施例涉及终端检测技术领域，尤其涉及一种屏幕漏光及环境光的检测方法、装置、电子设备和计算机存储介质。

背景技术

为了满足诸如手机等电子设备的大屏幕趋势，诸如环境光传感器(Ambient LightSensor，ALS)等部件会被内置到电子设备的屏幕的下方。ALS用于检测环境光强。电子设备可以根据ALS检测到的环境光强调整屏幕的亮度，使得屏幕的亮度符合人眼的视觉感受。另外，电子设备还可以根据ALS检测到的环境光强整合色温，以辅助显示和拍照。

然而，由于ALS设置在屏幕下方，ALS在检测环境光时易受到屏幕自身发光而产生的屏下漏光的干扰，需要从ALS检测到的环境光强减去漏光光强，才能得到真实的环境光强。

因此，亟需一种能够准确地检测屏幕漏光的技术。

发明内容

有鉴于此，本申请实施例提供一种屏幕漏光及环境光的检测方法、装置、电子设备和计算机存储介质，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种屏幕漏光的检测方法，其包括：

获取屏幕的显示参数，所述显示参数包括：所述屏幕的亮度值和所述屏幕的预设显示区域内各像素点的灰度值；

将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值；

根据所述各像素点对应的漏光值，得到所述屏幕的漏光值。

在一种可选的实施方式中，所述神经网络模型包括多个漏光检测子模型，其中，每一个漏光检测子模型对应一个目标亮度区间；

所述将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值，包括：

确定所述亮度值所在的目标亮度区间；

将所述显示参数输入所述目标亮度区间对应的漏光检测子模型，利用所述漏光检测子模型对所述显示参数进行处理，得到所述各像素点对应的漏光值。

在一种可选的实施方式中，所述神经网络模型包括残差模块，所述残差模块包括多个全连接单元，所述多个全连接单元依次串联连接，且，所述多个全连接单元间还存在跳跃连接，所述跳跃连接包括不相邻的两个全连接单元间的连接。

在一种可选的实施方式中，所述跳跃连接为所述多个全连接单元中的第一个全连接单元与最后一个全连接单元跳跃连接。

在一种可选的实施方式中，所述残差模块的数量为多个，所述神经网络模型还包括第一全连接模块和第二全连接模块，所述多个残差模块级联连接，且位于所述第一全连接模块与所述第二全连接模块之间。

在一种可选的实施方式中，每个全连接单元包括全连接层、批标准化和激活函数。

在一种可选的实施方式中，所述神经网络模型的训练过程包括：

构建初始神经网络模型；

获取屏幕的样本显示参数和样本漏光值；

将所述样本显示参数输入所述初始神经网络模型，得到预测漏光值；

基于所述预测漏光值与所述样本漏光值，得到所述初始神经网络模型的损失值；

根据所述损失值，对所述初始神经网络模型进行训练，得到所述神经网络模型。

在一种可选的实施方式中，所述神经网络模型包括多个输出通道，所述预测漏光值包括多个通道预测漏光值，一个通道预测漏光值对应一个输出通道，所述样本漏光值包括多个通道样本漏光值，一个通道样本漏光值对应一个输出通道；

所述基于所述预测漏光值与所述样本漏光值，得到所述初始神经网络模型的损失值，包括：

针对每个输出通道，基于该输出通道对应的通道预测漏光值与通道样本漏光值，得到该输出通道对应的损失值；

对各输出通道对应的损失值进行融合，得到所述初始神经网络模型的损失值。

在一种可选的实施方式中，所述检测方法还包括：对所述神经网络模型进行整型量化并存储。

在一种可选的实施方式中，所述预设显示区域为所述屏幕的光检测区域，所述光检测区域与所述屏幕下方设置的光传感器位置对应。

在一种可选的实施方式中，所述根据所述各像素点对应的漏光值，得到所述屏幕的漏光值，包括：

获取各像素点的漏光权重值，其中，每个像素点的漏光权重值与该像素点和所述屏幕下方设置的光传感器的相对位置有关；

根据所述各像素点对应的漏光值和所述各像素点的漏光权重值，确定所述屏幕的漏光值。

根据本申请实施例的第二方面，提供了一种环境光的检测方法，其包括：

根据如第一方面所述的环境光的检测方法，确定屏幕的漏光值；

获取所述屏幕下方设置的光传感器检测到的感光值；

根据所述感光值和所述漏光值，确定真实环境光值。

根据本申请实施例的第三方面，提供了一种屏幕漏光的检测装置，其包括：

获取模块，用于获取屏幕的显示参数，所述显示参数包括：所述屏幕的亮度值和所述屏幕的预设显示区域内各像素点的灰度值；

处理模块，用于将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值；

确定模块，用于根据所述各像素点对应的漏光值，得到所述屏幕的漏光值。

根据本申请实施例的第四方面，提供了一种环境光的检测装置，其包括：

屏幕漏光检测装置，用于确定屏幕的漏光值，其中所述屏幕漏光检测装置为如第三方面所述的屏幕漏光的检测装置；

获取模块，用于获取所述屏幕下方设置的光传感器检测到的感光值；

环境光计算模块，用于根据所述感光值和所述漏光值，确定真实环境光值。

根据本申请实施例的第五方面，提供了一种电子设备，其包括：至少一个处理器、存储器、总线及通信接口，其中，所述处理器中存储有程序，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信，所述通信接口用于与其他设备或部件进行通信，所述处理器执行所述程序。

根据本申请实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的屏幕漏光的检测方法，或者实现如第二方面所述的环境光的检测方法。

基于上述方案，由于神经网络模型具有高度自学习和自适应能力，训练完成的神经网络模型学习到屏幕内像素点的灰度值和亮度值等显示参数与像素点的漏光值之间的内在关联，因此在确定屏幕的漏光值时，获取屏幕的显示参数，并将这些显示参数输入神经网络模型，即可精确且可靠地确定屏幕内像素点的漏光值，进而，基于各像素点的漏光值进行融合处理，可以精确且可靠地确定屏幕的漏光值。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种屏幕漏光的检测方法的流程示意图；

图3为本申请实施例提供的一种ResDNN模型的结构示意图；

图4为本申请实施例提供的一种残差模块的结构示意图；

图5为本申请实施例提供的另一种屏幕漏光的检测方法的流程示意图；

图6为本申请实施例提供的一种神经网络模型训练方法的流程示意图；

图7为本申请实施例提供的一种环境光的检测方法的流程示意图；

图8为本申请实施例提供的一种屏幕漏光的检测装置的结构示意图；

图9为本申请实施例提供的一种环境光的检测装置的结构示意图；

图10为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

本申请实施例提供的屏幕漏光的检测方法适用于屏幕下方设置有光传感器的电子设备。参照图1，为了满足诸如手机等电子设备的大屏幕趋势，同时为了保持简洁的外观和工业设计一体化，光传感器102安装于电子设备的屏幕101的下方，更具体地，安装于屏幕101上的光检测区域的下方，用于检测环境光强。在一种实现方式中，光传感器102可以输出RGBCW五个感应通道的感光值，通过特定算法对这五个感应通道的感光值(也称为DN值)进行折算，可以得到环境光强。

电子设备的主板上设置有处理器，处理器可以根据光传感器102检测到的环境光强调整屏幕101的亮度，使得屏幕101的亮度符合人眼的视觉感受。该处理器还可以根据光传感器102检测到的环境光强整合色温，以辅助显示和拍照。

然而，液晶显示屏和有机发光二极管(Organic Light-Emitting Diode，OLED)等作为常用电子设备的屏幕，其存在屏幕漏光。屏幕漏光是指屏幕101的背面会射出屏幕自身发出的光。屏幕101的背面与屏幕101的正面相对，屏幕101的正面是指可以直接观察到的面。由于光传感器102设置在屏幕101下方，光传感器102在检测环境光时易受到屏幕漏光的干扰。也即，光传感器102检测到的光强中不仅包括真实的环境光强，还包含有屏幕漏光光强，需要从光传感器102检测到的光强中减去屏幕漏光光强，才能得到真实的环境光强。

因此，光传感器102要正确地检测环境光强的关键点在于如何准确地计算屏幕漏光光强。屏幕漏光与许多因素相关，发明人通过大量实验数据分析，寻求与屏幕漏光相关联的因素，最终发现屏幕漏光与屏幕101内各像素点的灰度值、屏幕101的亮度值、屏幕101的刷新速率、屏幕101的显示模式等多种屏幕显示参数有关，且屏幕漏光与这些屏幕显示参数之间存在较为稳定的关系。相关技术中提到采用二元线性拟合方法来拟合这些屏幕显示参数与屏幕漏光之间的关系。然而，屏幕显示参数与屏幕漏光之间的关系并不是简单的线性关系。此外，不同的电子设备采用不同的屏幕，这也使得不同电子设备之间线性度差异较大。因此，采用线性拟合方式会使得最终得到的屏幕漏光存在较大误差，难以满足用户的使用需求。

鉴于上述问题，本申请实施例提供了一种屏幕漏光检测方法，该方法采用预先训练的神经网络模型，基于神经网络模型具有高度自学习和自适应能力，训练完成的神经网络模型学习到屏幕内像素点的灰度值和亮度值等显示参数与像素点的漏光值之间的内在关联，因此在确定屏幕的漏光值时，获取屏幕的显示参数，并将这些显示参数输入神经网络模型，即可精确且可靠地确定屏幕内像素点的漏光值，进而，基于各像素点的漏光值进行融合处理，可以精确且可靠地确定屏幕的漏光值。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图2为本申请实施例提供的一种屏幕漏光的检测方法的流程示意图。该方法可以由图1所示的电子设备执行。屏幕的漏光是指从在屏幕的背面射出的由屏幕自身发出的光。如图2所示，该方法包括：

步骤S201、获取屏幕的显示参数。

其中，显示参数可以包括屏幕的亮度值和屏幕的预设显示区域内各像素点的灰度值。

屏幕的亮度值是指屏幕上所显示的内容的亮度值。

在具体实现时，电子设备可以通过对应的接口从电子设备的操作系统读取屏幕的亮度值。

屏幕的预设显示区域内各像素点的灰度值是指该预设显示区域内所显示的内容的各像素点的灰度值。在所显示的内容为多通道图像时，每个像素点的灰度值可以包括每个像素点的各个颜色分量的灰度值。以所显示的内容为RGB图像为例，每个像素点的灰度值可以包每个像素点的红色通道R的灰度值、绿色通道G的灰度值和蓝色通道B的灰度值。

在具体实现时，电子设备可以通过截图软件来截取屏幕上该预设显示区域内的显示内容来获得该预设显示区域内各像素点的灰度值。

本实施例中，预设显示区域的选取与屏幕下方设置的光传感器的位置有关。通常，光传感器的中心接收到的光信号最强，对屏幕漏光的贡献最大；越偏离光传感器的中心，光传感器接收到的光信号相对越弱，对屏幕漏光的贡献也相对越小。

利用这一特点，在一种实现方式中，预设显示区域为屏幕的光检测区域。光检测区域为光传感器上方的屏幕区域。所述光检测区域与所述屏幕下方设置的光传感器位置对应。可以理解，通过选取屏幕的光检测区域作为预设显示区域，可以充分利用屏幕上对漏光贡献较大的区域内各像素点的灰度值来确定屏幕的漏光值，进而在后续过程中可以在减少计算量的同时更为准确地确定屏幕漏光值。

应理解，在本实施例中，预设显示区域也可以是屏幕上的包括光传感器上方的至少部分光检测区域的其他区域，本申请实施例对此不做限定。

需要说明的是，除了屏幕的亮度值和屏幕的预设显示区域内各像素点的灰度值，在本申请的一种实现方式中，显示参数还可以包括屏幕的刷新频率、屏幕的显示模式、和/或与屏幕漏光有关的其他参数等。在具体实现时，电子设备可以在对应的接口从电子设备的操作系统中获取屏幕的对应显示参数。

步骤S202、将显示参数输入预先训练的神经网络模型，利用神经网络模型对显示参数进行处理，得到各像素点对应的漏光值。

各像素点对应的漏光值用于指示在屏幕处于当前显示状态时各像素点所在区域的漏光的光强。当前显示状态可以理解为正在使用中的屏幕的显示状态。

各像素点对应的漏光值可以包括各像素点对应的多个通道的漏光值。例如，在一种实现方式中，各像素点对应的漏光值可以包括各像素点对应的红色通道R的漏光值、绿色通道G的漏光值、蓝色通道B的漏光值。在另一种实现方式中，除了红色通道R的漏光值、滤色通道G的漏光值、蓝色通道B的漏光值，各像素点对应的漏光值还可以包括Clear通道(下文简称为C通道)的漏光值和Wideband通道(下文简称为W通道)的漏光值，即各像素点对应的漏光值包括五个通道的漏光值。其中，C通道的漏光值包括RGB三种通道的漏光值，W通道的漏光值包括RGB及红外(Infrared Radiation，IR)四种通道的漏光值。

本实施例中，可以通过电子设备的系统接口获取屏幕的亮度值，并且遍历预设显示区域中的每个像素点，针对每个像素点，将该像素点的灰度值和所获取的屏幕的亮度值作为一组待处理数据输入神经网络模型，利用神经网络模型对该组待处理数据进行处理，预测得到该像素点对应的漏光值。以此方式，得到预设显示区域内各像素点的漏光值。

本实施例中，神经网络模型可以采用深度神经网络(Deep Neural Networks，DNN)模型。由于作为待处理数据输入神经网络模型的各像素点对应的灰度值和亮度值等不存在局部特征，DNN模型的下层神经元和所有上层神经元之间都形成连接，使用DNN模型可以较好地提取这种类型的待处理数据的所有特征之间的特征关联。

然而，DNN模型随着模型层数加深，可能会由于出现梯度消失现象而导致模型无法训练。考虑到在电子设备中集成神经网络模型时的功耗和性能平衡，以及为了提高神经网络模型模型的拟合精度，在本申请的另一实现方式中，神经网络模型采用以全连接单元为基础的残差块结构，简称为ResDNN模型。该ResDNN模型在不相邻的全连接单元之间采用跳跃连接的方式，使得在训练时能够自适应地跳过模型中的某些层次，自适应地调整学习深度，避免因深度较深可能导致的梯度消失等难以训练的情况，从而可以加深模型层次，使得训练完成的模型具有更好的拟合能力。ResDNN模型的具体结构可以参见下文关于ResDNN模型的详细说明，此处不再赘述。

S203、根据所述各像素点对应的漏光值，得到屏幕的漏光值。

屏幕的漏光值用于指示在屏幕处于当前显示状态时屏幕漏光的光强。

例如，可以对各个像素点对应的漏光值进行求和，将求和的结果作为屏幕的漏光值。在每个漏光值包括多个通道的漏光值的情况下，在一种实现方式中，可以分别对各像素点每个通道的漏光值进行求和，将求和的结果作为屏幕的漏光值；在另一种实现方式中，可以仅对像素点某个通道(例如，绿色通道G)的漏光值进行求和，将求和的结果作为屏幕的漏光值，本实施例对此不做限定。

考虑到屏幕上预设显示区域中各像素点与屏幕下方设置的光传感器的中心的距离不同，各像素点的漏光对屏幕漏光的贡献不同。具体地，像素点越靠近光传感器的中心，对屏幕漏光的贡献越大，相反，越远离光传感器的中心，对屏幕漏光的贡献越小。在计算屏幕的漏光值时，将各像素点的漏光权重值考虑在内，可以提高屏幕漏光检测的准确性。

为此，在本申请的一种实现方式中，步骤S203包括：获取各像素点的漏光权重值，其中，每个像素点的漏光权重值与该像素点和所述屏幕下方设置的光传感器的相对位置有关；根据各像素点对应的漏光值和各像素点的漏光权重值，确定屏幕的漏光值。

具体地，如上文提到的，各像素点越靠近光传感器的中心，对屏幕漏光的贡献越大，相反，越远离光传感器的中心，对屏幕漏光的贡献越小。

基于这一特点，在一种实现方式中，可以预先确定每个像素点的漏光在屏幕的总漏光中的占比，将每个像素点的漏光在屏幕的总漏光中的占比确定为该像素点的漏光权重值并进行存储。在实际应用时，可以根据各像素点对应的漏光值和各像素点的漏光权重值进行加权求和确定屏幕的漏光值。

在另一种实现方式中，可以预先将屏幕的像素按位置划分为预设大小的区块，根据每个区块的漏光在屏幕的总漏光中的占比确定各区块的漏光权重值并进行存储。在实际应用时，可以根据每个像素点所属的区块的漏光权重值和该区块包含的像素点的数量，确定该像素点的漏光权重值。例如，某像素点所属的区块的漏光权重值为Wi，该区块包含的像素点的数量为N，则该像素点的漏光权重值为Wi/N。根据各像素点对应的漏光值和各像素点的漏光权重值进行加权求和，来确定屏幕的漏光值。本实现方式中，由于存储区块的漏光权重值，而非每个像素点的漏光权重值，减少了存储漏光权重值所需要的存储空间。

基于上述方案，由于神经网络模型具有高度自学习和自适应能力，训练完成的神经网络模型学习到屏幕中各像素点的灰度值和亮度值等显示参数与各像素点的漏光值之间的内在关联，因此在确定屏幕的漏光值时，获取屏幕的这些显示参数，并将这些显示参数输入神经网络模型，即可精确且可靠地确定各像素点的漏光值，进而，基于各像素点的漏光值，可以精确且可靠地确定屏幕的漏光值。

进一步地，由于ResDNN模型在全连接单元之间采用跳跃连接的方式，使得在训练时能够自适应地跳过模型中的某些层次，自适应地调整学习深度，这使得训练完成的ResDNN模型现出更强的拟合能力、训练更快且收敛精度更高。在神经网络模型采用ResDNN模型时，可以更为精确且可靠地确定屏幕的漏光值。下面结合图3和图4对ResDNN模型进行详细说明。

同时参考图3和图4，图3为本申请实施例提供的一种ResDNN模型的结构示意图；图4为本申请实施例提供的一种残差模块的结构示意图。如图所示，该ResDNN模型可以包括残差模块303，残差模块303包括多个全连接单元，多个全连接单元依次串联连接，且，多个全连接单元间还存在跳跃连接，所述跳跃连接包括不相邻的两个全连接单元间的连接。

在一种可选的实施方式中，如图4所示，跳跃连接为所述多个全连接单元中的第一个全连接单元3031a与最后一个全连接单元3031d跳跃连接。

具体地，参照图4，每个全连接单元包括全连接层、批标准化(Batchnormalization，BN)、激活函数。全连接层、批标准化和激活函数依次连接。其中，全连接层可以采用通用矩阵乘(General Matrix Multiplication，GEMM)来实现。全连接层中的每个神经元与上一层的所有神经元连接。全连接层中神经元的数量可以由用户设定，可以根据期望的模型拟合能力和模型运算效率等因素进行设定。具体地，神经元的数量越高，模型复杂度越高，模型的拟合能力也越高，然而，模型的运算时间增加，且运算效率会降低。此外，全连接层中神经元的数量也可以通过神经网络架构搜索算法得到。

在一种可选的实施方式中，参考图4，该残差模块包含依次串联连接的四个全连接单元：全连接单元3031a、全连接单元3031b、全连接单元3031c和全连接单元3031d。全连接单元3031a还跳过路径中间的全连接单元3031b、全连接单元3031c连接至全连接单元3031d。更确切地说，全连接单元3031a的激活函数的输出端直接连接至全连接单元3031d的BN的输出端，使得来自全连接单元3031a的激活函数的输出数据与来自全连接单元3031d的BN的输出数据相加后输入全连接单元3031d的激活函数，由此使得在模型训练时能够自适应地跳过神经网络模型中的某些层次，自适应地调整学习深度，提高模型的拟合能力。BN位于全连接层和激励函数之间，用于对全连接层的输出结果进行批量归一化处理，使其均值接近0和标准差接近1，确保激活函数的输入具有稳定的分布。

激活函数与BN相连，用于增加神经网络模型的非线性，使神经网络模型可以逼近任何非线性函数，在本申请实施例中，激活函数可以采用Relu函数。

继续参考图3，该ResDNN模型包括第一全连接模块302、第二全连接模块304和位于第一全连接模块302与第二全连接模块304之间的所述残差模块303，所述残差模块303的数量为多个，多个残差模块303级联连接，且位于所述第一全连接模块302与所述第二全连接模块304之间。

其中，第一全连接模块302可以与神经网络模型的输入层301连接。输入层301用于接收待处理数据(即屏幕的亮度值和屏幕的预设显示区域内各像素点的灰度值等显示参数)。输入层301的神经元数量等于待处理数据的维度。第一全连接模块302可以用于对通过输入层301输入的待处理数据进行升维处理，以便通过后续多个级联的残差模块303进行处理。第一全连接模块302可以包括全连接层和与全连接层相连的激活函数，其中，全连接层中每个神经元与上一层的所有神经元连接。

第二全连接模块304可以与神经网络模型的输出层305连接。输出层305用于输出预测数据(即，各像素点对应的漏光值)，输出层305的神经元数量等于预测数据的维度。第二全连接模块304用于对多个级联的残差模块303中的最后一个残差模块303的处理结果进行降维处理，以便经由神经网络模型的输出层305输出。第二全连接模块304的结构与第一全连接模块302的结构类似。

在第一全连接模块302与第二全连接模块304之间包括多个残差模块303，多个残差模块303依次串联连接。残差模块303的数量可以根据期望的模型拟合能力和模型运算效率等因素进行设定。在本申请的一种具体实现方式中，残差模块303的数量为四个，应理解，在其他实现方式中，残差模块303的数量可以是大于四个，也可以小于四个，本实施例对此不做限定。

本实施例中，各残差模块303中包含的全连接单元的数量可以相同，也可以不同。在一种优选的实施例中，各残差模块303中包含的全连接单元的数量相同，以方便模型的构建。各残差模块303中包含的全连接单元的神经元数量不同。具体地，按照残差模块303级联的顺序，残差模块303中包含的全连接单元的神经元数量依次递减，以便逐步对上一残差模块303的处理结果进行降维处理。

例如，在本申请的一种实现方式中，神经网络模型包含级联的四个残差模块303，每个残差模块303包含四个全连接单元，第一残差模块的四个全连接单元的神经元数量为240、180、120、240，第二残差模块的四个全连接单元的神经元数量为120、90、60、120、第三残差模块的四个全连接单元的神经元数量为60、45、30、60，第四残差模块的四个全连接单元的神经元数量为30、20、10、30。与第一残差模块连接的第一全连接模块302的神经元数量为120，且与第四残差模块连接的第二全连接模块304的神经元数量为10。

应理解，此处仅是举例说明，在具体实现时，各个残差模块303中全连接单元的数量以及各个全连接单元的神经元数量可以根据期望的模型拟合能力和模型运算效率等因素进行设定。具体地，全连接单元的数量和/或神经元的数量越高，模型复杂度越高，模型的拟合能力也越高，然而，模型的运算时间增加，且运算效率会降低。

每个残差模块包括的多个全连接单元依次串联连接，且，多个全连接单元间还存在不相邻的两个全连接单元间的跳跃连接。由于存在跳跃连接，使得在训练时能够自适应地跳过模型中的某些层次，自适应地调整学习深度，避免因深度较深可能导致的梯度消失等难以训练的情况，从而可以加深模型层次，使得训练完成的模型具有更好的拟合能力。

表1为在相同测试条件下神经网络模型分别采用普通DNN模型和ResDNN模型时各通道的最大漏光误差。通过表1可以看出，采用ResDNN模型时最大漏光误差明显较小，也即ResDNN模型具有更强的拟合能力，漏光检测准确度更高，同时模型训练耗时更短，训练更快。

表1

指标	DNN	ResDNN
			R低中亮(亮度值0-200)	3.6lux	1.6lux
R高亮(亮度值200-255)	2.5lux	1.8lux
			G低中亮(亮度值0-200)	1.1lux	0.8lux
G高亮(亮度值200-255)	1.6lux	1.1lux
			B低中亮(亮度值0-200)	2.4lux	1.8lux
B高亮(亮度值200-255)	1.7lux	1.4lux
			单个模型训练耗时	90min-120min	60min-80min

基于前述实施例，参照图5，图5示出了本申请实施例提供的另一种屏幕漏光的检测方法的流程示意图。该方法与图2所示的实施例的区别在于：在本实施例中，神经网络模型包括多个漏光检测子模型，其中，每一个漏光检测子模型对应一个目标亮度区间。具体地，可以将屏幕的亮度范围按照亮度值大小分为N个目标亮度区间(即，N个亮度等级)，N为整数且N≥2。针对每个亮度等级，设置有一个漏光检测子模型，每个漏光检测子模型与前述实施例3中的神经网络模型的结构类似，此处不再赘述。例如，在一种实现方式中，将屏幕的亮度范围划分为三个区间：低亮度区间、中亮度区间、高亮度区间。其中，低亮度区间为0～56lux，中亮度区间为56～200lux，高亮度区间为200～255lux。应理解，此处仅为举例说明，不对本申请实施例进行限定。

如图5所示，该屏幕漏光的检测方法包括：

S501、获取屏幕的显示参数。

其中，显示参数包括：屏幕的亮度值和屏幕的预设显示区域内各像素点的灰度值。

S502、确定亮度值所在的目标亮度区间。

S503、将显示参数输入目标亮度区间对应的漏光检测子模型，利用漏光检测子模型对显示参数进行处理，得到各像素点对应的漏光值。

S504、根据各像素点对应的漏光值，得到屏幕的漏光值。

其中，步骤S501和S504的具体过程和工作原理与图2所示的实施例中的步骤S201和S203类似，此处不再赘述。在步骤S502和S503中，电子设备可以预先存储表征目标亮度区间与漏光检测子模型之间的一一对应关系的预设映射。在获取到屏幕的亮度值时，可以根据屏幕的亮度值和目标亮度区间的比较来确定亮度值所在的目标亮度区间，进而在步骤S503中，将显示参数输入目标亮度区间对应的漏光检测子模型，利用漏光检测子模型对显示参数进行处理，得到各像素点对应的漏光值。

由于在不同目标亮度区间中屏幕的显示参数与屏幕的漏光值的分布存在较大差异，通过针对每个目标亮度区间设置一个漏光检测子模型。在应用时，选用与屏幕的亮度值匹配的漏光检测子模型对屏幕的显示参数进行处理，由此可以进一步在整体上提升漏光检测的准确度。

图6为本申请实施例提供的一种神经网络模型的训练方法的流程示意图。如图6所示，该方法包括：

S601、构建初始神经网络模型。

其中，初始神经网络模型的结构与前述实施例中的预先训练的神经网络模型的结构类似，此处不再赘述。

S602、获取屏幕的样本显示参数和样本漏光值。

其中，样本显示参数和样本漏光值分别与前述实施例中的显示参数和漏光值的含义类似，此处不再赘述。

在一种具体的实现方式时，可以在基本上无任何环境光干扰的暗室内，控制电子设备的屏幕以固定的步进显示不同亮度和不同灰度背景，记录在不同亮度和不同灰度背景的组合下光传感器输出的感应值。可以获取不同亮度和不同灰度背景的组合作为样本显示参数，可以理解，上述不同亮度和不同灰度背景的组合作为样本显示参数中包括所述背景的亮度值和灰度值。由于在暗室内外界环境光为0，在不同亮度和不同灰度背景的组合下光传感器输出的感应值即为对应的屏幕的漏光值，即样本漏光值。上述样本显示参数和样本漏光值可以不同的电子设备上获取。获取的样本显示参数和样本漏光值中的一部分可以用来训练初始神经网络模型，剩余一部分可以用作验证神经网络模型性能的验证集。

应理解，为了减弱温度变化的影响，可以将电子设备放在温箱或温度恒定的空调房内，确保获取的样本漏光值不随温度波动。此外，为了减少噪声的影响，可以在相同的样本显示参数下多次采集样本漏光值，将多次采集的样本漏光值的平均值作为最终的样本漏光值。

应理解，在其他实现方式中，样本显示参数还包括屏幕的样本刷新频率、样本显示模式以及与屏幕的漏光有关的其他样本显示参数。样本漏光值的获取方式与上述样本显示参数包括亮度值和灰度值时类似，此处不再赘述。

S603、将样本显示参数输入初始神经网络模型，得到预测漏光值。

S604、基于预测漏光值与样本漏光值，得到初始神经网络模型的损失值。

其中，神经网络模型可以包括多个输出通道，相应地，预测漏光值包括多个通道预测漏光值，一个通道预测漏光值对应一个输出通道；样本漏光值包括多个通道样本漏光值，一个通道样本漏光值对应一个输出通道。

在一种实现方式中，步骤S604可以包括：基于多个通道预测漏光值与多个通道样本漏光值计算一个损失值，作为初始神经网络模型的损失值。

为了避免各通道输出之间的相互影响，在另一种实现方式中，步骤S604可以包括：

针对每个输出通道，基于该输出通道对应的通道预测漏光值与通道样本漏光值，得到该输出通道对应的损失值；对各输出通道对应的损失值进行融合(例如，加权平均)，得到初始神经网络模型的损失值。

举例说明，神经网络模型可以同时输出RGBCW五个通道的漏光值，可以分别针对五个通道计算五个损失值，对这五个损失值进行加权平均，得到初始神经网络模型的损失值。

本实现方式中，由于分别针对神经网络模型的多个输出通道中的每个输出通道单独地计算损失值，可以减少各通道输出之间的相互影响，提高了训练得到的神经网络模型的拟合精度。

S605、根据损失值，对初始神经网络模型进行训练，得到神经网络模型。

具体地，基于损失值调整初始神经网络模型的模型参数，迭代执行这一过程，直到损失值小于期望损失值。

应理解，在对初始神经网络模型进行训练完成之后，还可以使用验证集验证神经网络模型的性能，若神经网络模型的性能达到期望性能要求，则可以将神经网络模型存储在电子设备中。若在神经网络模型的性能未达到期望性能要求时，则可以调整神经网络模型的结构和/或参数，重新执行步骤S603至步骤S605，直到神经网络模型的性能达到期望性能要求。

在神经网络模型训练完成之后，可以将神经网络模型存储在电子设备中。为了节省存储空间以及提升在应用模型时的计算速度，在一种实现方式中，对神经网络模型进行整型量化并存储。例如，神经网络模型的模型参数进行8位整型量化并存储。对模型参数进行8位整型量化(int8量化)，可以将存储神经网络模型所需要的存储空间缩减为原来的1/4。此外，对模型参数进行8位整型量化，可以使得电子设备在调用训练完成的神经网络模型进行漏光检测时，计算速度大幅提升，进而减少在模型应用时电子设备的功耗。

本申请实施例中，通过获取样本显示参数和样本漏光值对初始神经网络模型进行训练，使得训练完成的神经网络模型学习到样本显示参数与样本漏光值之间的内在关联，使得在使用该神经网络模型进行漏光检测时，能够精确且可靠地确定屏幕的漏光值。

需要说明的是，前述实施例主要以显示参数包括屏幕的亮度值和灰度值为例对本申请的构思进行说明。应理解，如上面提到的，影响屏幕漏光的因素还包括屏幕的刷新频率、屏幕的显示模式、和/或与屏幕漏光有关的其他显示参数等，结合多种因素计算漏光值，有利于进一步提高漏光检测的准确度。在显示参数还包括屏幕的刷新频率、屏幕的显示模式、和/或与屏幕漏光有关的其他显示参数等时的工作原理与前述实施例类似，此处不再赘述。

参照图7，本申请实施例还提供了一种环境光的检测方法，用于根据前述实施例中检测得到的屏幕的漏光值，确定实际环境光值。下面结合图7对本申请实施例提供的环境光的检测方法进行具体说明。如图7所示，该方法包括：

步骤S701、根据前述任一实施例中提到的屏幕漏光的检测方法，确定屏幕的漏光值。

也即，电子设备可以采用前述任一实施例中提到的屏幕漏光的检测方法进行检测，得到屏幕的漏光值。

步骤S702、获取屏幕下方设置的光传感器检测到的感光值。

步骤S703、根据感光值和所述漏光值，确定真实环境光值。

具体地，电子设备可以根据感光值与漏光值的差值，得到真实环境光值。电子设备可以根据真实环境光值调整屏幕的亮度，使得屏幕的亮度符合人眼的视觉感受。另外，电子设备还可以根据真实环境光值整合色温，以辅助显示和拍照。

本申请实施例中，由于神经网络模型具有高度自学习和自适应能力，训练完成的神经网络模型学习到屏幕内像素点的灰度值和亮度值等显示参数与像素点的漏光值之间的内在关联，因此在确定屏幕的漏光值时，获取屏幕的显示参数，并将这些显示参数输入神经网络模型，即可精确且可靠地确定屏幕内像素点的漏光值，进而，基于各像素点的漏光值，可以精确且可靠地确定屏幕的漏光值，提高了屏幕漏光检测的精度。由于屏幕漏光检测的精度提高，因此根据光传感器输出的感光值和基于神经网络模型得到的漏光值可以准确地确定当前环境光值，提高了环境光检测的准确度。

参照图8，示出了根据本申请实施例的一种屏幕漏光的检测装置的结构示意图。如图8所示，该屏幕漏光的检测装置80包括：

获取模块801，用于获取屏幕的显示参数，显示参数包括：屏幕的亮度值和屏幕的预设显示区域内各像素点的灰度值；

处理模块802，用于将显示参数输入预先训练的神经网络模型，利用神经网络模型对显示参数进行处理，得到各像素点对应的漏光值；

确定模块803，用于根据各像素点对应的漏光值，得到屏幕的漏光值。

在本申请的一种实现方式中，所述神经网络模型包括多个漏光检测子模型，其中，每一个漏光检测子模型对应一个目标亮度区间；

所述处理模块802用于：

确定所述亮度值所在的目标亮度区间；

将所述显示参数输入所述目标亮度区间对应的漏光检测子模型，利用所述漏光检测子模型对所述显示参数进行处理，得到所述各像素点对应的漏光值。

在本申请的一种实现方式中，所述神经网络模型包括残差模块，所述残差模块包括多个全连接单元，所述多个全连接单元依次串联连接，且，所述多个全连接单元间还存在跳跃连接，所述跳跃连接包括不相邻的两个全连接单元间的连接。

在本申请的一种实现方式中，所述跳跃连接为所述多个全连接单元中的第一个全连接单元与最后一个全连接单元跳跃连接。

在本申请的一种实现方式中，所述残差模块的数量为多个，所述神经网络模型还包括第一全连接模块和第二全连接模块，所述多个残差模块级联连接，且位于所述第一全连接模块与所述第二全连接模块之间。

在本申请的一种实现方式中，每个全连接单元包括全连接层、批标准化和激活函数。

在本申请的一种实现方式中，所述屏幕漏光的检测装置还包括模型训练模块，所述模型训练模块用于：

构建初始神经网络模型；

获取屏幕的样本显示参数和样本漏光值；

将所述样本显示参数输入所述初始神经网络模型，得到预测漏光值；

基于所述预测漏光值与所述样本漏光值，得到所述初始神经网络模型的损失值；

根据所述损失值，对所述初始神经网络模型进行训练，得到所述神经网络模型。

在本申请的一种实现方式中，所述神经网络模型包括多个输出通道，所述预测漏光值包括多个通道预测漏光值，一个通道预测漏光值对应一个输出通道，所述样本漏光值包括多个通道样本漏光值，一个通道样本漏光值对应一个输出通道；

所述模型训练模块用于：

针对每个输出通道，基于该输出通道对应的通道预测漏光值与通道样本漏光值，得到该输出通道对应的损失值；

对各输出通道对应的损失值进行融合，得到所述初始神经网络模型的损失值。

在本申请的一种实现方式中，所述屏幕漏光的检测装置还包括存储模块，所述存储模块用于：对所述神经网络模型进行整型量化并存储。

在本申请的一种实现方式中，所述预设显示区域为所述屏幕的光检测区域，所述光检测区域与所述屏幕下方设置的光传感器位置对应。

在本申请的一种实现方式中，所述确定模块803用于：

获取各像素点的漏光权重值，其中，每个像素点的漏光权重值与该像素点和所述屏幕下方设置的光传感器的相对位置有关；

根据各像素点对应的漏光值和各像素点的漏光权重值，确定所述屏幕的漏光值。

本实施例中提供的屏幕漏光的检测装置80用于执行前述实施例所述的屏幕漏光的检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。

参照图9，示出了根据本申请实施例的一种环境光的检测装置的结构示意图。如图9所示，该环境光的检测装置90包括：

屏幕漏光检测装置901，用于确定屏幕的漏光值，其中，屏幕漏光检测装置901为如第三方面的屏幕漏光的检测装置80,具体可以参考本申请第三方面提供的屏幕漏光的检测装置80，并具有相应的装置实施例的功能、有益效果等，此处不再赘述；

获取模块902，用于获取屏幕下方设置的光传感器检测到的感光值；

环境光计算模块903，用于根据感光值和漏光值，确定真实环境光值。

本实施例中提供的环境光的检测装置90用于执行前述实施例的环境光的检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。

参照图10，示出了根据本申请实施例的一种电子设备的结构示意图。本发明具体实施例并不对电子设备的具体实现做限定。

如图10所示，该电子设备可以包括：处理器1001、通信接口1002、存储器1003、以及通信总线1004。

其中：处理器1001、通信接口1002、以及存储器1003通过通信总线1004完成相互间的通信。

通信接口1002，用于与其它电子设备或服务器进行通信。

处理器1001，用于执行程序1005，具体可以执行上述方法实施例所述的屏幕漏光检测方法和/或环境光检测方法的相关步骤。

具体地，程序1005可以包括程序代码，该程序代码包括计算机操作指令。

处理器可以是中央处理器，或者是特定集成电路，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。程序具体可以用于使得处理器执行以下操作上述方法实施例所述的屏幕漏光检测方法和/或环境光检测方法的相关步骤。各步骤的具体实现可以参见上述方法实施例中的相应步骤中对应的描述，在此不赘述。

本实施例的电子设备用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。该电子设备例如可以是智能手机、笔记本电脑、平板电脑、游戏设备等便携式或移动计算设备，也可以是电子数据库、汽车、银行自动柜员机(Automated Teller Machine，ATM)等其他电子设备，本申请实施例对此并不限定。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中提供的屏幕漏光的检测方法，和/或前述方法实施例中提供所述的环境光的检测方法。其工作原理和技术效果类似，此处不再赘述。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的校验码生成方法。此外，当通用计算机访问用于实现在此示出的校验码生成方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的校验码生成方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (16)

1.一种屏幕漏光的检测方法，包括：

获取屏幕的显示参数，所述显示参数包括：所述屏幕的亮度值和所述屏幕的预设显示区域内各像素点的灰度值；

将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值；

根据所述各像素点对应的漏光值，得到所述屏幕的漏光值。

2.根据权利要求1所述的检测方法，其特征在于，所述神经网络模型包括多个漏光检测子模型，其中，每一个漏光检测子模型对应一个目标亮度区间；

所述将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值，包括：

确定所述亮度值所在的目标亮度区间；

将所述显示参数输入所述目标亮度区间对应的漏光检测子模型，利用所述漏光检测子模型对所述显示参数进行处理，得到所述各像素点对应的漏光值。

3.根据权利要求1所述的检测方法，其特征在于，所述神经网络模型包括残差模块，所述残差模块包括多个全连接单元，所述多个全连接单元依次串联连接，且，所述多个全连接单元间还存在跳跃连接，所述跳跃连接包括不相邻的两个全连接单元间的连接。

4.根据权利要求3所述的检测方法，其特征在于，所述跳跃连接为所述多个全连接单元中的第一个全连接单元与最后一个全连接单元跳跃连接。

5.根据权利要求3或4所述的检测方法，其特征在于，所述残差模块的数量为多个，所述神经网络模型还包括第一全连接模块和第二全连接模块，所述多个残差模块级联连接，且位于所述第一全连接模块与所述第二全连接模块之间。

6.根据权利要求3所述的检测方法，其特征在于，每个全连接单元包括全连接层、批标准化和激活函数。

7.根据权利要求1-4、6中任一项所述的检测方法，其特征在于，所述神经网络模型的训练过程包括：

构建初始神经网络模型；

获取屏幕的样本显示参数和样本漏光值；

将所述样本显示参数输入所述初始神经网络模型，得到预测漏光值；

基于所述预测漏光值与所述样本漏光值，得到所述初始神经网络模型的损失值；

根据所述损失值，对所述初始神经网络模型进行训练，得到所述神经网络模型。

8.根据权利要求7所述的检测方法，其特征在于，所述神经网络模型包括多个输出通道，所述预测漏光值包括多个通道预测漏光值，一个通道预测漏光值对应一个输出通道，所述样本漏光值包括多个通道样本漏光值，一个通道样本漏光值对应一个输出通道；

所述基于所述预测漏光值与所述样本漏光值，得到所述初始神经网络模型的损失值，包括：

针对每个输出通道，基于该输出通道对应的通道预测漏光值与通道样本漏光值，得到该输出通道对应的损失值；

对各输出通道对应的损失值进行融合，得到所述初始神经网络模型的损失值。

9.根据权利要求8所述的检测方法，其特征在于，所述检测方法还包括：对所述神经网络模型进行整型量化并存储。

10.根据权利要求1所述的检测方法，其特征在于，所述预设显示区域为所述屏幕的光检测区域，所述光检测区域与所述屏幕下方设置的光传感器位置对应。

11.根据权利要求1所述的检测方法，其特征在于，所述根据所述各像素点对应的漏光值，得到所述屏幕的漏光值，包括：

获取各像素点的漏光权重值，其中，每个像素点的漏光权重值与该像素点和所述屏幕下方设置的光传感器的相对位置有关；

根据所述各像素点对应的漏光值和所述各像素点的漏光权重值，确定所述屏幕的漏光值。

12.一种环境光的检测方法，其特征在于，包括：

根据如权利要求1至11中任一项所述的屏幕漏光的检测方法，确定屏幕的漏光值；

获取所述屏幕下方设置的光传感器检测到的感光值；

根据所述感光值和所述漏光值，确定真实环境光值。

13.一种屏幕漏光的检测装置，包括：

获取模块，用于获取屏幕的显示参数，所述显示参数包括：所述屏幕的亮度值和所述屏幕的预设显示区域内各像素点的灰度值；

处理模块，用于将所述显示参数输入预先训练的神经网络模型，利用所述神经网络模型对所述显示参数进行处理，得到所述各像素点对应的漏光值；

确定模块，用于根据所述各像素点对应的漏光值，得到所述屏幕的漏光值。

14.一种环境光的检测装置，包括：

屏幕漏光检测装置，用于确定屏幕的漏光值，其中所述屏幕漏光检测装置为如权利要求13所述的屏幕漏光的检测装置；

获取模块，用于获取所述屏幕下方设置的光传感器检测到的感光值；

环境光计算模块，用于根据所述感光值和所述漏光值，确定真实环境光值。

15.一种电子设备，包括：至少一个处理器、存储器、总线及通信接口，其中，所述处理器中存储有程序，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信，所述通信接口用于与其他设备或部件进行通信，所述处理器执行所述程序，以实现如权利要求1-11中任一项所述的屏幕漏光的检测方法，或者实现如权利要求12所述的环境光的检测方法。

16.一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的屏幕漏光的检测方法，或者实现如权利要求12所述的环境光的检测方法。

Images