CN112567719B - 电子设备、图像校正方法及非暂时性计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种电子设备、图像校正方法及非暂时性计算机可读存储介质，所述电子设备包括显示屏、摄像头和处理器。所述显示屏可透光且被配置为可发射光线。所述摄像头设置在所述显示屏的背面，用于拍摄图像。所述处理器，用于对所述摄像头拍摄的图像进行校正，以消除所述显示屏发射的光线对所述图像造成的影响。

Description

电子设备、图像校正方法及非暂时性计算机可读存储介质

技术领域

本申请涉及一种电子设备，一种图像校正方法，以及一种非暂时性计算机可读存储介质。

背景技术

以手机为代表，电子设备的屏幕尽可能广泛地分布在显示单元上。然而，对于安装有用于自拍的前置摄像头的电子设备来说，在该电子设备的端部设置有用于安装前置摄像头的显示屏凹槽，以避免前置摄像头受到显示屏发出的光的影响。这样的安装方式限制了显示屏的尺寸，并且由于摄像头只能安装在电子设备的边缘而出现安装位置的限制。因此，出现了一种将前置摄像头设置在显示屏背面的电子设备。在这种电子设备中，当显示屏处于非工作状态时，前置摄像头可以用于成像，但是，当显示屏和前置摄像同时处于工作状态时，前置摄像头拍摄到的图像会因为显示屏发出的光而受损。因此，亟需一种电子设备，该电子设备的前置摄像头即使安装在显示屏的背面，其拍摄的图像也几乎不会因显示屏发出的光而损坏。

基于前述情况提出了本申请，目的在于提供一种即使将前置摄像头安装在显示屏的背面，也能够获取高质量图像的电子设备。

发明内容

为了实现上述目的，根据本申请的第一方面，提供一种电子设备，包括显示屏、摄像头和处理器；所述显示屏可透光且被配置为可发射光线；所述摄像头设置在所述显示屏的背面，用于拍摄图像；所述处理器被配置为通过消除所述显示屏发射的光线的影响来校正所述摄像头拍摄的图像。

在上述方面的电子设备中，电子设备可以进一步包括存储器，所述存储器被配置为存储将要在所述显示屏的屏幕上显示的显示信息，所述处理器从所述存储器中获取显示信息，根据所述显示信息生成发射图，并基于所述发射图对所述摄像头拍摄的图像进行校正。

在上述方面的电子设备中，所述处理器从所述存储器中存储的显示信息中获取发射数据，并对所述发射数据插值处理以生成所述发射图。

在上述方面的电子设备中，所述处理器按照双线性插值算法，计算所述发射图的每一个像素点的颜色值。

在上述方面的电子设备中，所述显示屏还包括：

发光部件，用于发射光线；以及

反射器，用于反射由所述发光部件发射的光线，所述反射器位于所述摄像头前方的位置处设置有通孔。

为了实现上述目的，根据本申请的第二方面，提供一种图像校正方法，包括：从显示屏的背面拍摄图像，所述显示屏透光且可发射光线；以及通过消除所述显示屏发射的光线的影响来校正所述图像。

为了实现上述目的，根据本申请的第三方面，提供一种非暂时性计算机可读存储介质，其上存储有可使计算机执行图像校正过程的程序，所述图像校正过程包括：从显示屏的背面拍摄图像，所述显示屏透光且可发射光线；以及通过消除所述显示屏发射的光线的影响来校正所述图像。

附图说明

为了更完整地理解本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。其中：

图1为本申请实施例提供的手机的正视图；

图2为图1中的手机沿A-A的剖视图；

图3为本申请实施例提供的手机的硬件配置图；

图4为本申请实施例提供的图像校正处理的流程图；

图5为本申请实施例中用于说明光线进入摄像头的示意图；

图6为本申请实施例中用于说明摄像头拍摄的图像与显示屏之间的关系的示意图；

图7为本申请实施例中用于说明发射图的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在这些实施例中，根据本申请的电子设备被描述为包括前置摄像头的手机。

如图1和图2所示，其中，图2为图1中的手机沿A-A的剖视图。本申请实施例的手机1包括摄像头10和显示屏20。

摄像头10位于显示屏20的背面，并朝向手机1的正面。摄像头10包括透镜11和主体12。主体12中的光接收元件(图中未示出)接收通过透过透镜11的光线，生成代表拍摄的彩色图像的数字信号，并将生成的数字信号发送到手机1。数字信号包括代表位图图像的图像数据，该位图图像包括多个像素点。每个像素点具有由0到255的值表示的颜色信息。

显示屏20位于手机1的正面，显示屏20是一种透光显示屏，例如，设置有机发光二极管(OLED)显示屏。显示屏20包括发光部件21和反射器22。发光部件21包括多个发光元件，每个发光元件23(在图5中示出)可发射光线，光线朝着手机1的正面和背面发射。

反射器22将发射向手机1的背面的光线反射，以确保可视性。反射器22位于透镜11的前方的位置处设置有通孔，并且发光部件21可以透射光线，从而透镜11可以接收来自手机1的前侧的光线。

如图3所示，手机1包括摄像头10、显示屏20和处理器30。处理器30与摄像头10和显示屏20连接，以便与摄像头10和显示屏20通信。处理器30包括中央处理器(CPU)31和存储器32。

中央处理器31通过执行存储在存储器32中的控制程序来实现各种类型的处理。

存储器32存储各种数据，例如，中央处理器31使用的程序，摄像头10传输的图像数据，以及用于在显示屏20上显示的显示信息。存储器32还存储有结构特征信息，比如发光部件21与透镜11之间的距离，透镜11的尺寸，以及相邻的发光元件23之间的距离。

接下来，结合附图具体描述由手机1执行的各种操作。响应于手机1的用户在显示屏20的表面上进行的缩放操作，中央处理器31确定摄像头10的变焦倍率并将所确定的变焦倍率存储在存储器中。响应于用户对手机1的开关(图中未示出)的操作，或者对显示屏20的点击操作，中央处理器31控制摄像头10进行拍摄以拍摄图像，并开始执行如图4所示的“图像校正处理”。图像校正处理过程中是从摄像头10拍摄的图像中消除显示屏20发射的光线的影响。

在中央处理器31开始进行图像校正处理时，中央处理器31从摄像头10获取图像(步骤S11)，摄像头10获取的图像包括如图5中的箭头2所示的环境光线，和图5中箭头3所示的发光元件23发出的光线。由发光元件23发出的光线主要朝向手机1的正面和背面。也就是说，沿着对角线方向的光线非常少。因此，从一个发光元件23发出的大部分光线中，只有该发光元件23后方的光线才会达到透镜11。

然后，参照图4，中央处理器31通过双线性插值算法进行插值处理生成发射图(步骤S12)。发射图指示显示屏20发射的光线如何影响相机10拍摄的图像，并且发射图由与图像中像素点数量相同的颜色信息来表示。发射图的每个像素点具有颜色信息，该颜色信息由与图像相同的0-255范围的值表示。

如图6所示，发光部件21包括多个发光元件，发光元件可以被独立控制以发出各种颜色的光线。多个发光元件以较小的间隙规则排列。例如，发光元件23a，23b，23c和23d相邻设置，并且连接成四边形。透镜部分11a在发光元件23a的正后方，类似地，透镜部分11b，11c和11d分别位于发光元件23b，23c和23d的正后方。

具体地，在步骤S12中，中央处理器31基于变焦倍数和诸如发光部件21与透镜11之间的距离、透镜11的尺寸以及相邻发光元件之间的距离等保存在存储器32中的结构特征信息，识别出发射图4的像素点，识别出的每个像素点是受各个发光元件影响最大的像素点。例如，中央处理器31计算出从发光元件23a发射、通过透镜部分11a并按照存储器32中的变焦倍率投射在像素点4a上的光线，中央处理器31可以将像素点4a确定为最容易受到发光元件23a影响的像素点。类似地，中央处理器31按照存储在存储器32中的变焦倍率识别出像素点4b，4c和4d分别是受发光元件23b，23c和23d影响最大的像素点。

然后，中央处理器31根据存储在存储器32中的显示信息，确定出这些受发光元件影响的像素点的颜色值。例如，中央处理器31确定出像素点4a、4b、4c和4d的颜色值。

接下来，中央处理器31计算发射图4上其他像素点的颜色值。如图7所示，中央处理器31按照双线性插值算法计算发射图上像素点4t的颜色值。具体地，中央处理器31从确定出的受发光元件23影响的像素点中选择四个相邻的像素点来计算插值点的颜色值。例如，中央处理器31基于像素点4a、4b，4c和4d的颜色值DP1，DP2，DP3和DP4以及距离x1，x2，y1，y2和d4来计算像素点4t的颜色值DPt。中央处理器31可以按照如下公式(a)计算颜色值DPt：

DPt＝w1DP1+w2DP2+w3DP3+w4DP4(a)

其中，公式(a)中的w1，w2，w3和w4的值是通过使用双线性插值由距离x1，x2，y1和y2计算得到。

之后，参照图4，中央处理器31从摄像头10拍摄的图像中减去生成的发射图的发射值(步骤S13)。具体地，中央处理器31通过从摄像头10拍摄的图像的对应像素点的颜色值中减去发射图中的对应像素点的颜色值，来确定校正图像中的像素点的颜色值。然后，中央处理器31确定出校正图像中全部像素点的颜色值，得到校正图像。

根据本实施例的手机1，即使当设置在显示屏20背面的摄像头10拍摄的图像受显示屏20的发射的光线的影响，也能生成指示发射的光线的影响的发射图。然后，通过在不存在影响的情况下计算的颜色值，可以获取减小了显示屏20影响的图像。

在上述实施例中，将手机1作为本申请的电子设备的示例，但是电子设备并不局限于手机，在其他实施例中，也可以为智能电话、个人数码助手(PDA，Personal DigitalAssistant)等各类型的计算设备。

在上述实施例中，描述了图像的像素点和发射图的像素点具有0至255作为颜色值的示例。然而，图像的像素点和发射图的像素点的值不局限于上述范围。不仅可以是如0-255之类的8bit颜色值，而且也可以是15bit，16bit，18bit，24bit和其他数量的颜色值都可以应用于本申请实施例。

在上述实施例中，描述了摄像头10获取的图像为静态图像的示例。然而，摄像头10获取的图像不限于静止图像。当摄像头10获取动态图像时，也可以通过执行图4所示的图像校正处理，对运动图像的每帧图像来执行上述实施例。

在上述实施例中，图4所示的步骤S12中，中央处理器31基于变焦倍数和诸如发光部件21与透镜11之间的距离、透镜11的尺寸以及相邻发光元件之间的距离等保存在存储器32中的结构特征信息，识别出发射图4的像素点，识别出的每个像素点是受各个发光元件影响最大的像素点。然而，因为保存在存储器32中的一些结构特征信息为固定值，所以，可以考虑仅将变焦倍数作为变量参数，将上述固定值与受发光元件影响最大的像素点之间的的对应关系表存储在存储器32中。

在上述实施例中，在图3的步骤S12中，中央处理器31还按照双线性插值算法计算发射图上像素点4t的颜色值。因此，中央处理器31可以以较低的计算量生成发射图。然而，确定发射图的像素点的颜色值的方法不局限于双线性插值，例如，还可以采用非线性、三线性或者多线性插值的方式应用于上述实施例。此外，中央处理器31不仅可以基于四个相邻的像素点计算插值点的颜色值，还可以基于诸如16个相邻像素点等其他数量的像素点计算插值点的颜色值。发射图的精度随着插值复杂度的增加而增加，同时计算量也增加了。因此，可以综合考虑精度和计算量的需求，采用适当的计算方法。

中央处理器31也可以通过不使用插值的方法来计算发射图的颜色值。如果中央处理器31的处理能力允许，则中央处理器31可以基于多个发光元件的发光颜色和变焦倍率来计算发射图的每个像素点的颜色值。如果存储器的容量允许，可以在存储器32中存储对应表，该对应表中根据发光元件23的发射颜色预定义了发射图的每个像素点的颜色值。

在上述实施例中，在图4的步骤S13描述了一个示例，中央处理器31通过从摄像头10拍摄的图像的对应像素点的颜色值中减去发射图中的对应像素点的颜色值，来确定校正图像中的像素点的颜色值。计算校正图像中的像素点的颜色值的方法并不局限于上文所描述的方法。例如，当计算与发射图的深色像素点相对应的像素点的颜色值时，中央处理器31可以从摄像头10拍摄的图像中确定出与发射图的像素点对应的像素点，根据该像素点的周围的像素点进行插值计算，得到颜色值。在存储器32中预先存储有颜色值阈值，中央处理器31可以确定发射图的像素点的颜色值是否大于该颜色值阈值。当中央处理器31确定发射图的像素点的颜色值大于该颜色值阈值时，中央处理器31可以对摄像头10拍摄的图像中一像素点周围的多个像素点进行插值计算，得到该像素点在校正图像中对应的像素点的颜色值。当中央处理器确定发射图的像素点的颜色值不大于该颜色值阈值时，中央处理器31可以通过从摄像头10拍摄的图像的对应像素点的颜色值中减去发射图中的对应像素点的颜色值，来确定校正图像中的像素点的颜色值。通过这种方式，即使显示屏的光线对图像造成的影响很大而未能完全恢复显示屏前方物体的颜色，也可以获取电子设备前方物体的图像，该图像基本上不受显示屏发出的光线的影响。

以上内容描述了一些用于解释本申请方案的示例性实施例。尽管前文给出了特定实施例，但是本领域技术人员可以依据本申请实施例的思想，在形式和细节上进行改变而不脱离本发明的精神和范围。因此，说明书和附图内容不应理解为对本申请实施例的限制，本发明的范围仅由所包括的权利要求书以及这些权利要求书所赋予的等同方案的全部范围来限定。

Claims (7)

1.一种电子设备，其特征在于，包括显示屏、摄像头和处理器；所述显示屏透光且被配置为可发射光线；所述摄像头设置在所述显示屏的背面，用于拍摄图像；所述处理器被配置为通过消除所述显示屏发射的光线的影响来校正所述摄像头拍摄的图像；

所述处理器还被配置为：获取结构特征信息，根据结构特征信息识别出发射图的像素点，所述结构特征信息包括变焦倍数、发光部件与透镜之间的距离、透镜的尺寸以及相邻发光元件之间的距离；

从摄像头拍摄的图像对应的像素点的颜色值中减去发射图中的对应像素点的颜色值，以校正所述图像中像素点的颜色值。

2.如权利要求1所述的电子设备，还包括存储器，所述存储器被配置为存储将要在所述显示屏的屏幕上显示的显示信息，其特征在于，所述处理器从所述存储器中获取显示信息，根据所述显示信息生成发射图，并基于所述发射图对所述摄像头拍摄的图像进行校正。

3.如权利要求2所述的电子设备，其特征在于，所述处理器从所述存储器中存储的显示信息中获取发射数据，并对所述发射数据插值处理以生成所述发射图。

4.如权利要求3所述的电子设备，其特征在于，所述处理器按照双线性插值算法，计算所述发射图的每一个像素点的颜色值。

5.如权利要求1所述的电子设备，其特征在于，所述显示屏还包括：

发光部件，用于发射光线；以及

反射器，用于反射由所述发光部件发射的光线，所述反射器在所述摄像头前方的位置处设置有通孔。

6.一种图像校正方法，其特征在于，包括：

从显示屏的背面拍摄图像，所述显示屏透光且可发射光线；以及

通过消除所述显示屏发射的光线的影响来校正所述图像，包括：

获取结构特征信息，根据结构特征信息识别出发射图的像素点，所述结构特征信息包括变焦倍数、发光部件与透镜之间的距离、透镜的尺寸以及相邻发光元件之间的距离；

从摄像头拍摄的图像对应的像素点的颜色值中减去发射图中的对应像素点的颜色值，以校正所述图像中像素点的颜色值。

7.一种非暂时性计算机可读存储介质，其特征在于，其上存储有可使计算机执行图像校正过程的程序，所述图像校正过程包括：

从显示屏的背面拍摄图像，所述显示屏透光且可发射光线；以及

通过消除所述显示屏发射的光线的影响来校正所述图像，包括：

获取结构特征信息，根据结构特征信息识别出发射图的像素点，所述结构特征信息包括变焦倍数、发光部件与透镜之间的距离、透镜的尺寸以及相邻发光元件之间的距离；

从摄像头拍摄的图像对应的像素点的颜色值中减去发射图中的对应像素点的颜色值，以校正所述图像中像素点的颜色值。

Images