CN112567723B - 电子设备以及图像处理方法 - Google Patents

Abstract

本申请实施例公开了一种电子设备以及图像处理方法，其中，本申请实施例的电子设备包括：可透光的显示器，设置在所述电子设备的前表面；第一摄像头，设置在所述显示器的前表面上且位于显示区域之外，被配置为通过可见光谱中的光线拍摄第一图像；滤光器，至少覆盖所述显示器的背面的一部分，被配置为拦截可见光谱中的光线，并且可以使可见光谱之外的光线通过；第二摄像头，设置在所述滤光器的背面，被配置为通过可见光谱之外的光线拍摄第二图像；处理器，被配置为对所述第一图像和所述第二图像进行处理。

Description

电子设备以及图像处理方法

技术领域

本申请涉及电子设备技术领域，具体涉及一种电子设备以及图像处理方法。

背景技术

近来，通过在移动终端中设置多个图像传感器，以实现高动能和多功能的拍摄。例如，现有的一种移动终端，通过在移动终端的前表面设置两个前置摄像头以实现对自拍图像进行高质量的图像处理。另一方面，在移动终端中设置传感器时，为了使移动终端的显示区域最大化，尽可能地缩小前置摄像头所占的区域。可以使设置有前置摄像头的移动终端显示区域最大化的一种方法，是将前置摄像头设置在移动终端的透明显示器的下方。但是，当显示器和摄像头同时处于工作状态时，摄像头拍摄的图像会因为显示器发出的光线而受损。

基于前述情况提出了本申请，目的在于提供一种电子设备，该电子设备包括设置在前表面的多个摄像头，并且可以具有最大的显示区域。

发明内容

为了实现上述目的，根据本申请的第一方面，提供一种电子设备，包括：可透光的显示器，设置在所述电子设备的前表面；第一摄像头，设置在所述显示器的前表面上且位于显示区域之外，被配置为通过可见光谱中的光线拍摄第一图像；滤光器，至少覆盖所述显示器的背面的一部分，被配置为拦截可见光谱中的光线，并且可以使可见光谱之外的光线通过；第二摄像头，设置在所述滤光器的背面，被配置为通过可见光谱之外的光线拍摄第二图像；处理器，被配置为对所述第一图像和所述第二图像进行处理。

在上述方面的电子设备中，电子设备可以进一步包括：镜片，设置在所述显示器的背面，被配置为反射可见光谱中的光线，所述镜片设置有可使可见光谱之外的光线通过的光圈，其中，所述光圈位于所述滤光器的前方；所述第二摄像头，被配置为通过穿过所述显示器、所述光圈和所述滤光器的可见光谱之外的光线拍摄第二图像。

在上述方面的电子设备中，所述滤光器覆盖设置在所述显示器的背面以反射可见光谱的光线。

在上述方面的电子设备中，所述第一摄像头被配置为拍摄面部图像作为第一图像；所述第二摄像头被配置为拍摄面部图像作为第二图像；所述处理器被配置为基于所述第二图像中的视线来对第一图像中的视线进行校正。

在上述方面的电子设备中，所述处理器被配置为根据所述第二图像减小所述第一图像中的噪声。

在上述方面的电子设备中，所述第一摄像头被配置为拍摄面部图像作为第一图像；所述第二摄像头被配置为拍摄红外光谱中的面部图像作为第二图像；所述处理器被配置为基于所述第二图像中的面部，减少所述第一图像中的面部上的污渍、斑点和皱纹中的至少一种。

在上述方面的电子设备中，所述处理器还被配置为根据所述第一图像和所述第二图像之间的视差计算深度信息，并根据所述深度信息对所述第一图像进行处理。

为了实现上述目的，根据本申请的第二方面，提供一种图像处理方法，应用于电子设备，所述电子设备包括：设置在所述电子设备的前表面上的可透光的显示器；设置在所述显示器的前表面上且位于显示区域之外的第一摄像头；至少覆盖所述显示器的背面的一部分的滤光器，被配置为拦截可见光谱中的光线，并且可以使可见光谱之外的光线通过；以及设置在所述滤光器的背面的第二摄像头；所述方法包括：基于所述第一摄像头，通过可见光谱的光线拍摄第一图像基于所述第二摄像头，通过透过所述显示器和所述滤光器的可见光谱之外的光线拍摄第二图像；对所述第一图像和所述第二图像进行处理。

根据本申请的方案，该电子设备可以包括设置在前表面的多个摄像头，同时可以确保有大的显示区域。

附图说明

为了更完整地理解本申请实施例中的技术方案，下面将对实施例描述中使用的附图作简单地介绍。其中：

图1为本申请一实施例提供的电子设备的正视图；

图2为图1中的电子设备沿A-A线的剖视图；

图3为电子设备的硬件配置的框架示意图；

图4A为第一图像的一种示意图；

图4B为第二图像的一种示意图；

图5为用于说明第一图像和第二图像的视线校正方法的示意图；

图6为本申请实施例中图像处理的流程图；

图7为本申请另一实施例提供的电子设备的截面示意图；

图8为本申请另一实施例提供的电子设备的正视图；

图9为图8中的电子设备沿B-B线的剖视图。

具体实施方式

下面将结合附图对本申请实施例进行描述。

图1为本申请一实施例提供的电子设备的正视图。图2为图1中的电子设备沿A-A线的剖视图。在该实施例中，电子设备1被描述为智能手机，然而，本申请的电子设备并不局限于智能手机，还可以是诸如移动电话，膝上型计算机，平板电脑或者相机。如图1和图2所示，电子设备1包括壳体10、显示器20、镜片30、红外线通过滤波器40、第一摄像头50和第二摄像头60。

壳体10大体上为矩形，可以容纳电子设备1的电子元件。

显示器20设置在壳体10的前表面上，可以用于显示各种信息。在该实施例中，显示器20为可透光显示器，来自外部的可见光谱的光线或者可见光谱之外的光线都可以通过显示器20。例如，显示器可20可以包括透明有机发光二极管(TOLED)显示器、透明液晶显示器(LCD)等。显示器20包括用于信息的显示屏21，显示屏21的上边缘设置有沿电子设备1的纵向方向上凹槽22。

显示器20的背面设置有反射器30。该反射器30可以反射由显示器20发射的可见光线，以保持良好的可视性。本实施例中，反射器30设置有光圈31，从正面看，该光圈基本上位于显示屏21的中心位置。

红外线通过滤波器40是一种红外滤光器，可以拦截可见光谱中的光线并且使红外光谱中的光线通过。红外线通过滤波器40可以包括冷镜。红外线通过滤波器40设置在镜片30的背面，可以覆盖显示器20的背面被光圈31所暴露的区域。红外线通过滤波器40拦截从外部穿过显示器20和光圈31的可见光线，并且使从外部穿过显示器20和光圈31的红外光线通过。例如，红外线通过滤波器40可以反射由显示器20发射的可见光线，以保持良好的可视性。

第一摄像头50为前置摄像头，设置在电子设备1的前表面上的凹槽22中，以拍摄可见光谱中的第一图像。第一摄像头50包括镜头和图像传感器，例如，图像传感器可以是在可见光谱中具有灵敏度的电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。该实施例中，当用户握持并操作电子设备1时，第一摄像头50可以拍摄其视场内的用户面部的彩色图像作为第一图像，并将该第一图像输出到处理器用于进行后文所述的视线校正(gaze correction)。第一图像可以是静态图像或者动态图像。

第二摄像头60设置在红外线通过滤波器40的后方，用于通过透过显示器20、光圈31和红外线通过滤波器40的红外光谱中的光线，拍摄第二图像。第二摄像头60包括镜头和图像传感器，例如，图像传感器可以是在可见光谱中具有灵敏度的电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。该实施例中，当用户握持并操作电子设备1时，第二摄像头60将拍摄得到的第二图像输出给处理器，以用于后文所述的视线校正。第二图像可以是静态图像或者动态图像。

图3为电子设备的硬件配置的框架示意图。如图3所示，电子设备1包括处理器101、存储器102、通信器103、输入器104、输出器105和成像器106。这些元件之间通过总线107连接。

处理器101包括中央处理器(CPU，central processing unit)，用于对电子设备1进行整体监控。存储器102用于存储操作系统、各种程序、在执行各种应用程序期间产生和使用的临时数据以及其他信息。存储器102可以包括只读存储器(ROM)、随机存取存储器(RAM)或者任何其它易失性或非易失性存储器。处理器101执行存储在存储器102中的程序(例如，后文描述的图像处理程序)以实现后文描述的摄像头控制器111和图像处理器112的功能。

通信器103包括可以将外设设备与电子设备1通信连接的通信接口。该通信器可以包括通信模块，该通信模块用于将电子设备1连接至一个或者多个无线网络。

输入器104包括诸如按键和触摸板等输入设备。输入器104接收来自用户的输入操作，并将该输入操作对应的信号传输至处理器101。例如，显示器20和触摸板可以堆叠设置，以将显示器20配置为用作触摸屏，从而允许用户进行触摸式的信息输入。输入器104还可以包括用于进行语音输入的麦克风。

输出器105包括显示器20。输出器105还可以包括用于进行语音和声音输出的扬声器。成像器106包括第一摄像头50和第二摄像头60。

接下来，对电子设备1的处理器101的功能配置进行描述。如图3所示，处理器101可以用作摄像头控制器111和图像处理器112。

摄像头控制器111可以控制第一摄像头50获取第一图像，并控制第二摄像头60获取第二图像。具体地，摄像头控制器111向第一摄像头50发送拍摄第一图像的指令，向第二摄像头60发送拍摄第二图像的指令。然后，摄像头控制器111从第一摄像头50接收第一图像，并从第二摄像头60接收第二图像。摄像头控制器111可以从第一摄像头50和第二摄像头60接收静态图像或者动态图像。

图像处理器112用于对第一图像和第二图像进行处理。该实施例中，图像处理器112基于第二图像中用户的视线来校正第一图像中用户的视线。图4A为本实施例中第一图像的一种示例，图4B为本实施例中第二图像的一种示例。如图4A所示，由于用户2在自拍或者视频通话时一般正看向显示器20，并且第一摄像头50位于显示器20的顶部，故第一图像200中用户2的视线向下。另一方面，如图4B所示，由于第二摄像头60设置在显示器的背面，因此，第二图像300中的用户2正注视着中心位置。因此，图像处理器112可以对第一图像200和第二图像200进行处理，使得第一图像200中的用户2的视线与第二图像300中的用户2的视线相同。

参照图5所示，对基于第一图像和第二图像的视线校正方法的一种示例进行描述。该示例中，第一摄像头50获取第一图像400，第二摄像头60获取第二图像500。首先，图像处理器112从第一图像400中提取亮度信息401和色度信息402，例如，色度信息可以包括蓝色色差分量Cb和红色色差分量Cr。然后，图像处理器112对亮度信息401进行低通滤波处理以获取全局强度信息403。图像处理器112还可以对色度信息402进行低通滤波处理以获取滤波后的色度信息404。此外，图像处理器112还可以从第二图像500中提取纹理信息501，并将纹理信息501与全局强度信息403相结合，得到最终的亮度图像601。最后，图像处理器112将滤波后的色度信息404与最终的亮度图像601相结合，得到视线校正后的图像600。

接下来，对本实施例中电子设备1的处理器101执行的图像处理步骤进行说明。图6为本申请实施例中图像处理的流程图，例如，通过输入器40接收到的输入操作触发启动该程序的指令，开始运行该图像处理程序。

首先，处理器101将获取第一图像的指令发送到第一摄像头50，并且将获取第二图像的指令发送到第二摄像头60(步骤S101)。

然后，处理器101从第一摄像头50接收第一图像并且从第二摄像头60接收第二图像(步骤S102)。

处理器101对第一图像和第二图像进行处理以获得视线校正图像(步骤S103)。最后，处理器101将视线校正后的图像输出到显示器(步骤S104)，并结束该程序。虽然上文是通过显示静态图像来解释该程序，但通过重复步骤S101至S104，该程序也可以应用于动态图像。

综上所述，本实施例公开的电子设备1，包括用于拍摄用户的第一图像的第一摄像头50和用户拍摄用户的第二图像的第二摄像头60。由于第二摄像头设置在显示器20的背面，并且只有第一摄像头50设置在电子设备1的前表面上，因此，与在显示屏的上边缘设置前置摄像头的电子设备相比，电子装置1可以具有更大的显示区域。

此外，由于用户在握持并操作电子设备1时，通常正看向显示器20。第二摄像头60可以捕获用户向前看的第二图像。因此，处理器101可以基于第二图像中用户的视线来对第一图像和第二图像进行处理，以获取视线校正后的图像，从而使得电子设备1能够提供更好的用户体验。例如，当用户在电子设备1上与接收者进行视频通话时，接收者可以感觉到用户正在看着接收者，并且可以感受到与用户之间的眼神交流。

再者，第二摄像头60可以通过红外光谱中光线获取第二图像，因此，电子设备1可以防止显示器20发射的光线对第二图像造成损坏。

以上通过举例的方式对上述实施例进行了描述，但是电子设备1的具体配置和图像处理器101的图像处理程序并不局限于上述实施例所描述的内容，还可以进行如下修改。

在上述实施例中，如图2所示，红外线通过滤波器40设置在镜片30的背面，可以覆盖显示器20的背面中被光圈31所暴露的区域。但是，红外线通过滤波器40覆盖区域并不限于上述区域，红外线通过滤波器40还可以覆盖显示器20的整个背面。例如，当红外线通过滤波器40的反射率能够满足显示质量时，红外线通过滤波器40可以取代镜片30，设置在显示器20的背面用于反射可见光。图7为本申请另一实施例提供的电子设备的截面示意图。如图7所示，红外线通过滤波器40代替图2中所示的镜片30，覆盖在显示器20的背面，用于反射从显示器20发射出的光线。因此，电子设备1不设置镜片30，可以防止显示器20发出的光线对第二图像造成损坏。

在上述实施例中，电子设备1包括设置在显示器20后方的第二摄像头60，用于采集红外图像作为第二图像。然而，第二摄像头60并不局限于红外摄像头。第二摄像头60还可以包括用于通过可见光谱之外的光线拍摄第二图像的摄像头，并且可以在该摄像头前方设置滤光片，以拦截可见光谱内的光线，并使可见光谱之外的光线通过。例如，第二摄像头60可以包括紫外线(UV，ultraviolet)摄像头，用于通过UV光谱中的光线拍摄第二图像，并且可以在该UV摄像头前方设置UV滤波器，而非红外线通过滤波器40，以拦截可见光谱中的光线，并使UV光谱中的光线通过。这样，电子设备1可以提供能够显示用户的皮肤晒伤区域的UV图像。

在上述实施例中，处理器101按照如图6所示的图像处理程序对第一图像和第二图像进行处理，得到经过视线校正后的图像。但是，图像处理程序和输出图像并不局限于上述程序和输出图像。例如，处理器101可以根据第二图像降低第一图像中的噪声。当第一摄像头50在昏暗场景中拍摄第一图像时，第一图像很可能包括大量的数字噪声。在这种情况下，处理器101可以通过将第一图像，与通过红外光谱内的光线拍摄的、包括较少噪声的第二图像相结合来减少第一图像中的噪声。此外，处理器可以根据第二图像中的面部来减少第一图像中的面部上的污渍、斑点和皱纹中的至少一种。由于光在表皮中的穿透深度与入射光的波长成正比，因此，通过红外光谱中的光线拍摄的第二图像中面部上的污渍、斑点和皱纹的数量，小于通过可见光谱中的光线拍摄的第一图像中面部上的污渍、斑点和皱纹的数量。故处理器可以通过将第一图像和第二图像结合起来，来减少第一图像中面部上的这些瑕疵部分。

此外，处理器可以通过将第一摄像头50和第二摄像头60作为立体摄像头，对第一图像和第二图像进行处理，为第一图像添加模糊效果或进行背景模糊处理。例如，处理器根据第一图像和第二图像之间的视差估算深度信息，并根据深度信息对第一图像进行处理，以得到经过背景模糊处理后的图像。尤其是，由于第一摄像头50和第二摄像头60之间的距离，比设置在电子设备的显示屏幕的上边缘的立体相机的之间的距离更远，因此根据本申请的处理器101可以获取比立体相机获得的深度信息更精确的深度信息。

在上述实施例中，电子设备1包括设置在显示器20背面的第二摄像头60。但是，显示器20背面设置的传感器并不限于第二摄像头60。例如，当显示器20的背面设置有红外滤光片时，可以在红外滤光片后方设置红外线相关设备，例如结构光投影机和接近传感器。图8为本申请另一实施例提供的电子设备的正视图，图9为图8中的电子设备沿B-B线的剖视图。如图8和图9所示，在红外滤光片40的后方设置有结构光投影机70和接近传感器80，并可以发射红外光谱中的光线。此外，如图8和图9所示，在红外滤光片40后面设置的红外线相关设备的数量并不局限，可以在红外滤光片40后面设置一个红外线相关设备或一个以上的红外线相关设备。例如，在红外滤光片40后方可以设置结构光投影机和接近传感器中的任意一种。因此，与将这些传感器设置在显示区域之外的电子设备相比，电子设备1可以具有更大的显示区域。

以上内容描述了一些用于解释本申请方案的示例性实施例。尽管前文给出了特定实施例，但是本领域技术人员可以依据本申请实施例的思想，在形式和细节上进行改变而不脱离本发明的精神和范围。因此，说明书和附图内容不应理解为对本申请实施例的限制，本发明的范围仅由所包括的权利要求书以及这些权利要求书所赋予的等同方案的全部范围来限定。

Claims (10)

1.一种电子设备，其特征在于，包括：

可透光的显示器，设置在所述电子设备的前表面；

第一摄像头，设置在所述显示器的前表面上且位于显示区域之外，被配置为通过可见光谱中的光线拍摄第一图像；

滤光器，至少覆盖所述显示器的背面的一部分，被配置为拦截可见光谱中的光线，并且可以使可见光谱之外的光线通过；

第二摄像头，设置在所述滤光器的背面，被配置为通过可见光谱之外的光线拍摄第二图像；

处理器，被配置为根据第二图像中用户的视线对所述第一图像中用户的视线进行校正，以使所述第一图像中用户的视线与第二图像中用户的视线相同，包括：从所述第一图像中提取亮度信息和色度信息，对所述亮度信息进行低通滤波处理得到全局强度信息，对所述色度信息进行低通滤波处理以获取滤波后的色度信息，从第二图像中提取纹理信息，将所述纹理信息与所述全局强度信息结合得到亮度图像，将所述滤波后的色度信息与所述亮度图像结合，得到视线校正后的图像。

2.如权利要求1所述的电子设备，其特征在于，还包括：

反射器，设置在所述显示器的背面，被配置为反射可见光谱中的光线，所述反射器设置有可使可见光谱之外的光线通过的光圈，其中，所述光圈位于所述滤光器的前方；

所述第二摄像头，被配置为通过穿过所述显示器、所述光圈和所述滤光器的可见光谱之外的光线拍摄第二图像。

3.如权利要求1所述的电子设备，其特征在于，所述滤光器覆盖设置在所述显示器的背面以反射可见光谱的光线。

4.如权利要求1所述的电子设备，其特征在于，所述第一摄像头被配置为拍摄面部图像作为第一图像；

所述第二摄像头被配置为拍摄面部图像作为第二图像；

所述处理器被配置为基于所述第二图像中的视线来对第一图像中的视线进行校正。

5.如权利要求1所述的电子设备，其特征在于，所述处理器被配置为根据所述第二图像减小所述第一图像中的噪声。

6.如权利要求1所述的电子设备，其特征在于，所述第一摄像头被配置为拍摄面部图像作为第一图像；

所述第二摄像头被配置为拍摄红外光谱中的面部图像作为第二图像；

所述处理器被配置为基于所述第二图像中的面部，减少所述第一图像中的面部上的污渍、斑点和皱纹中的至少一种。

7.如权利要求1所述的电子设备，其特征在于，所述处理器还被配置为根据所述第一图像和所述第二图像之间的视差计算深度信息，并根据所述深度信息对所述第一图像进行处理。

8.如权利要求1所述的电子设备，其特征在于，还包括：设置在所述滤光器的后面的至少一个红外线相关设备，被配置为发射红外光谱的光线。

9.如权利要求8所述的电子设备，其特征在于，所述至少一个红外线相关设备包括结构光投影机和接近传感器中的至少一个。

10.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括：

设置在所述电子设备的前表面上的可透光的显示器；

设置在所述显示器的前表面上且位于显示区域之外的第一摄像头；

至少覆盖所述显示器的背面的一部分的滤光器，被配置为拦截可见光谱中的光线，并且可以使可见光谱之外的光线通过；以及

设置在所述滤光器的背面的第二摄像头；

所述方法包括：

基于所述第一摄像头，通过可见光谱的光线拍摄第一图像；

基于所述第二摄像头，通过透过所述显示器和所述滤光器的可见光谱之外的光线拍摄第二图像；

根据第二图像中用户的视线对所述第一图像中用户的视线进行校正，以使所述第一图像中用户的视线与第二图像中用户的视线相同，包括：从所述第一图像中提取亮度信息和色度信息，对所述亮度信息进行低通滤波处理得到全局强度信息，对所述色度信息进行低通滤波处理以获取滤波后的色度信息，从第二图像中提取纹理信息，将所述纹理信息与所述全局强度信息结合得到亮度图像，将所述滤波后的色度信息与所述亮度图像结合，得到视线校正后的图像。

Images