CN111970447A - 显示装置和移动终端 - Google Patents

Abstract

本发明提供了一种显示装置和移动终端，解决了现有技术中透明显示区的透光量不足影响摄像头拍照效果的问题。显示装置包括：显示屏组件，显示屏组件包括透明显示屏和设置在透明显示屏下方的主摄像头和至少一个辅摄像头；和控制器，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取主摄像头拍摄的主预览图像，识别出主预览图像中的衍射区域；获取至少一个辅摄像头拍摄的至少一个辅预览图像，识别出至少一个辅预览图像中和衍射区域的图像内容相同的至少一个补偿区域；选取衍射区域和至少一个补偿区域中效果最好的区域替换主预览图像中的衍射区域，得到目标图像。

Description

显示装置和移动终端

技术领域

本发明涉及显示技术领域，具体涉及一种显示装置和移动终端。

背景技术

在具有显示屏的移动终端中，随着消费者对于显示屏的窄边框要求的提高，全面屏应运而生。然而，对于设置在透明显示区下方的摄像头而言，在某些应用场景下，透明显示区的透光量并不足以满足摄像头的需求，影响拍照效果。

发明内容

有鉴于此，本发明实施例提供了一种显示装置和移动终端，以解决现有技术中透明显示区的透光量不足影响摄像头拍照效果的问题。

本发明第一方面提供了一种显示装置，包括：显示屏组件，显示屏组件包括透明显示屏和设置在透明显示屏下方的主摄像头和至少一个辅摄像头；和控制器，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取主摄像头拍摄的主预览图像，识别出主预览图像中的衍射区域；获取至少一个辅摄像头拍摄的至少一个辅预览图像，识别出至少一个辅预览图像中和衍射区域的图像内容相同的至少一个补偿区域；选取衍射区域和至少一个补偿区域中效果最好的区域替换主预览图像中的衍射区域，得到目标图像。

在一个实施例中，识别出主预览图像中的衍射区域包括：计算主预览图像中各像素的亮度值；将相邻像素的亮度值的差值大于亮度差阈值的像素集合组成的连通区域确定为衍射区域。

在一个实施例中，亮度差阈值大于等于50坎德拉/平方米。

在一个实施例中，主预览图像和至少一个辅预览图像的内容相同。识别出至少一个辅预览图像中和衍射区域的图像内容相同的至少一个补偿区域包括：获取衍射区域的边界像素值；按照边界像素值分别在至少一个辅预览图像中进行截取，得到至少一个补偿区域。

在一个实施例中，选取衍射区域和至少一个补偿区域中效果最好的补偿区域替换主预览图像中的衍射区域，得到目标图像包括：分别计算衍射区域和至少一个补偿区域的亮度均值；选取亮度均值最低的区域替换主预览图像中的衍射区域，得到目标图像。

在一个实施例中，在获取至少一个辅摄像头拍摄的至少一个辅预览图像之后还包括：对至少一个辅预览图像进行裁剪，以使至少一个辅预览图像和主预览图像的内容相同。

在一个实施例中，对至少一个辅预览图像进行裁剪，以使至少一个辅预览图像和主预览图像的内容相同包括：将至少一个辅预览图像分别和主预览图像作重合比对；当主预览图像和至少一个辅预览图像中的预定区域重合时，沿主预览图像的边缘对至少一个辅预览图像进行裁剪，得到和主预览图像的内容相同的至少一个辅预览图像。

在一个实施例中，透明显示屏包括多个透明显示区，多个透明显示区分别包括多个透光孔，不同透明显示区的多个透光孔的结构不同；主摄像头和至少一个辅摄像头分别设置在不同的透明显示区。

在一个实施例中，不同透明显示区的透光孔的形状不同；或不同透明显示区的透光孔的开口面积不同；或不同透明显示区的多个透光孔的排布方式不同。

本发明第二方面提供了一种移动终端，包括上述任一实施例提供的显示装置。

根据本发明实施例提供的显示装置和移动终端，透明显示区下方设置有至少两个摄像头，主摄像头拍摄的画面存在衍射区域，利用至少一个辅摄像头拍摄的图像的相应区域对衍射区域进行替换，从而得到合成图像，提升了拍照效果。

附图说明

图1示出了本发明一实施例提供的显示装置的结构示意图。

图2为本发明第一实施例提供的图像处理方法的流程图。

图3为本发明一实施例提供的步骤S210的流程示意图。

图4为本发明一实施例提供的主预览图像的示意图。

图5为本发明一实施例提供的步骤S220的流程图。

图6为本发明一实施例提供的步骤S230的流程图。

图7为本发明一实施例提供的图像处理装置的结构框图。

图8图示了根据本申请实施例的计算机设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，为了使显示装置真正实现全面屏，通常在显示屏的显示区域中设置透光部，并将摄像组件等感光元件设置在透光部下方，从而省略了预留的刘海区。这种情况下，透光部上方的目标物所发出的光线可以穿过透光部，从而被摄像头采集。然而，透光部之所以能够实现透光功能，实际上是由于金属走线彼此交错形成了透光孔，因此在显示设备中的摄像头成像时，目标物所发出的光线在透光孔处发生小孔衍射，从而形成衍射图案，影响图像效果。

为了解决上述问题，本申请实施例提供了一种显示装置和移动终端。

图1示出了本发明一实施例提供的显示装置的结构示意图。如图1所示，显示装置10包括显示屏组件和控制器。显示屏组件包括透明显示屏和设置在透明显示屏下方的主摄像头和至少一个辅摄像头。控制器包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行以利用辅摄像头拍摄的图像的相应区域对主摄像头拍摄的图像中的衍射区域进行替换，从而得到合成图像，以提升拍照效果。

具体而言，如图1所示，显示屏组件包括透明显示屏和非透明显示屏B。透明显示屏包括多个透明显示区，多个透明显示区分别包括多个透光孔，不同透明显示区的多个透光孔的结构不同。显示屏组件还包括主摄像头和至少一个辅摄像头，主摄像头和至少一个辅摄像头分别设置在不同的透明显示区。

例如，透明显示屏包括第一透明显示区A₁和第二透明显示区A₂，第一透明显示区A₁和第二透明显示区A₂分别包括多个透光孔，第一透明显示区A₁和第二透明显示区A₂的多个透光孔的结构不同。第一透明显示区A₁下方设置有主摄像头11，第二透明显示区A₂下方设置有辅摄像头12。

这里提到的不同透明显示区的多个透光孔的结构包括单一透光孔的尺寸和形状，多个透光孔的排布方式等。不同透明显示区的多个透光孔的结构不同导致位于不同透明显示区下方的摄像头拍摄到的图像的衍射程度和/或衍射位置不同。这种情况下，当主摄像头拍摄的画面存在衍射区域时，可以利用辅摄像头拍摄的图像的相应区域对衍射区域进行替换，从而得到合成图像，以提升拍照效果。

在其他实施例中，透明显示屏仅包括一个透明显示区，即不同摄像头上的透光孔的结构相同。这种情况下，可以通过设置多个摄像头的性能参数不同，例如，主摄像头和辅摄像头的光轴均垂直于显示屏，并呈一定角度，以在不同摄像头的拍摄画面中呈现不同的衍射程度和/或衍射位置。这种情况下，也可以利用辅摄像头拍摄的图像的相应区域对衍射区域进行替换，从而得到合成图像，以提升拍照效果。

图2为本发明第一实施例提供的图像处理方法的流程图。该图像处理方法可以用于图1所示显示装置，存储器中的计算机程序被处理器执行以实现该图像处理方法的步骤，进而实现利用辅摄像头拍摄的图像的相应区域对衍射区域进行替换，从而得到合成图像，以提升拍照效果。如图2所示，图像处理方法200包括：

步骤S210，获取主摄像头拍摄的主预览图像，识别出主预览图像中的衍射区域。

主摄像头位于第一透明显示区A₁下方，第一透明显示区A₁中存在多个透光孔。当光线经过透光孔时很容易发生衍射，从而在由主摄像头拍摄得到的主预览图像中对应出现衍射区域。这种情况下，可以根据预设的判定方式或者规则，将主预览图像中的衍射区域识别出来。

步骤S220，获取至少一个辅摄像头拍摄的至少一个辅预览图像，识别出至少一个辅预览图像中和衍射区域的图像内容相同的至少一个补偿区域。

至少一个辅摄像头上方分别设置有多个透光孔，因此至少一个辅预览图像也会因衍射现象出现对应的衍射区域。与此同时，至少一个辅摄像头上方的透光孔的结构不同于主摄像头上方的透光孔，因此至少一个辅预览图像中的衍射区域的位置和/或衍射程度也会不同于主预览图像。这种情况下，同样可以根据预设的判定方式或者规则，将至少一个辅预览图像中的至少一个补偿区域识别出来。

步骤S230，选取衍射区域和至少一个补偿区域中效果最好的区域替换主预览图像中的衍射区域，得到目标图像。

效果最好是指图像的呈现效果，包括亮度、对比对等。利用衍射区域和至少一个补偿区域中效果最好的区域替换效果差的衍射区域，便可以得到优化的目标图像。

应当理解，当确定衍射区域为效果最后的区域时，可以直接将主预览图像作为目标图像，而无需执行替换操作。

根本上述任一实施例提供的图像处理方法，当主摄像头拍摄的画面存在衍射区域时，利用辅摄像头拍摄的图像的相应区域对衍射区域进行替换，从而得到合成图像，提升了拍照效果。

图3为本发明一实施例提供的步骤S210的流程示意图。如图3所示，在本实施例中，步骤S210具体包括：

步骤S311，获取主摄像头拍摄的主预览图像。

步骤S312，计算主预览图像中各像素的亮度值。

亮度值是指灰度值。首先将主预览图像进行灰度化处理，得到灰度图像。在灰度图像中计算各像素的灰度值，作为亮度值。一般情况下，像素的灰度值在[0,255]之间，灰度值越接近0亮度值越低，灰度值越接近255亮度值越高。

步骤S313，将相邻像素的亮度值的差值大于亮度差值阈值的像素集合组成的连通区域确定为衍射区域。

亮度差值阈值可以通过实验测得。例如，在本实施例中，亮度差值阈值大于等于50坎德拉/平方米(cd/m²)。

对于主预览图像而言，例如图4所示，其包括衍射区域Q和除了衍射区域之外的非衍射区域，衍射区域Q的数量可以是多个。衍射区域Q的图像实际上是原图像和衍射图像的叠加，因此衍射区域Q边缘的像素的亮度值相比于与之相邻的像素的亮度值会发生突变，从而可以根据相邻像素的亮度值的差值和预设亮度差阈值确定出衍射区域Q的边缘线S，以实现衍射区域Q的定位。

这里将像素集合组成的连通区域确定为衍射区域的目的是，避免将主预览图像中局部出现的高亮区域或者个别的高亮像素作为衍射区域，提高衍射区域识别的准确性。

图5为本发明一实施例提供的步骤S220的流程图。在本实施例中，主预览图像和至少一个辅预览图像的内容相同。这种情况下，步骤S220具体执行为：

步骤S411，获取至少一个辅摄像头拍摄的至少一个辅预览图像。

步骤S412，获取衍射区域的边界像素值。

相邻像素的亮度值的差值大于亮度差阈值的像素集合构成衍射区域的边界，可以将该相邻像素中的任一个的像素值作为衍射区域的边界像素值。

步骤S413，按照边界像素值分别在至少一个辅预览图像中进行截取，得到至少一个补偿区域。

由于主预览图像和至少一个辅预览图像的内容相同，也就是说，主预览图像和至少一个辅预览图像中相同像素集合围成的区域中呈现的图像信息相同。这种情况下，根据步骤S413得到的至少一个补偿区域和衍射区域中呈现的图像信息相同，后续便可以用至少一个补偿区域中效果最好的一个来替换衍射区域，以得到优化后的目标图像。

在一个实施例中，为了确保主预览图像和至少一个辅预览图像的内容相同，在步骤S411之后还包括：对至少一个辅预览图像进行裁剪，以使至少一个辅预览图像和主预览图像的内容相同。具体而言，将至少一个辅预览图像分别和主预览图像作重合比对；当主预览图像和至少一个辅预览图像中的预定区域重合时，沿主预览图像的边缘对至少一个辅预览图像进行裁剪，得到裁剪后的辅预览图像。这种情况下，步骤S411之后各步骤应基于裁剪后的辅预览图像进行操作。

图6为本发明一实施例提供的步骤S230的流程图。如图6所示，在本实施例中，步骤S230具体执行为：

步骤S511，分别计算衍射区域和至少一个补偿区域的亮度均值。

步骤S512，选取亮度均值最低的区域替换主预览图像中的衍射区域，得到目标图像。

亮度均值最低的区域即为衍射程度最弱，甚至没有发生衍射的区域，利用亮度均值最低的区域替换主预览图像中的衍射区域，从而得到优化后的目标图像。

根据本实施例提供的图像处理方法，将亮度值作为衡量图像效果的指标，算法简单易实现。

本发明还提供了一种移动终端，包括上述任一实施例提供的显示装置。该移动终端可以取得和显示装置相应的技术效果，这里不再赘述。

本发明还提供了一种图像处理装置，用于图1所示移动终端。图7为本发明一实施例提供的图像处理装置的结构框图。如图7所示，图像处理装置60包括获取模块61、第一识别模块62、第二识别模块63和处理模块64。其中，获取模块61用于获取主摄像头拍摄的主预览图像和至少一个辅摄像头拍摄的至少一个辅预览图像。第一识别模块62用于识别出主预览图像中的衍射区域。第二识别模块63用于识别出至少一个辅预览图像中和衍射区域的图像内容相同的至少一个补偿区域。处理模块64用于选取衍射区域和至少一个补偿区域中效果最好的补偿区域替换主预览图像中的衍射区域，得到目标图像。

在一个实施例中，第一识别模块62具体包括：第一计算单元，用于计算主预览图像中各像素的亮度值；和确定单元，用于将相邻像素的亮度值的差值大于亮度差阈值的像素集合组成的连通区域确定为衍射区域。

在一个实施例中，主预览图像和至少一个辅预览图像的内容相同。这种情况下，第二识别模块63具体包括：获取单元，用于获取衍射区域的边界像素值；和截取单元，用于按照边界像素值分别在至少一个辅预览图像中进行截取，得到至少一个补偿区域。

在一个实施例中，处理模块64具体包括：第二计算单元，分别计算衍射区域和至少一个补偿区域的亮度均值；和替换单元，用于选取亮度均值最低的区域替换主预览图像中的衍射区域，得到目标图像。

在一个实施例中，主预览图像和至少一个辅预览图像的内容不同。这种情况下，图像处理装置60还包括裁剪模块65，用于对至少一个辅预览图像进行裁剪，以使至少一个辅预览图像和主预览图像的内容相同。

上述任一本实施例提供的图像处理装置，与本发明实施例所提供的图像处理方法属于同一发明构思，可执行本发明任意实施例所提供的图像处理方法，具备执行图像处理方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例提供的图像处理方法，此处不再加以赘述。

示例性电子设备

下面，参考图8来描述本申请实施例提供的计算机设备。图8图示了根据本申请实施例的计算机设备的框图。

如图8所示，计算机设备70包括一个或多个处理器71和存储器72。

处理器71可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制计算机设备70中的其他组件以执行期望的功能。

存储器72可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器71可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，计算机设备70还可以包括：输入装置73和输出装置74，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，输入装置73可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。此外，该输入装置73还可以包括例如键盘、鼠标等等。

输出装置74可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置74可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该计算机设备70中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，计算机设备70还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

Claims (10)

1.一种显示装置，其特征在于，包括：

显示屏组件，包括透明显示屏和设置在所述透明显示屏下方的主摄像头和至少一个辅摄像头；和

控制器，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：

获取所述主摄像头拍摄的主预览图像，识别出所述主预览图像中的衍射区域；

获取所述至少一个辅摄像头拍摄的至少一个辅预览图像，识别出所述至少一个辅预览图像中和所述衍射区域的图像内容相同的至少一个补偿区域；

选取所述衍射区域和所述至少一个补偿区域中效果最好的区域替换所述主预览图像中的所述衍射区域，得到目标图像。

2.根据权利要求1所述的显示装置，其特征在于，所述识别出所述主预览图像中的衍射区域包括：

计算所述主预览图像中各像素的亮度值；

将相邻像素的所述亮度值的差值大于亮度差阈值的像素集合组成的连通区域确定为所述衍射区域。

3.根据权利要求2所述的显示装置，其特征在于，所述亮度差阈值大于等于50坎德拉/平方米。

4.根据权利要求2所述的显示装置，其特征在于，所述主预览图像和所述至少一个辅预览图像的内容相同；

所述识别出所述至少一个辅预览图像中和所述衍射区域的图像内容相同的至少一个补偿区域包括：

获取所述衍射区域的边界像素值；

按照所述边界像素值分别在所述至少一个辅预览图像中进行截取，得到所述至少一个补偿区域。

5.根据权利要求4所述的显示装置，其特征在于，所述选取所述衍射区域和所述至少一个补偿区域中效果最好的所述补偿区域替换所述主预览图像中的所述衍射区域，得到目标图像包括：

分别计算所述衍射区域和所述至少一个补偿区域的亮度均值；

选取所述亮度均值最低的区域替换所述主预览图像中的所述衍射区域，得到所述目标图像。

6.根据权利要求1-5中任一所述的显示装置，其特征在于，在获取所述至少一个辅摄像头拍摄的至少一个辅预览图像之后还包括：

对所述至少一个辅预览图像进行裁剪，以使所述至少一个辅预览图像和所述主预览图像的内容相同。

7.根据权利要求6所述的显示装置，其特征在于，所述对所述至少一个辅预览图像进行裁剪，以使所述至少一个辅预览图像和所述主预览图像的内容相同包括：

将所述至少一个辅预览图像分别和主预览图像作重合比对；

当所述主预览图像和所述至少一个辅预览图像中的预定区域重合时，沿所述主预览图像的边缘对所述至少一个辅预览图像进行裁剪，得到和所述主预览图像的内容相同的至少一个所述辅预览图像。

8.根据权利要求1-5中任一所述的显示装置，其特征在于，所述透明显示屏包括多个透明显示区，所述多个透明显示区分别包括多个透光孔，不同所述透明显示区的所述透光孔的结构不同；所述主摄像头和所述至少一个辅摄像头分别设置在不同的所述透明显示区。

9.根据权利要求8所述的显示装置，其特征在于，不同所述透明显示区的所述透光孔的形状不同；或

不同所述透明显示区的所述透光孔的开口面积不同；或

不同所述透明显示区的所述多个透光孔的排布方式不同。

10.一种移动终端，其特征在于，包括权利要求1-9中任一所述的显示装置。

Images