CN113568595A - 基于ToF相机的显示器组件的控制方法、装置、设备和介质 - Google Patents

Abstract

一种基于ToF相机的显示器组件的控制方法、装置、设备和介质，方法包括S10、使用ToF相机采集使用者的深度值图像，所述ToF相机和所述显示器组件位于电子设备上；S11、获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系；S12、根据所述相对距离关系对所述显示器组件进行控制。本发明的基于ToF相机的显示器组件的控制方法，通过使用ToF相机采集使用者与电子设备之间的相对距离关系，并根据相对距离关系对显示器组件进行控制，由于ToF相机可以在弱光线或黑暗环境下正常工作，提高对显示器组件显示调节的准确性。

Description

基于ToF相机的显示器组件的控制方法、装置、设备和介质

技术领域

本申请涉及显示技术领域，具体涉及一种基于ToF相机的显示器组件的控制方法、装置、设备和介质。

背景技术

随着游戏、视频、音频等内容的不断丰富，更高性能的显示器大量应用到终端等各类视频设备上以便向用户提供更好的视频服务体验。

现有技术中，使用多使用RGB(颜色系统)相机对人体进行检测以便根据用户位置调节显示器的显示亮度，进行自动显示亮度调节。但是RGB相机适用于可见光环境，对于弱光线或黑暗环境下RGB相机无法正常工作，导致显示器显示亮度调节的准确性偏低。

发明内容

鉴于此，本申请提供一种基于ToF(飞行时间)相机的显示器组件的控制方法、装置、设备和介质，以解决现有的RGB相机在弱光线或黑暗环境下无法准确检测到使用者位置导致显示器组件的显示信号的调制准确性偏低的问题。

本申请提供的一种基于ToF相机的显示器组件的控制方法，包括：S10、使用ToF相机采集使用者的深度值图像，所述ToF相机和所述显示器组件位于电子设备上；S11、获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系；S12、根据所述相对距离关系对所述显示器组件进行控制。

可选的，所述相对位置关系还包括相对倾斜角度；步骤S11还包括：获取所述深度值图像中所有深度值的均方差；根据所述均方差确定所述相对倾斜角度；步骤S12还包括：根据所述相对倾斜角度对所述显示器组件进行控制。

可选的，步骤S11还包括：在所述均方差大于第一均方阈值时，将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果确定所述相对倾斜角度。

可选的，步骤S11具体包括：S110、根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；S111、获取显示器组件的第二坐标信息；S112、根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对距离和/或相对倾斜角度；步骤S12具体包括：S121、根据所述相对距离和/或相对倾斜角度对所述显示器组件进行控制。

可选的，步骤S10具体包括：使用ToF相机采集使用者的轮廓图像；步骤S11具体包括：将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者的深度值图像。

可选的，所述S11具体还包括：在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的眼睛图像；根据所述眼睛图像和所述深度值图像获取对应的第三坐标信息；根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对距离和/或相对倾斜角度；所述S12具体还包括：根据所述使用者眼睛与所述显示器组件的相对距离和/或相对倾斜角度对所述显示器组件进行控制。

可选的，步骤S12具体还包括：根据所述使用者眼睛与所述显示器组件的相对位置关系对所述显示器组件进行以下至少一种调节：画幅的缩放、屏幕的亮暗、字体的大小和显示角度的旋转。

一种基于ToF相机的显示器组件的控制装置，包括：ToF相机，用于采集使用者的深度值图像；所述ToF相机和所述显示器组件位于电子设备上；位置关系获取模块，用于获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系；控制模块，用于根据所述相对距离关系对所述显示器组件进行控制。

可选的，所述相对位置关系还包括相对倾斜角度；所述位置关系获取模块，还用于获取所述深度值图像中所有深度值的均方差；根据所述均方差确定所述相对倾斜角度；所述控制模块，还用于根据所述相对倾斜角度对所述显示器组件进行控制。

可选的，所述位置关系获取模块，还用于在所述均方差大于第一均方阈值时，将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果确定所述相对倾斜角度。

可选的，所述位置关系获取模块，还用于根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；获取显示器组件的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对距离和/或相对倾斜角度；所述控制模块，还用于根据所述相对距离和/或相对倾斜角度对所述显示器组件进行控制。

可选的，所述ToF相机，还用于采集使用者的轮廓图像；所述位置关系获取模块，还用于将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的深度值图像。

可选的，所述位置关系获取模块，还用于在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的眼睛图像；根据所述眼睛图像和所述深度值图像获取对应的第三坐标信息；根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对位置关系；所述控制模块，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对位置关系对所述显示器组件进行控制。

一种电子设备，所述电子设备包括：存储器、处理器，其中，所述存储器上存储有基于ToF相机的显示器组件的控制方法的程序，所述基于ToF相机的显示器组件的控制方法的程序被所述处理器执行时实现上述中任一项所述的基于ToF相机的显示器组件的控制方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于ToF相机的显示器组件的控制方法的步骤。

本发明的基于ToF相机的显示器组件的控制方法，通过使用ToF相机采集使用者与电子设备之间的相对距离关系，并根据相对距离关系对显示器组件进行控制，由于ToF相机可以在弱光线或黑暗环境下正常工作，提高对显示器组件显示调节的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一实施例的用户与电子设备之间的相对位置关系的示意图；

图2为本发明的一实施例的基于ToF相机的显示器组件的控制方法的流程图；

图3为本发明的一实施例的基于ToF相机的显示器组件的控制方法的流程图；

图4为本发明一实施例的像素坐标与空间点的坐标之间的关系图；

图5为本发明一实施例的以ToF相机的光轴为中心原点建立的世界坐标系的示意图；

图6为本发明一实施例的基于ToF相机的显示器组件的控制装置的结构示意图。

具体实施方式

下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

应当理解的是，在本文中提及的"若干个"是指一个或者多个，“多个”是指一个或一个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示:单独存在A，同时存在A和B，单独存在B这三种情况。字符"/"一般表示前后关联对象是一种“或”的关系。

本实施例的方案可以应用于具有至少一个显示器组件和TOF相机的电子设备中。比如，该电子设备可以是智能手机、平板电脑、电子书阅读器、移动游戏设备、智慧屏、电视机等。其中，上述至少一个显示器组件可以设置在电子设备中的不同位置。比如，上述显示器组件可以分别设置在电子设备中间位置。显示器组件包括显示单元和控制电路，显示单元包括CRT(阴极射线管)显示器、液晶显示器、LED(发光二极管)显示器等。控制电路用于控制显示单元的亮度、对比度、缩放比例、显示字体大小、显示旋转角度等。

研发人员发现，使用者日常使用电子设备时会呈现不同的姿态，比如坐着，躺着，侧身，背对屏幕等等，或者是在不同的环境下使用电子设备，比如光线较暗或黑暗处，导致显示器不能达到最佳的显示效果。

为了解决上述问题，本申请还提供一种对电子设备中的至少一个显示器组件进行控制的方案。通过该方案，可以为至少一个显示器组件设置多种显示器控制参数，其中，每种显示器控制参数可以使得至少一个显示器组件在相对于电子设备的特定位置处达到较好的显示效果，根据使用者当前相对于电子设备的位置，选择合适的显示器控制参数来控制至少一个显示器组件显示，从而使得使用者在相对于电子设备的不同位置处，都能够体验到较好的显示效果。

在一种可选的实现方案中，电子设备可以通过内置的ToF相机来确定使用者与电子设备之间的相对位置。

请参看图1，本发明的一实施例的用户与电子设备之间的相对位置关系的示意图。

本实施例中，电子设备为智能终端，ToF相机使用ToF摄像头进行信息采集。图1中，将ToF摄像头安装于智能终端的顶部，显示器组件包括一个显示屏幕，置于智能终端的中间位置。当使用者，即用户在使用智能终端时，ToF摄像头工作，实时捕捉用户与智能终端之间的相对距离，并构建表现形式为三维立体图的用户点云图。当用户与智能终端之间的位置关系发生改变时，通过ToF摄像头重建使用者与智能终端的相对位置关系，根据此位置关系，调节各个显示器的参数，从而呈现出最佳显示效果。

请参看图2，本发明的一实施例的基于ToF相机的显示器组件的控制方法的流程图。

本实施例中，ToF相机和显示器组件均位于电子设备上，显示器组件的数量至少为一个，且设置在电子设备的中间部位。如图2所示，基于ToF相机的显示器组件的控制方法包括以下步骤：

步骤S10、使用ToF相机采集使用者的深度值图像。

TOF相机通过主动连续发射红外激光脉冲，同时控制感光传感器的门闸，实现反射光在2个不同时刻下收集的能量，即Q1和Q2；Q1和Q2的总量相当于整个反射光总量，而Q2相对于总量的占比，恰好等于反射光相对发射光的一个延迟

从而根据这个延迟，利用如下公式和光速c相乘，再除以2，即可得到ToF相机中摄像头和被发射点的距离d，即ToF相机与被测物之间的距离d。

其中，c为光速，c＝299792.458km/s(千米/秒)，

为反射光相对发射光的延迟时间，Q₁和Q₂是反射光在2个不同时刻下收集的能量。

利用ToF相机是面阵的特点，可以采集到使用者的每一点与ToF相机的距离值，根据该距离值生成深度值图像，该深度值图像具有N个像素点，N为大于等于零的整数，每个像素点对应于实际空间内的一个位置点，每个像素点的深度值对应于该位置点的距离值。所以，深度值图像可以是包括N个阵列排布的深度值组成的数据矩阵，也可以是根据各个像素点深度值构建的表现形式为三维立体图的点云图。

S11、获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系。

由于深度值图像中每个像素点的深度值为使用者的某一点与ToF相机的距离值d，所以可以使用深度值图像中的深度值表征使用者与电子设备之间的相对距离关系。或者，通过深度值图像逆映射到世界坐标系，得到使用者的空间坐标信息，通过该空间坐标信息得到使用者与电子设备之间的相对距离关系。

步骤S12、根据所述相对距离关系对所述显示器组件进行控制。

可选的，根据使用者与电子设备之间的相对距离对所述显示器组件进行以下至少一种调节：画幅的缩放、屏幕的亮暗、字体的大小和显示角度的旋转。从而使得使用者的头部在相对于电子设备的不同位置处，外部环境的光线较弱或黑暗处都能够体验到较好的显示效果，从而提高显示器组件的显示效果。

可选的，在相对距离近时控制画幅缩小、屏幕的亮暗调暗、字体调小；相对距离远时画幅放大，屏幕的亮暗调亮、字体调大；相对距离与画幅的比例、字体的大小成正比例关系。在其他实施方式中，还可以根据相对距离结合当前光线调节屏幕的亮暗。

在可选的一实施例中，所述相对位置关系还包括相对倾斜角度；步骤S11还包括：获取所述深度值图像中所有深度值的均方差；根据所述均方差确定所述相对倾斜角度；

步骤S12还包括：根据所述相对倾斜角度对所述显示器组件进行控制。

本实施例通过深度值图像中的深度值的大小判断使用者距离电子设备的距离远近，再结合深度值的均方差判断使用者的面部是否发生倾斜，可以针对性的调整显示器组件的旋转角度，提高精细化控制程度。比如，根据将深度值图像中的深度值与距离阈值比较，大于距离阈值时，表明使用者距离电子设备较远，此时，获取整个使用者的深度值图像，计算该深度值图像中所有深度值的均方差，若均方差小于第一均方阈值，表示使用者画面很平，即使用者与ToF相机是正面相对，没有发生倾斜，即使用者与电子设备的倾斜角度为0。此时，调整显示器组件为放大显示比例等。当深度值的均方差大于第一均值阈值，表明使用者并不是正面朝向电子设备，即使用者与ToF相机发生倾斜，可以根据距离调整显示器组件的显示比例后再调整显示角度等。当深度值图像中的深度值与距离阈值比较，小于距离阈值时，表明使用者距离电子设备较近，控制缩小显示比例，此时，再结合深度值均方差进行显示角度调整。比如，第一均值阈值为20毫米，深度值的均方差由5毫米的波动，突然变成20毫米波动，则认为使用者与ToF相机发生倾斜，相应的显示屏也需要向相应方向倾斜一定度数，具体倾斜角度需要根据相关显示质量进行调节，比如10°等。

在其他可选的实施例中，可以设置多个第一均值阈值，根据深度值均方差与不同的第一均值阈值比较结果确定使用者相对于电子设备的相对倾斜角度，再根据该倾斜角度对显示器组件进行显示控制，以提高显示控制的精准度。

在可选的一实施例中，步骤S11还包括：在所述均方差大于第一均方阈值时，根据所述深度值图像的位置将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果确定所述相对倾斜角度。

比如，在均方差大于第一均方阈值时，表示使用者画面不平，即使用者与ToF相机发生倾斜。此时，根据所述深度值图像的位置将深度值图像划分为若干子深度值图像，比如分成上下两部分、左右两部分或其他划分方式。本实施例以将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像为例进行示例性说明，将深度值图像划分为其他数量的子深度值图像的处理原理与此类似，不再赘述。

将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像后，分别获取第一子深度值图像中各个像素点的第一深度值和第二子深度值图像中各个像素点的第二深度值，第一深度值和第二深度值即对应子深度值图的子深度值，将第一深度值和第二深度值分别与第一距离阈值进行比较，当第一深度值小于第一距离阈值时，表明第一子深度值图像的深度值小，使用者的上部分距离ToF相机近，当第二深度值大于第一距离阈值时，表明第二子深度值图像的深度值大，使用者的下部分距离ToF相机远，表明使用者与电子设备之间是一个前倾的关系，此时，根据第一子深度值和第二深度值与第一距离阈值的比较结果确定使用者与电子设备的相对倾斜角度，根据该倾斜角度调整显示倾斜度。比如，使用者的上部分距离ToF相机近、下部分距离ToF相机远时，调整显示器组件的显示的图像角度对应上述情况，使得使用者眼睛看到的显示图像依然保持水平，从而提高显示器组件的显示效果。

反之，当第一深度值大于第一距离阈值时，表明第一子深度值图像的深度值大，使用者的上部分距离ToF相机远，当第二深度值小于第一距离阈值时，表明第二子深度值图像的深度值小，使用者的下部分距离ToF相机近，此时调整显示器组件的显示的图像角度对应上述情况，使得使用者眼睛看到的显示图像依然保持水平，从而提高显示器组件的显示效果。

在可选的其他实施例中，可以设置多个第一距离阈值，根据第一深度值、第二深度值与不同第一距离阈值的比较结果确定使用者与电子设备具体的倾斜角度。比如设置第一距离阈值是5cm(厘米)和10cm，当第一深度值大于5cm，第二深度值小于5cm，表示倾斜角度为15度以内，当第一深度值大于10cm，第二深度值小于5cm，表示倾斜角度范围为15度到30度。

在可选的其他实施例中，可以获取第一子深度值图像中的所有深度值的第一深度平均值和第二子深度值图像中的所有深度值的第二深度平均值，第一深度平均值小于第二深度平均值时，表明使用者的上部分距离ToF相机近。反之，第一深度平均值大于第二深度平均值时，则表明使用者的下部分距离ToF相机近，此时，根据第一深度平均值与第二深度平均值的比较结果确定使用者与电子设备的倾斜角度，以控制显示器的图像显示角度，从而提高显示器组件的显示效果。

当将深度值图像划分为左、右两个子深度值图像时，通过上述方法对左、右两个子深度值图像进行分析，当左边的子深度值图像的深度值小(表示对应的使用者左边部分距离ToF相机较近)，右边的子深度值图像深度值大(表示对应的使用者右边部分距离ToF相机距离远)，则调显示器的显示角度，保证显示器组件的显示图像与使用者眼睛角度保持一致。

在其他可选的实施例中，根据深度值变化趋势将深度值图像划分为若干子深度值图像，比如，按照深度值变化趋势从大到小划分子深度值图像，各个子深度值图像的大小可以相同也可以不同。

在可选的其他实施方式中，步骤S11还包括：获取所述显示器组件的显示内容，所述显示内容包括文字/或和图片；步骤S12还包括：根据所述相对距离关系和所述文字和/或图片对所述显示器组件进行控制。

比如，检测当前显示内容，当显示内容为文字时，设置文字与相对距离成线性关系，首先设定默认的相对距离和对应默认的文字大小，再根据实际的相对距离调整显示的文字大小，以使得用户在不同位置处看到的所有文件大小一致，以提高显示效果。当检测到当前显示的内容是图片时，可以控制设置图片与相对距离成线性关系，通过相对距离控制图片的缩放比例，以使得用户在不同位置处看到的图片大小一致。另外，结合倾斜角度可以控制用户在不同位置处看到的图片均是正视图。当当前显示内容是图文并茂时，通过分区域识别出文字和图片，再根据上述文字和图片的调整方式分别进行调整。

通过上述方法，控制显示器组件显示不同的倾斜角度和画面缩放比例，以给使用者处提供较好的显示效果，从而提高用户体验。

上述方案直接利用ToF相机采集的使用者的深度值图像，或将深度值图像划分成若干子深度值图像，通过比较各个子深度值图像的深度值数据以判断使用者与电子设备的相对位置关系，进而调节对应位置的显示器组件的显示比例和画面倾斜角度，以提高显示器组件的显示效果。但是，深度值图像中的深度值数据是使用者与ToF相机之间的距离，并不是使用者与显示器组件的距离，因此，通过深度值图像进行显示器组件控制的方案，控制的精准度需要进一步提高。

基于上述问题，本实施例提供一种基于ToF相机的显示器组件的控制方法。

请参看图3，本发明的一实施例的基于ToF相机的显示器组件的控制方法的流程图。

步骤S11具体包括：

S110、根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息。

请参看图4，本发明一实施例的像素坐标与空间点的坐标之间的关系图。

图像处理、立体视觉等等方向常常涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。如图4所示，通过建立四个坐标系，可以描述空间中任意一点与ToF相机所获得的深度值图像之间的关系。其中，Ow-XwYwZw：世界坐标系，描述相机位置，单位m(米)；Oc-XcYcZc：相机坐标系，Oc为原点，单位m；o-xy：图像坐标系，o为图像中点，单位mm(毫米)；uv：像素坐标系，原点为图像左上角，单位pixel(像素)；P(Xw,Yw,Zw)是世界坐标系中的一点，即使用者的某一点，p(x,y)是P(Xw,Yw,Zw)在图像中的成像点，在图像坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u，v)；f为相机焦距，等于o到Oc的距离。简单起见，将世界坐标系和摄像头坐标系可以合二为一，而世界坐标系中的任何一点P(Xw,Yw,Zw)通过小孔成像的方式映射到图像坐标系中p(x,y),图像坐标系跟像素坐标系之间通过平移的方式，实现最终的变换。

具体可通过下面计算公式，实现世界坐标系中任意一点到ToF相机深度值图像中的变换。

其中，u、v、z是深度值图像中的信息u、v是像素点坐标值，z是对应的深度值，f_x1、f_y1、c_x1、c_y1(f_x1与f_y1分别是两个轴方向焦距；c_x1与c_y1分别是两个轴方向的中心位置)是相机内参，相机的内参和外参，通过相机标定算法可以确定。所以，通过上述公式，可以找到深度值图像中像素位置(u、v)和空间点(x，y，z)的坐标之间关系，可将ToF相机深度值图像逆映射到世界坐标系中，获取使用者P在世界坐标系的第一坐标信息，即从一张深度值图像映射到世界坐标系中，根据(u,v,z)获取(x，y，z)，从而可以获取使用者的第一坐标信息，构建以点云图为表现形式的三维立体图。

S111、获取显示器组件的第二坐标信息；

请参看图5，本发明一实施例的以ToF相机的光轴为中心原点建立的世界坐标系的示意图。

图5中，以ToF相机的光轴Ow为中心原点建立的世界坐标系。将世界坐标系和ToF相机坐标系合并，通过ToF摄像头采集的深度值图像T经过逆映射可以得到使用者，即用户的第一坐标信息P。由于显示器屏幕跟ToF相机的关系是固定的，从而确立了显示器屏幕在世界坐标系的坐标信息P1，即显示器屏幕的第二坐标信息P1。由于ToF相机与显示器屏幕的位置关系是固定的，显示器屏幕在世界坐标系中的第二坐标信息P1也是固定的。

S112、根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对距离和/或相对倾斜角度。倾斜角度的定义为：以垂直使用者眼睛方向的线为法线，ToF相机平面和法线的夹角即为倾斜角度，当倾斜角度不是90°时，则表示使用者于显示器组件发生倾斜。

步骤S12具体包括：S121、根据所述相对距离和/或相对倾斜角度对所述显示器组件进行控制。

具体的，根据图5中用户在世界坐标系的第一坐标信息P和显示器屏幕在世界坐标系的第二坐标信息P1，进而建立了使用者跟显示器之间的相对位置关系。即，通过两点坐标之间进行直接计算，得到两点之间的相对距离和相对倾斜角度。利用ToF相机是面阵的特点，可以得到使用者中的每一点与显示器屏幕之间的相对距离和相对倾斜角度，根据使用者中的每一点与显示器屏幕之间的相对距离和相对倾斜角度对显示器屏幕进行显示控制，以提高控制的准确性。比如，当用户在世界坐标系的第一坐标信息P和显示器屏幕在世界坐标系的第二坐标信息P1之间的倾斜角度是20度，控制显示画面旋转20度，倾斜角度与显示角度相同或成线性关系。比如，先获得倾斜方向和倾斜角度，比如向右倾斜了30°，根据显示的质量，也相应向右倾斜30°。

可选的，当使用者与各个显示器组件的距离均大于第二距离阈值时，表示使用者距离显示器组件较远，则对所有显示器组件进行控制，比如，统一调大所有显示器组件的显示比例等。反之，当使用者与各个显示器组件的距离均小于第二距离阈值时，表示使用者距离显示器组件较近，则对所有显示器组件进行控制，比如，统一调小所有显示器组件的显示比例等。

在可选的一实施例中，S112具体还包括：将所述使用者的第一坐标信息划分成若干子坐标信息；根据所述子坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对位置关系。比如，将第一坐标信息划分为上下两个第一子坐标信息和第二子坐标信息后，分别获取第一子坐标信息与第二坐标信息之间的第一距离和第二子坐标信息与第二坐标信息之间的第二距离，根据第一距离与第二距离的比较结果确定使用者的姿态。比如，第一距离小于第二距离，表明使用者的上部分距离ToF相机近，下部分距离ToF相机远，使用者与电子设备之间是一个前倾的关系，根据第一距离与第二距离的差异大小确定倾斜角度，以实现对显示器组件的显示调整，从而提高显示器组件显示效果。

可选的，将第一坐标信息划分为上下两个第一子坐标信息和第二子坐标信息后，分别获取第一子坐标信息与第二坐标信息之间的第一距离的第三均方差和第二子坐标信息与第二坐标信息之间的第二距离的第四均方差，将第三均方差和第四均方差与第二均方阈值进行比较，当第三均方差小于第二均方阈值时，表明使用者的上部分距离ToF相机近，当第四均方差大于第二均方阈值时，表明使用者的下部分距离TOF相机远，表明使用者与电子设备之间是一个前倾的关系，此时，对显示器组件进行显示控制，从而提高显示器组件显示效果，进一步提高控制准确度。

当将第一坐标信息划分为上、下、左、右或其他更多的子坐标信息时，具体的分析过程与上述类似，不再赘述。

本实施例通过将ToF相机采集的深度值图像逆映射到世界坐标系中，得到使用者在世界坐标系的具体第一坐标信息，由于ToF相机与显示器组件的位置关系是固定的，显示器组件在世界坐标系中的第二坐标信息也是固定的。通过计算第一坐标信息和第二坐标信息可以得到使用者每一点与各个显示器组件的距离，进而进行准确的显示器组件的显示调节，提高了显示调节的准确度。

由于使用者可能会背向电子设备或存在手掌等障碍物遮挡住电子设备，导致存在误差。为了提高显示器组件调控的准确性，本申请提出以下解决方案。

本实施例的基于ToF相机的显示器组件的控制方法中，步骤S10具体包括：使用ToF相机采集使用者的轮廓图像。

步骤S11具体包括：将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集的深度值图像，否则，ToF相机停止信息采集。具体的，可通过人工智能模型进行轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像，或通过将轮廓图像与预存图像进行匹配，以判断所述轮廓图像是否为人物面部图像，预存图像为人物的面部图像。

本实施例通过ToF相机采集使用者的轮廓图像，并与预存图像比较，在确定为人物面部图像时才采集使用者与电子设备的深度值图像，进行显示器组件的显示调节，避免了使用者背向电子设备或出现遮挡物等情况，避免出现误操作，提高了显示器组件控制的精准度。

在可选的一实施例中，为了进一步提高显示器组件控制的准确度，步骤S11具体还包括：在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的眼睛图像；根据所述眼睛图像和所述深度值图像获取对应的第三坐标信息。

具体的，在所述轮廓图像为人物面部图像时，进一步提取轮廓图像中使用者的眼睛图像，根据所述眼睛图像位置获取深度值图像中对应的眼睛深度值图像；根据所述眼睛深度值图像中的距离值获取对应的世界坐标系中的使用者眼睛的第三坐标信息。

所述S11具体还包括：根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对距离和/或相对倾斜角度。

所述S12具体还包括：根据所述使用者眼睛与所述显示器组件的相对距离和/或相对倾斜角度对所述显示器组件进行控制。

可选的，使用上述方法获取使用者的第一坐标信息P后，结合眼睛图像的位置，从第一坐标信息P中划分出眼睛的第三坐标信息，根据使用者眼睛的第三坐标信息和各个显示器组件的第二坐标信息计算使用者眼睛与所述显示器组件的相对距离和相对倾斜角度，根据该相对距离和相对倾斜角度对各个显示器组件进行调整。

可选的，还可以结合运动传感器，实时感知使用者的运动变化趋势，比如前后左右摇摆，根据运动变化趋势，控制显示器组件进行不同的显示。

请参看图6，本发明一实施例的基于ToF相机的显示器组件的控制装置的结构示意图。

图6中，本实施例的基于ToF相机的显示器组件的控制装置，包括：

ToF相机1，用于采集使用者的深度值图像；所述ToF相机和所述显示器组件位于电子设备上，所述显示器组件的数量至少为一个且设置在所述电子设备的不同位置。ToF相机1采集深度值图像的原理与上述相同，此处不再赘述。

位置关系获取模块2，用于获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系。由于深度值图像中每个像素点的深度值为使用者的某一点与ToF相机的距离值d，所以可以使用深度值图像中的深度值表征使用者与电子设备之间的相对位置关系。或者，通过深度值图像逆映射到世界坐标系，得到使用者的空间坐标信息，通过该空间坐标信息得到使用者与电子设备之间的相对位置关系。

控制模块3，用于根据所述相对距离关系对所述显示器组件进行控制。比如，可根据所述相对位置关系控制不同部位的显示器组件的显示画面大小，画面倾斜角度等。通过对各个显示器组件的参数进行调整，从而使得使用者的头部在相对于电子设备的不同位置处，或光线较暗甚至黑暗处都能够体验到较好的显示效果，从而提高显示器组件的显示效果。

在可选的一实施例中，所述相对位置关系还包括相对倾斜角度；所述位置关系获取模块2，还用于获取所述深度值图像中所有深度值的均方差；根据所述均方差确定所述相对倾斜角度；所述控制模块3，还用于根据所述相对倾斜角度对所述显示器组件进行控制。

具体的，获取整个使用者的深度值图像，计算该深度值图像中所有深度值的均方差，若均方差小于第一均方阈值，表示使用者画面很平，即使用者与ToF相机是正面相对，没有发生倾斜。统一调大或调小所有显示器组件显示大小等。

在可选的一实施例中，位置关系获取模块2，还用于在所述均方差大于第一均方阈值时，将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果确定所述相对倾斜角度。

比如，在均方差大于第一均方阈值时，表示使用者画面不平，即使用者与ToF相机发生倾斜。此时，将深度值图像划分为若干子深度值图像，比如分成上下两部分、左右两部分或其他划分方式。本实施例以将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像为例进行示例性说明，将深度值图像划分为其他数量的子深度值图像的处理原理与此类似，不再赘述。

将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像后，分别获取第一子深度值图像中的第一深度值和第二子深度值图像中的第二深度值，第一深度值和第二深度值即对应子深度值图的子深度值，将第一深度值和第二深度值与第一距离阈值进行比较，当第一深度值小于第一距离阈值时，表明第一子深度值图像的深度值小，使用者的上部分距离ToF相机近，当第二深度值大于第一距离阈值时，表明第二子深度值图像的深度值大，使用者的下部分距离ToF相机远，表明使用者与电子设备之间是一个前倾的关系，具体实现过程与上述类似，此处不再赘述。

在可选的其他实施方式中，位置关系获取模块2还用于获取所述显示器组件的显示内容，所述显示内容包括文字/或和图片；控制模块3，还用于根据所述相对距离关系和所述文字和/或图片对所述显示器组件进行控制。

比如，检测当前显示内容，当显示内容为文字时，设置文字与相对距离成线性关系，首先设定默认的相对距离和对应默认的文字大小，再根据实际的相对距离调整显示的文字大小，以使得用户在不同位置处看到的所有文件大小一致，以提高显示效果。当检测到当前显示的内容是图片时，可以控制设置图片与相对距离成线性关系，通过相对距离控制图片的缩放比例，以使得用户在不同位置处看到的图片大小一致。另外，结合倾斜角度可以控制用户在不同位置处看到的图片均是正视图。当当前显示内容是图文并茂时，通过分区域识别出文字和图片，再根据上述文字和图片的调整方式分别进行调整。

上述方案直接利用深度值图像中的深度值数据，进行位置判断，但是深度值数据是使用者与ToF相机之间的距离，并不是使用者与显示器组件的距离，因此，通过深度值图像进行显示器组件控制的方案，控制的精准度需要进一步提高。

基于上述问题，本实施例提供一种基于ToF相机的显示器组件的控制装置，所述位置关系获取模块2，还用于根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；获取显示器组件的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对距离和/或相对倾斜角度。所述控制模块3，还用于根据所述相对距离和/或相对倾斜角度对所述显示器组件进行控制。

第一坐标信息和第二坐标信息的获取过程与上述类似，此处不再赘述。根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对位置关系。具体的，根据图5中使用者在世界坐标系的第一坐标信息P和显示器组件在世界坐标系的第二坐标信息P1，进而建立了使用者跟显示器之间的相对位置关系。即，通过两点坐标之间进行直接计算，得到两点之间的距离。利用ToF相机是面阵的特点，可以得到使用者中的每一点与显示器组件之间的距离，该距离即表示使用者与显示器组件之间的相对位置关系。可以根据使用者中的每一点与各个显示器组件之间的相对距离和相对倾斜角度对各个显示器组件进行控制，以提高控制的准确性。

可选的，当使用者与各个显示器组件的距离均大于第二距离阈值时，表示使用者距离显示器组件较远，则对所有显示器组件进行控制，比如，统一调大所有显示器组件的显示画面等。反之，当使用者与各个显示器组件的距离均小于第二距离阈值时，表示使用者距离显示器组件较近，则对所有显示器组件进行控制，比如，统一调小所有显示器组件的显示画面等。

在可选的一实施例中，位置关系获取模块2还用于将所述使用者的第一坐标信息划分成若干子坐标信息；根据所述子坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对位置关系。

比如，将第一坐标信息划分为上下一个第一子坐标信息和第二子坐标信息后，分别获取第一子坐标信息中与各个显示器组件的第二坐标信息之间的第一距离和第二子坐标信息中与各个显示器组件的第二坐标信息之间的第二距离,根据第一距离与第二距离的比较结果确定使用者的姿态。比如，第一距离小于第二距离，表明使用者的上部分距离ToF相机近，下部分距离ToF相机远，使用者与电子设备之间是一个前倾的关系，具体过程与上述类似，此处不再赘述。

本实施例通过将ToF相机采集的深度值图像逆映射到世界坐标系中，得到使用者在世界坐标系的具体第一坐标信息，由于ToF相机与显示器组件的位置关系是固定的，显示器组件在世界坐标系中的第二坐标信息也是固定的。通过计算第一坐标信息和第二坐标信息可以得到使用者每一点与各个显示器组件的距离，进而进行准确的显示器组件的显示调节，提高了显示调节的准确度。

由于使用者可能会背向电子设备或存在手掌等障碍物遮挡住电子设备，导致存在误差。为了提高显示器组件调控的准确性，本申请提出以下解决方案。

本实施例的基于ToF相机的显示器组件的控制装置，所述ToF相机1，还用于采集使用者的轮廓图像；所述位置关系获取模块2，还用于将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系。否则，ToF相机停止信息采集。具体的，可通过人工智能模型进行轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像，或通过将轮廓图像与预存图像进行匹配，以判断所述轮廓图像是否为人物面部图像，预存图像为人物的面部图像。

本实施例通过ToF相机采集使用者的轮廓图像，并与预存图像比较，在确定为人物面部图像时才采集使用者与电子设备的相对位置信息，进行显示器组件的显示调节，避免了使用者背向电子设备或出现遮挡物等情况，避免出现误操作，提高了显示器组件控制的精准度。

在可选的一实施例中，为了进一步提高显示器组件控制的准确度，所述位置关系获取模块2，还用于在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的眼睛图像；根据所述眼睛图像和所述深度值图像获取对应的第三坐标信息。

具体的，在所述轮廓图像为人物面部图像时，进一步提取轮廓图像中使用者的眼睛图像，根据所述眼睛图像位置获取深度值图像中对应的眼睛深度值图像；根据所述眼睛深度值图像中的距离值获取对应的世界坐标系中的使用者眼睛的第三坐标信息。

所述位置关系获取模块2，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对位置关系.

所述控制模块3，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对位置关系对所述显示器组件进行控制。

比如，根据使用者眼睛的第三坐标信息和各个显示器组件的第二坐标信息计算使用者眼睛与所述显示器组件的相对距离，根据距离对各个显示器组件进行调整。

可选的，还可以结合运动传感器，实时感知使用者眼睛与显示器之间的距离变化趋势，比如前后左右摇摆，根据距离的变化趋势，控制不同的显示器组件进行不同的显示。

本申请还提供一种电子设备，包括存储器、处理器，存储器上存储有基于ToF相机的显示器组件的控制方法的程序，该基于ToF相机的显示器组件的控制方法的程序被处理器执行时实现上述任一实施例中的基于ToF相机的显示器组件的控制方法的步骤。该电子设备包括智能终端和显示设备。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有基于ToF相机的显示器组件的控制方法的程序，该基于ToF相机的显示器组件的控制方法的程序被处理器执行时实现上述任一实施例中的基于ToF相机的显示器组件的控制方法的步骤。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种基于ToF相机的显示器组件的控制方法，其特征在于，包括：

S10、使用ToF相机采集使用者的深度值图像，所述ToF相机和所述显示器组件位于电子设备上；

S11、获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系；

S12、根据所述相对距离关系对所述显示器组件进行控制。

2.如权利要求1所述的基于ToF相机的显示器组件的控制方法，其特征在于，所述相对位置关系还包括相对倾斜角度；

步骤S11还包括：获取所述深度值图像中所有深度值的均方差；根据所述均方差确定所述相对倾斜角度；

步骤S12还包括：根据所述相对倾斜角度对所述显示器组件进行控制。

3.如权利要求2所述的基于ToF相机的显示器组件的控制方法，其特征在于，步骤S11还包括：在所述均方差大于第一均方阈值时，根据所述深度值图像的位置或所述深度值的变化趋势将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果确定所述相对倾斜角度。

4.如权利要求1所述的基于ToF相机的显示器组件的控制方法，其特征在于，步骤S11还包括：获取所述显示器组件的显示内容，所述显示内容包括文字和/或图片；

步骤S12还包括：根据所述相对距离关系和所述文字和/或图片对所述显示器组件进行控制。

5.如权利要求1所述的基于ToF相机的显示器组件的控制方法，其特征在于，步骤S11具体包括：

S110、根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；

S111、获取显示器组件的第二坐标信息；

S112、根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对距离和/或相对倾斜角度；

步骤S12具体包括：

S121、根据所述相对距离和/或相对倾斜角度对所述显示器组件进行控制。

6.如权利要求5所述的基于ToF相机的显示器组件的控制方法，其特征在于，步骤S10具体包括：使用ToF相机采集使用者的轮廓图像；

步骤S11具体包括：将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用TOF相机采集使用者的深度值图像。

7.如权利要求6所述的基于ToF相机的显示器组件的控制方法，其特征在于，所述S11具体还包括：

在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的眼睛图像；根据所述眼睛图像和所述深度值图像获取对应的第三坐标信息；

根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对距离和/或相对倾斜角度；

所述S12具体还包括：

根据所述使用者眼睛与所述显示器组件的相对距离和/或相对倾斜角度对所述显示器组件进行控制。

8.如权利要求7所述的基于ToF相机的显示器组件的控制方法，其特征在于，步骤S12具体还包括：

根据所述使用者眼睛与所述显示器组件的相对位置关系对所述显示器组件进行以下至少一种调节：

画幅的缩放、屏幕的亮暗、字体的大小和显示角度的旋转。

9.一种基于ToF相机的显示器组件的控制装置，其特征在于，包括：

TOF相机，用于采集使用者的深度值图像；所述ToF相机和所述显示器组件位于电子设备上；

位置关系获取模块，用于获取所述深度值图像中的深度值，根据所述深度值确定使用者与电子设备之间的相对位置关系，所述相对位置关系包括相对距离关系；

控制模块，用于根据所述相对距离关系对所述显示器组件进行控制。

10.如权利要求9所述的基于ToF相机的显示器组件的控制装置，其特征在于，所述相对位置关系还包括相对倾斜角度；

所述位置关系获取模块，还用于获取所述深度值图像中所有深度值的均方差；根据所述均方差确定所述相对倾斜角度；

所述控制模块，还用于根据所述相对倾斜角度对所述显示器组件进行控制。

11.如权利要求10所述的基于ToF相机的显示器组件的控制装置，其特征在于，所述位置关系获取模块，还用于在所述均方差大于第一均方阈值时，根据所述深度值图像的位置或所述深度值的变化趋势将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果确定所述相对倾斜角度。

12.如权利要求9所述的基于ToF相机的显示器组件的控制装置，其特征在于，所述位置关系获取模块，还用于根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；获取显示器组件的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述显示器组件的相对距离和/或相对倾斜角度；

所述控制模块，还用于根据所述相对距离和/或相对倾斜角度对所述显示器组件进行控制。

13.如权利要求12所述的基于ToF相机的显示器组件的控制装置，其特征在于，所述ToF相机，还用于采集使用者的轮廓图像；

所述位置关系获取模块，还用于将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；

在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的深度值图像。

14.如权利要求13所述的基于ToF相机的显示器组件的控制装置，其特征在于，所述位置关系获取模块，还用于在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的眼睛图像；根据所述眼睛图像和所述深度值图像获取对应的第三坐标信息；根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对位置关系；

所述控制模块，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者眼睛与所述显示器组件的相对位置关系对所述显示器组件进行控制。

15.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器，其中，所述存储器上存储有基于ToF相机的显示器组件的控制方法的程序，所述基于ToF相机的显示器组件的控制方法的程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于ToF相机的显示器组件的控制方法的步骤。

16.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于ToF相机的显示器组件的控制方法的步骤。

Images