CN106445133B

CN106445133B - 一种跟踪脸部移动的显示调节的方法及系统

Info

Publication number: CN106445133B
Application number: CN201610833839.2A
Authority: CN
Inventors: 易燕; 洪春泉
Original assignee: Huizhou TCL Mobile Communication Co Ltd
Current assignee: Huizhou TCL Mobile Communication Co Ltd
Priority date: 2016-09-20
Filing date: 2016-09-20
Publication date: 2020-12-15
Anticipated expiration: 2036-09-20
Also published as: CN106445133A

Abstract

本发明公开了一种跟踪脸部移动的显示调节的方法及系统，所述方法包括如下步骤：A、启动初始化，采集用户的面部图像；B、在面部图像中查找基准平面，检测面部基准平面与显示平面的相对位置变化量；C、判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集。该方法中，利用设备的摄像头对用户面部图像进行采集，并对面部图像进行图像处理及几何分析，以面部三点确定的基准平面得到相对位置变化量，根据该相对变化量对显示屏进行自动的跟踪调节，以达到自动调节显示的目的，而不需要用户在每次的姿势发生变化时对屏幕进行手动调节。

Description

一种跟踪脸部移动的显示调节的方法及系统

技术领域

本发明涉及显示技术领域，尤其涉及一种跟踪脸部移动的显示调节的方法及系统。

背景技术

随着科技的进步与发展，具有显示功能的设备（如电视、电脑、平板等移动终端设备）已渗入到人们的日常生活和工作中。生活中人们利用这些显示设备娱乐，工作中人们利用这些显示设备进行着各行各业的工作。但目前，PC机、平板电脑、笔记本电脑等常用电子设备的显示屏幕是相对固定的，人们使用的时候必须长时间保持某一姿势、角度或距离，当人们的姿势、角度或距离发生变化时，需要使用者每次对屏幕手动调节，费时费力。

有鉴于此，现有技术有待改进和提高。

发明内容

鉴于现有技术的不足，本发明目的在于提供一种跟踪脸部移动的显示

调节的方法及系统，以解决现有技术中显示屏幕不能根据用户的使用姿态自动调节的技术问题。

本发明的技术方案如下：

一种跟踪脸部移动的显示调节的方法，其中，包括：

A、启动初始化，采集用户的面部图像；

B、在面部图像中查找基准平面，检测面部基准平面与显示平面的相对位置变化量；

C、判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集。

所述跟踪脸部移动的显示调节的方法，其中，在所述步骤A之前还包括：

A0:设置目标相对位置信息及相对位置变化量的阈值范围。

所述跟踪脸部移动的显示调节的方法，其中，所述步骤B具体包括：

B1、获取用户面部图像的面部特征，根据特征位置点确定面部基准平面；

B2、检测面部基准平面与显示平面的相对位置，与设定的目标相对位置信息进行对比并得到面部基准平面与显示平面的相对位置变化量。

所述跟踪脸部移动的显示调节的方法，其中，所述步骤B1具体包括：

B11、获取用户面部图像的面部特征并判断所述面部特征是否为首次采集的面部图像；

B12、若为首次采集的面部图像，对所述面部图像进行特征分析，根据特征分析结果选取特征位置点并确定面部基准平面；

B13、若为非首次采集的面部图像，则根据设定的特征位置点对所述面部基准平面进行查找。

所述跟踪脸部移动的显示调节的方法，其中，通过角度、方向和距离表示所述面部基准平面与显示平面的相对位置。

所述跟踪脸部移动的显示调节的方法，其中，

所述角度为面部基准平面与显示平面的夹角；

所述方向包括左右平移和上下平移；

所述距离为面部基准平面与显示平面区域中心点的距离。

一种跟踪脸部移动的显示调节的系统，其中，所述系统包括：

面部图像采集模块，用于在启动初始化时，采集用户的面部图像；

图像处理模块，用于在面部图像中查找基准平面，检测面部基准平面与显示平面的相对位置变化量；

阈值判断模块，用于判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集。

所述跟踪脸部移动的显示调节的系统，其中，所述系统还包括：

设置模块，用于设置目标相对位置信息及相对位置变化量的阈值范围。

所述跟踪脸部移动的显示调节的系统，其中，所述图像处理模块具体包括：

基准平面确认单元，用于获取用户面部图像的面部特征，根据特征位置点确定面部基准平面；

相对位置检测单元，用于检测面部基准平面与显示平面的相对位置，与设定的目标相对位置信息进行对比并得到面部基准平面与显示平面的相对位置变化量。

所述跟踪脸部移动的显示调节的系统，其特征在于，

所述基准平面确认单元具体包括：

首次判断单元，用于获取用户面部图像的面部特征并判断所述面部特征是否为首次采集的面部图像；

第一基准平面单元，用于若为首次采集的面部图像，对所述面部图像进行特征分析，根据特征分析结果选取特征位置点并确定面部基准平面；

第二基准平面单元，用于若为非首次采集面部图像，则根据设定的特征位置点对所述面部基准平面进行查找。

有益效果：本发明提出了一种跟踪脸部移动的显示调节的方法及系统，

利用设备的摄像头对用户面部图像进行采集，并对面部图像进行图像处理及几何分析，以面部三点确定的基准平面得到相对位置变化量，根据该相对变化量对显示屏进行自动的跟踪调节，以达到自动调节显示的目的，而不需要用户在每次的姿势发生变化时对屏幕进行手动调节，方便用户使用。

附图说明

图1为本发明提供的跟踪脸部移动的显示调节的方法的流程图。

图2为本发明提供的相对位置变化量曲线示意图。

图3为本发明提供的跟踪脸部移动的显示调节的方法应用实施例流程图。

图4为本发明提供的跟踪脸部移动的显示调节的系统的结构框图。

具体实施方式

本发明提供了一种跟踪脸部移动的显示调节的方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明采用闭环控制系统，通过设定的阈值对相对位置变化量进行判断，从而触发运动控制系统进行调节，以达到自动调节显示的目的。如图1所示，为本发明的跟踪脸部运动的显示调节的方法的流程图，包括：

S1、启动初始化，采集用户的面部图像；

S2、在面部图像中查找基准平面，检测面部基准平面与显示平面的相对位置变化量；

S3、判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集。

本实施例中，需要根据将检测到面部基准平面与显示平面的相对位置比较得到用户与显示平面的相对位置的变化量（或偏差量），因此，需要设置目标相对位置进行对比。目标相对位置包括角度、方向、距离三个量。

在阈值判断的过程中，需要将面部基准平面与显示平面的相对位置变化量和相对位置变化量的阈值进行比较判断，在此之前应该设置相对位置变化量阈值范围。本发明是在一定范围内进行自动跟踪的显示调节，而并不是无限制的显示调节，因此阈值设置为一个双阈值，即一个区域包含上限和下限，下限的目的是防止动作幅度较小，造成显示调节的频繁操作动作；上限是机械运动调节的最大范围。

本实施例中，所述步骤S1具体包括：

移动终端为显示功能的设备，且该移动终端具有摄像功能。利用设备的摄像功能进行面部图像的采集。首先完成设备的初始化过程，并读取用户设定的目标相对位置信息，进入面部图像的采集。在面部图像采集的过程中，是通过图像采集周期进行周期性采集的。该采集周期可以是用户设定的，也可以是设备默认的采集周期。采集周期时间的长短决定了显示屏幕调节的频率。例如：在时间段5s-7s间满足调节显示屏幕的条件时，如果采集周期为1s，则对显示屏幕进行两次调节；如果采集周期为2s，则仅对显示屏幕进行一次调节。

进一步的，步骤S2具体包括：

步骤21、获取用户面部图像的面部特征，根据特征位置点确定面部基准平面；

获取用户面部图像的面部特征并判断该面部特征是否为首次采集的面部图像。当完成用户面部图像采集后，需要对面部图像采集的次数进行判断，判断是否为首次面部图像采集。在移动终端中设置面部图像库，所述面部图像库存储所有运用该移动终端完成面部图像采集的用户面部图像。将采集的面部图像与面部图像库中的面部图像进行一一比对，当不匹配时为首次面部图像采集；当有匹配时，退出比对过程，并判定为不为首次面部图像采集。

基准平面是根据面部图像的三个或三个以上特征位置点所确定的。特征位置点可以是用户设定的三个特征位置点，用户可以设定双眼和鼻子，也可以是双眼和嘴巴，或其他三点及三点以上的组合。对用户设定的特征位置点可以进行一次或多次更改，但需提前设置，一旦面部跟踪功能启动，不允许中途进行面部特征位置点的修改，这样保证了在跟踪过程中确保面部基准平面的一致性。

特征位置点也可以以用户的面部图像处理结果为依据对特征位置点进行选取。面部图像处理结果后，该面部图像的面部特征有几个突出显著的点，我们可以将这几个突出显著的点选取为特征位置点。

若为首次采集的面部图像，对该面部图像进行特征分析，根据特征分析结果选取特征位置点并确定面部基准平面；

若为非首次采集的面部图像，则根据设定的特征位置点对该面部基准平面进行查找。

步骤22、检测面部基准平面与显示平面的相对位置，与设定的目标相对位置信息进行对比并得到面部基准平面与显示平面的相对位置变化量；

确定面部基准平面后，检测面部基准平面与显示平面的相对位置，通过角度、方向和距离表示两者间的相对位置。将相对位置检测结果与用户设定的目标相对位置信息进行对比，得到面部基准平面与显示平面相对位置变化量，该变化量作为阈值判断模块的输入。

所述角度为面部基准平面与显示平面的夹角

；从显示平面顺时针方向到面部基准平面的夹角定义为

。当夹角

时，两平面的角度

；当夹角

时，两平面的角度

。两平面间的角度

。

所述距离为面部基准平面与显示平面区域中心点的距离。

所述方向包括左右平移和上下平移；方向的上下平移是相对于面部基准平面与显示平面区域中心点的距离而言，当该距离减小时即向下平移；当该距离增大时即向上平移。左右平移是相对于垂直与面部基准平面的中心点平面而言的。

步骤S3具体包括：

在面部跟踪功能之前已经完成相对位置变化量阈值的设置，阈值范围为包含上限和下限的双阈值区域。对检测到的相对位置变化量进行阈值判断。该阈值范围包括角度、方向和距离三个双阈值区域。

将相对位置变化量与阈值范围进行判断，当检测到的相对位置变化量在设定的相对位置阈值范围内，则启动运动控制系统并进行相应的运动调整；

根据阈值判断的结果实现对运动控制系统的控制，只有相对位置变化量在相对位置阈值的范围内才会启动运动控制系统，否则，即使有变化量，屏幕也无法自动调节。这样设置下限阈值范围，是为了避免因为很小范围的变化量而过于频繁进行显示屏幕的调节，造成误操作并造成屏幕图像的不稳定。设置上限阈值范围，是为了避免在用户进行不正常的操作造成的大幅度变化量时进行不必要的屏幕调节。上限是机械运动调节的最大范围，本发明在一定范围内进行自动跟踪，并不是无限制跟踪。

当启动运动控制系统时，根据相对位置变化量的信息控制屏幕做出相应的运动控制，对显示屏幕进行调节，并返回步骤S1重新采集用户的面部图像，并进行后续的步骤，直到调节后相对位置变化量不在阈值范围内。运动控制的目的是使相对变化量逐渐降低到阈值下限以内，以达到相对平衡状态。关于如何设计显示运动系统不属于本发明研究范围，不做具体的限定。

当相对位置变化量处于阈值范围之外时，则继续进行面部图像的采集。

相对位置变化量处于阈值范围之外包括相对位置变化量大于阈值上限和相对位置变化量小于阈值下限两种情况。

通过相对位置变化量曲线示意图对相对位置变化量与运动控制系统的关系进行详细解释，如图2所示，为本发明提供的相对位置变化量曲线示意图，x轴为时间轴，y轴为相对位置变化量。0~t1，t2~t3段表示相对位置变化量过小，此时运动控制系统不被触发；t1~t2,t3~t4段表示运动变化量处于阈值范围内；运动控制系统被启动/触发，t1~t2阶段，运动控制启动后，变化量逐步降低，最后调节到阈值下限一下，达到稳定状态，而t3~t4阶段，运动变化量并未降低而是有波动地上升，表示在调节过程中，用户始终在往调节相反的方向变化，最后超出了调节的范围，即处在t4~t5的状态下，因此在t4~t5范围内，运动控制系统亦出于非启动状态。

如图3所示，为本发明提供的跟踪脸部移动的显示调节的方法的实施流程图，通过一个实施例对该方法的流程进行介绍。本发明针对用户开启自动显示调节功能的前提下进行研究的，如用户不开启该功能不属于本发明的研究范畴。

当启动面部跟踪功能时，该跟踪脸部移动的显示调节的方法过程开始。

S01、初始化，读取用户设定目标相对位置信息，进入步骤S11;

S11、面部图像采集;面部图像采集过程具体如上所述,进入步骤S21;

S21、判断是否为首次采集面部图像；

当为首次面部图像采集，进入步骤S22;当为非首次面部图像采集时，进入步骤

;

S22、根据用户设定的三个特征点位置对基准平面进行查找，进入步骤S23；

、对面部图像进行特征分析，根据特征分析结果确定基准平面,进入步骤S23；

S23、检测两个平面相对位置的角度、距离、方向，计算相对变化量,进入步骤S24；这里的两个平面指的是面部基准平面和显示平面。

S24、判断相对位置变化量是否在阈值范围内；

当相对位置变化量在相对位置阈值范围内时，进入步骤S31;当相对位置变化量在相对位置阈值范围外时，则进入步骤S11，继续进行面部图像的采集。

S31、启动运动控制系统，调节显示，并进入步骤S11。

当进行显示屏幕的调节后，进行返回到步骤S11，按照上述步骤进行循环，运动控制系统的调节过程直到相对位置变化量不在阈值范围内停止。

基于上述提供的一种跟踪脸部移动的显示调节的方法，如图4所示，

本发明还提供了一种跟踪脸部移动的显示调节的系统，所述系统包括：

面部图像采集模块100，用于在启动初始化时，采集用户的面部图像；

图像处理模块200，用于在面部图像中查找基准平面，检测面部基准平面与显示平面的相对位置变化量；

阈值判断模块300，用于判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集。

所述系统还包括：

设置模块，用于设置目标相对位置信息及相对位置变化量阈值范围。

所述图像处理模块200具体包括：

基准平面确认单元210，用于获取用户面部图像的面部特征，根据特征位置点确定面部基准平面；

相对位置检测单元220，用于检测面部基准平面与显示平面的相对位置，与设定的目标相对位置信息进行对比并得到面部基准平面与显示平面的相对位置变化量。

所述基准平面确认单元具体包括：

第二基准平面单元，用于若为非首次采集的面部图像，根据设定的特征位置点对所述面部基准平面进行查找。

综上所述，本发明公开的一种跟踪脸部移动的显示调节的方法及系统，设置下限阈值范围，是为了避免因为很小范围的变化量而过于频繁进行显示屏幕的调节，造成屏幕图像的不稳定，设置上限阈值范围，是为了避免在用户进行不正常的操作造成的大幅度变化量时进行不必要的屏幕调节；运动控制的目的是使相对变化量逐渐降低到阈值下限以内，以达到相对平衡状态；根据用户在一定范围内的面部的角度、距离和方向的变化，对显示器进行自动的跟踪调节，达到自动调节显示的目的，而不需要用户在每次的姿势发生变化时对屏幕进行手动调节。

上述功能模块的划分仅用以举例说明，在实际应用中，可以根据需要将上述功能分配由不同的功能模块来完成，即划分成不同的功能模块，来完成上述描述的全部或部分功能。

本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机（移动终端）程序来指令相关的硬件完成，所述的计算机（移动终端）程序可存储于一计算机（移动终端）可读取存储介质中，程序在执行时，可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种跟踪脸部移动的显示调节的方法，其特征在于，包括：

A、启动初始化，采集用户的面部图像；

所述步骤B具体包括：

B2、检测面部基准平面与显示平面的相对位置，与设定的目标相对位置信息进行对比并得到面部基准平面与显示平面的相对位置变化量；

其中，通过角度、方向和距离表示所述面部基准平面与显示平面的相对位置；所述角度为面部基准平面与显示平面的夹角；

所述方向包括左右平移方向和上下平移方向；

所述距离为面部基准平面与显示平面区域中心点的距离；

C、判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集；

其中，所述阈值范围为包括上限和下限的双阈区域，以对检测到的相对位置变化量进行阈值判断；其中，所述阈值范围包括角度、方向和距离三个双阈值区域。

2.根据权利要求1所述跟踪脸部移动的显示调节的方法，其特征在于，在所述步骤A之前还包括：

A0:设置目标相对位置信息及相对位置变化量的阈值范围。

3.根据权利要求1所述跟踪脸部移动的显示调节的方法，其特征在于，所述步骤B1具体包括：

4.一种跟踪脸部移动的显示调节的系统，其特征在于，所述系统包括：

所述图像处理模块具体包括：

相对位置检测单元，用于检测面部基准平面与显示平面的相对位置，与设定的目标相对位置信息进行对比并得到面部基准平面与显示平面的相对位置变化量；其中，通过角度、方向和距离表示所述面部基准平面与显示平面的相对位置；所述角度为面部基准平面与显示平面的夹角；

所述方向包括左右平移方向和上下平移方向；

所述距离为面部基准平面与显示平面区域中心点的距离；

阈值判断模块，用于判断相对位置变化量是否在阈值范围内：若是，则启动运动控制系统并进行相应的运动调整；否则，则继续进行面部图像的采集；

5.根据权利要求4所述跟踪脸部移动的显示调节的系统，其特征在于，所述系统还包括：设置模块，用于设置目标相对位置信息及相对位置变化量的阈值范围。

6.根据权利要求4所述跟踪脸部移动的显示调节的系统，其特征在于，

所述基准平面确认单元具体包括：