CN110764859B

CN110764859B - 一种对屏幕可视区域进行自动调整及优化显示的方法

Info

Publication number: CN110764859B
Application number: CN201910999655.7A
Authority: CN
Inventors: 张亮亮; 黄芳勤; 柳艳; 马俊青; 凌霄
Original assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Current assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2023-06-02
Anticipated expiration: 2039-10-21
Also published as: US11455033B2; US20210116996A1; CN110764859A

Abstract

本申请公开了一种对屏幕可视区域进行自动调整及优化显示的方法，包括：根据人脸识别算法确定观众与屏幕的位置信息，根据人眼视角范围算法确定所述观众的最佳可视区域；根据确定的所述最佳可视区域，将所述屏幕的可视区域调整为最适合所述观众观看的尺寸及布局。本申请还公开了一种对应的设备。应用本申请公开的技术方案，能够改善用户使用带屏电子设备的观看体验及舒适性，增强人机交互的便捷性和友好性，并降低整体渲染成本。

Description

一种对屏幕可视区域进行自动调整及优化显示的方法

技术领域

本申请涉及智能设备技术领域，特别涉及一种对屏幕可视区域进行自动调整及优化显示的方法。

背景技术

随着各类电子产品的普及，人们对使用电子产品的舒适度以及人机交互的友好便捷性要求越来越高。但是在实际生活中，还是会存在一些场景让我们觉得体验不够舒适或者人机交互不够友好，操作不够便捷等。

比如大屏电子设备，如三星The Wall TV，具有超大显示屏幕。但是，在用户的使用过程中可能存在以下问题：

如果用户离得比较近，就有可能看不到整个屏幕，只能看到其中一小部分，导致用户的观看体验下降；

此外，通常界面菜单UI的大小会和屏幕实际大小成一定比例设计，如果屏幕比较大，那么整个菜单UI也会很大，用户想要近距离使用touch操作则比较困难，甚至够不到最上面的菜单，使得人机交互体验大打折扣。

对于上述问题，传统的分屏设计只是简单地将屏幕分成两屏或四屏等，比较单调，也难以满足用户多样化的使用环境及舒适便捷的使用需求；已有产品中UI界面大小及布局在确定好后一般都是固定不变的，不会随着用户位置的变化而变化，也无法始终保持为用户提供最便捷的操作。此外，如果针对用户视觉聚焦的地方不做增强渲染处理，则观看体验不佳；而如果直接对全屏进行高质量渲染以提高观看质量，势必会造成剩余大范围的用户非关注区域的无用渲染，增加了成本。

现有技术中没有一款产品可以满足以上所有需求。综上所述，需要提供一种根据观众观看环境自适应调整屏幕、UI大小及布局，并可以自动优化显示的技术方案。

发明内容

本申请提供了一种对屏幕可视区域进行自动调整及优化显示的方法，以改善用户使用带屏电子设备的观看体验及舒适性。

本申请提供了一种对屏幕可视区域进行自动调整及优化显示的方法，包括：

根据人脸识别算法确定观众与屏幕的位置信息，根据人眼视角范围算法确定所述观众的最佳可视区域；

根据确定的所述最佳可视区域，将所述屏幕的可视区域调整为最适合所述观众观看的尺寸及布局。

较佳的，所述根据人脸识别算法确定观众与屏幕的位置信息，根据人眼视角范围算法确定所述观众的最佳可视区域具体包括：

通过人脸识别算法确定当前是单个观众观看、至少两个观众位置集中观看还是至少两个观众位置分散观看的情况；

对于至少两个观众位置集中观看的情况，对所述至少两个观众的位置进行集中定位，并根据所述集中定位的位置，确定对应的最佳可视区域；

对于至少两个观众位置分散观看的情况，对所述屏幕进行分屏，使得不同观众分别对应不同的分屏，并在不同的分屏中确定对应于相应观众的最佳可视区域。

较佳的，该方法还包括：

对于分屏的情况，在不同的分屏中播放相同或不同的内容，并通过不同的声音播放设备对所述不同的内容的声音进行区分。

较佳的，该方法还包括：

根据所述可视区域的尺寸及布局，确定所述可视区域中的用户交互UI界面的显示位置和布局，使所述UI界面适于对应的观众操作。

较佳的，该方法还包括：

根据所述观众的位置移动，调整对应的UI界面的显示位置和布局，使所述UI界面适于对应的观众操作。

较佳的，该方法还包括：

针对不同的观众，分别保存所述观众与屏幕之间的最佳距离以及屏幕尺寸和布局信息；

当识别到所述观众在观看所述屏幕时，根据保存的信息，将对应于所述观众的最佳距离以及屏幕尺寸和布局信息推荐给所述观众。

较佳的，该方法还包括：

根据所述观众的位置移动，调整对应的可视区域的尺寸及布局，使所述可视区域适于对应的观众观看。

较佳的，对于至少两个观众的情况，当所述观众的位置移动使得不同观众的可视区域的屏幕出现重叠时，该方法采用以下的至少一种处理方式：

当第一观众向第二观众移动，且第二观众保持不动时，保持对应于所述第二观众的分屏保持显示，并使对应于所述第一观众的分屏在所述屏幕上消失；

当第一观众向第二观众移动，且第二观众向第一观众移动时，将所述第一观众和所述第二观众中移动速度较慢的观众所对应的分屏保持显示，并将所述第一观众和所述第二观众作为至少两个观众位置集中观看的情况，调整所述保持显示的分屏的尺寸及布局。

较佳的，该方法还包括：

通过人眼聚焦算法获取所述观众在所述屏幕上所关注的区域，对所述观众关注的区域加强渲染质量，并淡化所述观众非关注区域的渲染质量。

本申请还公开了一种对屏幕可视区域进行自动调整及优化显示的设备，包括：识别定位系统和可视区域控制系统；其中：

所述识别定位系统，用于根据人脸识别算法确定观众与屏幕的位置信息，根据人眼视角范围算法确定所述观众的最佳可视区域，并提供给所述可视区域控制系统；

所述可视区域控制系统，用于根据所述识别定位系统确定的所述最佳可视区域，将所述屏幕的可视区域调整为最适合所述观众观看的尺寸及布局。

较佳的，所述识别定位系统具体包括以下模块的至少一种：

单目标定位模块，用于通过人脸识别算法确定单个目标观众的人脸和位置信息，并根据人眼视角范围算法确定所述观众的最佳可视区域，提供给所述可视区域控制系统；

集中多目标定位模块，用于通过人脸识别算法识别至少两个目标观众，将所述至少两个目标观众视为一个整体，根据整体目标中多人的人脸进行集中识别与定位，并根据人眼视角范围算法确定所述观众的最佳可视区域，提供给所述可视区域控制系统；

分散多目标定位模块，用于通过人脸识别算法识别至少两个目标观众，将所述至少两个目标观众识别为分散目标，并分别对各个目标观众进行所述单目标定位模块和集中多目标定位模块的处理，并将结果提供给所述可视区域控制系统；

关注区域识别模块，用于根据人眼聚焦算法得到所述目标观众主要关注的区域，并将结果提供给所述可视区域控制系统。

较佳的，所述可视区域控制系统具体包括以下模块的至少一种：

随动播放区域模块，用于在所述可视区域进行播放，并根据所述识别定位系统提供的信息调节所述可视区域的尺寸及布局，使所述可视区域适于对应的观众观看；

随动UI菜单模块，用于在对应的可视区域显示对应的UI界面，并根据所述识别定位系统提供的信息调整对应的UI界面的显示位置和布局，使所述UI界面适于对应的观众操作；

画面增强区域模块，用于根据所述识别定位系统提供的信息，对所述观众关注的区域加强渲染质量；

画面淡化区域模块，用于根据所述识别定位系统提供的信息，对所述观众非关注的区域淡化渲染质量；

分屏模块：用于根据所述识别定位系统提供的信息，对所述屏幕进行分屏显示，使得不同观众分别对应不同的分屏，并在不同的分屏中确定对应于相应观众的最佳可视区域。

由上述技术方案可见，本申请提供的技术方案具有以下优点：

1.本发明充分考虑了用户视觉范围大小，能够始终给用户提供最佳的观看体验。

2.本发明充分利用用户位置信息，根据人脸、人眼算法得到用户可视区域大小，并根据该可视区域大小对UI大小进行调整并重新布局；同时考虑到UI界面具有随动性，本发明根据用户位置的移动，始终将用户需要操作的菜单UI呈现在用户面前，使得人机互动性得到了大幅度提升。

3.本发明充分利用用户和界面之间的最佳观看、操作比例，在同一设备针对不同用户分别推荐最佳观看距离以及大小布局等。

4.本发明充分考虑到了屏幕渲染成本，通过对用户的人眼聚焦区域进行识别，得到用户关注区域大小，并对该关注区域的画面增强渲染质量，同时降低其余区域的渲染质量。通过该技术手段，不仅提升了用户关注区域的画面质量，同时也降低了整体渲染成本。

附图说明

图1为本申请对屏幕可视区域进行自动调整及优化显示的方法的示意图；

图2为本申请设备中识别定位系统的模块组成示意图；

图3为本申请设备中可视区域控制系统的模块组成示意图；

图4为本申请实施例一对屏幕可视区域进行自动调整及优化显示的方法示意图；

图5为本申请实施例二对屏幕可视区域进行自动调整及优化显示的方法示意图；

图6为本申请实施例三根据用户的使用习惯进行优化显示的示意图；

图7为本申请实施例四中大型显示设备的优化显示示意图；

图8为本申请实施例五中大型显示设备的人机交互示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

在实现本发明的过程中，发明人主要围绕以下技术问题对现有技术进行改进：

1.如何区分一个观众、集中的多位观众以及分散的多位观众，并准确识别定位。

2.如何确保可视区域以及UI界面及布局(layout)始终跟随观众，并进行自适应调整。

3.多人观看时采用分屏处理，如何处理多屏幕在随动过程中出现的融合问题。

为解决上述技术问题，本申请提出了一种对屏幕可视区域进行自动调整并优化显示的方法，该方法主要基于人脸识别、人眼识别及其位置定位，对可视区域大小、UI大小及其布局进行自动调整并优化显示。具体而言，本发明方法包括以下步骤：

首先，根据人脸识别算法确定观众与屏幕的位置信息，根据人眼视角范围算法确定所述观众的最佳可视区域；

然后，根据确定的所述最佳可视区域，将所述屏幕的可视区域调整为最适合所述观众观看的尺寸及布局，保证整个可视区域始终在人眼视觉范围内，提高用户观看体验。

其中，所述根据人脸识别算法确定观众与屏幕的位置信息，根据人眼视角范围算法确定所述观众的最佳可视区域具体包括：

对于至少两个观众位置分散观看的情况，对所述屏幕进行分屏，使得不同观众分别对应不同的分屏，并在不同的分屏中确定对应于相应观众的最佳可视区域。对于分屏的情况，在不同的分屏中可以播放相同或不同的内容，并通过不同的声音播放设备对所述不同的内容的声音进行区分。

在上述方案的基础上，本发明还从以下几个方面提供了进一步增强的技术方案，从而使本发明技术方案达到更优的技术效果：

A、将操作菜单(即：UI界面)也根据屏幕大小进行相应的调整，并调整UI布局，以提高人机交互体验。具体而言：根据可视区域的尺寸及布局，确定可视区域中的UI界面的显示位置和布局，使UI界面适于对应的观众操作。

B、将设备的可视区域、UI位置根据用户的位置移动进行相应的调整，使之具有跟随性。具体包括：

根据所述观众的位置移动，调整对应的UI界面的显示位置和布局，使所述UI界面适于对应的观众操作；

C、通过人眼聚焦算法获取观众在屏幕上所关注的区域，对观众关注的区域加强渲染质量，并淡化观众非关注区域的渲染质量。这样做不仅增强了用户体验，而且也降低了屏幕整体渲染的成本。

D、记录用户与屏幕之间的最佳观看、操作比例，并在下次启动设备时，针对不同用户给予相应的推荐，使得用户可直接进入最佳观看、操作模式。具体而言：针对不同的观众，分别保存所述观众与屏幕之间的最佳距离以及屏幕尺寸和布局信息；当识别到所述观众在观看所述屏幕时，根据保存的信息，将对应于所述观众的最佳距离以及屏幕尺寸和布局信息推荐给所述观众。

E、对于至少两个观众的情况，当观众的位置移动使得不同观众的可视区域的屏幕出现重叠时，可以采用以下的至少一种处理方式进行处理：

对应于上述方法，本申请还提供了一种对屏幕可视区域进行自动调整及优化显示的设备，该设备包括：识别定位系统和可视区域控制系统；其中：

所述识别定位系统，用于采用人脸识别算法以及观众与屏幕的位置信息，确定所述观众的最佳可视区域，并提供给所述可视区域控制系统；

本发明设备中的识别定位系统的模块组成如图2所示，具体包括以下模块的至少一种：

本发明设备中的可视区域控制系统的模块组成如图3所示，具体包括以下模块的至少一种：

下面结合几个较佳实施例对本发明提供的技术方案进行进一步详细说明。

实施例一：

本实施例的实施流程如图4所示，包括以下步骤：

步骤1：判断是否开启自动调整模式，如果没有开启，则结束本流程，否则，继续执行步骤2。

步骤2：进行人物位置识别。

步骤3：判断当前是否为多目标观众的情况，如果不是多目标观众的情况，则进行单目标定位，并跳到步骤4；如果是多目标观众的情况，则分别对集中多目标观众和分散多目标观众的情况进行集中多目标定位或分散多目标定位，然后跳到步骤4。其中，对于分散多目标观众的情况还需要判断是否需要分屏，在需要分屏时，进行分屏显示相关的处理。

步骤4：根据人眼视角范围算法调整可视区域大小。

步骤5：根据人眼聚焦区域对不同的区域进行着重渲染或淡化渲染。

步骤6：判断观众是否发生水平移动，如果观众发生了水平移动，则将可视区域进行相应的随动处理，并采用如前所述的屏幕融合处理方案进行相应的处理，并返回继续本步骤的判断；如果观众没有发生水平移动，则继续执行步骤7。

步骤7：判断观众是否发生垂直移动，如果观众发生垂直移动，则返回步骤4；否则，保持当前观看状态，并返回步骤6。

实施例二：大型电视(如三星The Wall TV)可视区域的自动调整、随动、分屏和屏幕叠加处理方案。

本实施例中基于目标人物人脸、人眼识别及定位对可视区域进行自动调整大小、布局和优化显示的方法如图5所示，具体实施如下：

1.根据目标人物人脸、人眼识别及定位，确定目标个数和定位位置以及用户可视区域大小以及主要关注区域范围。以图5为例，识别到3个目标观众，分别标记为观众1、观众2和观众3，其各自的可视区域范围如图所示。

2.根据目标个数决定是否需要分屏显示，以及如何分屏；当观众位置发生改变时，再分别根据目标信息(即观众的信息)对可视区域的大小及布局进行调整。如图5中，在初始状态下，观众1对应屏幕A，观众2对应屏幕B，观众3对应屏幕C。

当观众2向观众3的位置移动时，由于观众3的位置距离屏幕更近，随着观众与设备屏幕之间位置的缩短，可视区域的大小及布局也需要进行相应的调整，以始终保持可视区域大小与用户距离间的最佳比例，给用户最佳观看体验。

3.可视区域位置具有随动性，需要跟随用户位置的移动而移动，使其始终处于用户最佳观看位置上。当观众移动到出现屏幕重叠时，例如：图5中观众1向观众2移动过程中出现屏幕重叠时，则参考表1中的屏幕融合处理策略进行处理。

表1

4.对图5中的观众1和观众3，分别记录用户首次适配的最佳观看距离及可视区域大小和布局等信息，当下次识别到观众1或观众3时，直接通过该观众对应的信息推荐最适合其观看或操作的最佳距离以及可视区域的大小布局等设置。

实施例三：手机或冰箱等小型显示设备的UI自动调整。

本实施例的具体实施如下：

1.根据目标人物人脸、人眼识别及距离定位，记录用户身份信息以及对设备的使用习惯信息等，并据此调整UI界面的显示。

比如有些用户习惯远距离看手机或者有些用户视力不好，这种情况下，UI最好能显示得大一点，便于用户观看，如图6右侧设备的菜单界面所示。而有些用户习惯近距离使用手机，这时需要合理显示UI，在保证用户观看清晰的情况下尽可能在一个屏幕上显示较多的内容，如图6左侧设备的菜单界面所示。

2.首次使用设备时，可通过获取的用户位置信息推荐UI大小与UI布局，或者通过用户自定义的方法设置UI大小与UI布局。

3.再次使用设备时，通过用户身份识别，获取用户使用UI的习惯信息等分别给不同用户呈现最舒适的UI界面，提高人机交互体验。

4.设备还可以根据用户距离信息，合理地提示用户拉近或拉远距离，以保护视力。

实施例四：大型电视(如三星The Wall TV)的优化显示。

参见图7，本实施例的具体实施如下：

对于大型可视化屏幕，首先，通过人眼聚焦区域识别获取用户主要关注区域为区域A，然后，对该区域A的画面增强渲染质量，而对除区域A之外的非关注区域B淡化渲染质量。

通过上述渲染处理，不仅提升了用户关注区域的画面质量，同时也降低了整体渲染成本。

实施例五：大型电视(如三星The Wall TV)便捷的人机交互体验。

参见图8，针对大型显示设备，比如三星The Wall，整面墙都是电视屏幕的情况，人机交互方式可以多样化，具体实施如下：

1.当用户在较远处操作电视时，可以使用语音或遥控等设备对电视进行控制，此时，本实施例将菜单UI的尺寸调大(如图8中间部分所示)，从而使菜单UI显示得较大，以便于用户观看和操作。

2.当用户近距离使用触屏方式操作菜单时，如果菜单UI还保持如图8中间部分所示的原始大小就显得不合适了，此时，本实施例中的智能设备根据用户位置、身高等信息自适应调整UI大小及其布局，例如：将菜单UI的尺寸调小，并显示在屏幕的左下角或右下角，从而保证人机交互的友好性及便捷性。

3.本实施例所提供的菜单UI具有随动性，可以随着用户位置的移动改变自身位置，从而时刻保持UI在用户触手可及的地方，方便用户操作，增加人机交互体验。

本发明提供的基于人脸、人眼识别及定位对可视区域进行自动调整大小、布局并优化显示的技术方案，区别于已有的屏幕可视区域固定或部分固定显示的方案，本发明可根据人脸、人眼的识别和定位信息得到用户最佳视觉范围大小，并通过调整可视区域大小与之保持一致；而且，随着可视区域大小的变化，除了调整界面UI的大小随之变化以外，对其UI布局也进行相应调整，从而保证了人机交互的友好性及便捷性。

此外，本发明通过区分单用户、集中观看的多用户以及分散观看的多用户情形，把集中多用户当成一个整体进行视觉范围大小识别，对分散多用户分别进行识别并对整体屏幕进行合理分屏；分屏后不同用户可以选择观看同一视频，也可以选择不同视频，不同的声源可以采用耳机等设备区分；本发明中可视区域及其UI界面具有跟随性，可以随着用户位置的改变而改变，以提高人机交互体验；针对屏幕随动过程中出现的屏幕融合问题，本发明提出了屏幕融合解决方案。除此之外，智能设备还通过保存用户与设备之间设置的最佳距离值以及对应的可视区域大小、布局等信息，可以针对不同用户作对应的推荐，让每个用户都能得到最佳观看体验；根据人眼识别等算法得到用户关注区域大小，对该区域加强渲染质量，同时降低其他区域的渲染质量，可以增强观看效果，降低整体渲染成本。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种对屏幕可视区域进行自动调整及优化显示的方法，应用于如果用户离得比较近，就有可能看不到整个屏幕的大屏电子设备，其特征在于，包括：

根据确定的所述最佳可视区域，将所述屏幕的可视区域调整为最适合所述观众观看的尺寸及布局；

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

3.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

4.根据权利要求3所述的方法，其特征在于，该方法还包括：

5.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

6.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

7.根据权利要求6所述的方法，其特征在于，对于至少两个观众的情况，当所述观众的位置移动使得不同观众的可视区域的屏幕出现重叠时，该方法采用以下的至少一种处理方式：

8.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

9.一种对屏幕可视区域进行自动调整及优化显示的设备，所述设备是大屏电子设备，如果用户离得比较近，就有可能看不到整个屏幕，其特征在于，包括：识别定位系统和可视区域控制系统；其中：

所述可视区域控制系统，用于根据所述识别定位系统确定的所述最佳可视区域，将所述屏幕的可视区域调整为最适合所述观众观看的尺寸及布局；

其中，所述识别定位系统具体包括以下模块的至少一种：

10.根据权利要求9所述的设备，其特征在于，所述可视区域控制系统具体包括以下模块的至少一种：