CN113495614A - 根据脸部特征设定装置显示方式的方法与其电子装置 - Google Patents

Abstract

一种根据脸部特征设定装置显示方式的方法与其电子装置，电子装置设有摄像单元，用以取得使用者的脸部图像，之后可通过脸部器官的位置判断出使用者观看显示画面的相对角度，之后，根据使用者的眼睛观看的角度以及电子装置显示画面时的状态提供一转向信息，可以根据此转向信息通过显示单元控制显示画面为直向显示或横向显示，或是可通过控制电子装置的驱动机构，让电子装置转向一显示角度。

Description

根据脸部特征设定装置显示方式的方法与其电子装置

技术领域

说明书公开一种设定电子装置画面转向的技术，特别是一种根据脸部特征而修正装置画面转向的方法与执行此方法的电子装置。

背景技术

使用者通常会依照喜好或是图像的特性而以直式(landscape mode)或横式(portrait mode)画面观看行动装置(如手机、平板计算机)的显示内容，举例来说，行动装置在一般操作状态常见的是直式的显示模式，但是看影片时，常会让行动装置以横式转向来观看，但若是直式的照片，就会让行动装置摆直的观看照片。

因此，在现有技术中，行动装置中的软件程序会应用行动装置中以加速度计实现的重力传感器判断使用者操作行动装置的转向，重力传感器设计时会设定一朝向地心方向的参考轴，当感测出行动装置的姿态(pose)时，可以将感测出装置的方向与参考轴比较后得出一个转向角度，提供给控制屏幕转向的软件程序，根据系统默认的一个转向阈值判断出适合使用者观看内容的屏幕显示模式。

举例来说，当将行动装置横放时，控制屏幕转向的软件程序根据重力传感器提供的感测数值将屏幕自动转到横式的画面；反之，若行动装置在垂直使用时，则屏幕转到直式画面。

不过，现有技术仅参考行动装置使用状态(直式或横式)即自动转动显示屏幕的方式，若未参考使用者身体的姿势，仍带来一些困扰，例如，当使用者躺着看手机或电视，若仅参考装置的方向，上述自动转向的机制反而产生观看不适的问题。

发明内容

为了解决现有装置中的屏幕自动转向功能无法符合在特定情况下需求的问题，说明书公开一种根据脸部特征设定装置显示方式的方法与执行此方法的电子装置，电子装置中运行此方法的主要步骤包括，先判断出使用者的眼睛观看电子装置中显示画面的相对角度，接着可根据使用者的眼睛观看的角度以及电子装置显示显示画面的状态提供一转向信息。

其中，根据一实施例，可以用电子装置的摄像机拍摄使用者的脸部图像，根据各器官特点辨识并定位出脸部器官，之后可根据定位的脸部器官判断使用者的眼睛位置，即取得观看该电子装置中的显示画面的相对角度。之后，根据电子装置显示显示画面的状态判断是否转向。

进一步地，若此电子装置为一手持装置，显示画面的状态为根据电子装置在三维空间中的倾斜角度所显示的直式或横式画面，当下判断出的眼睛的角度，以此取代电子装置中的感测数据，使得能参考眼睛位置提供转向信息，包括可以自动根据眼睛的角度让显示画面转向，或是提示使用者是否要转向的选择。

进一步地，当电子装置为一固定式装置，如电视，电子装置显示画面的状态为电子装置处于一稳定静止显示画面的状态，同样地，其中显示画面也是根据判断出的眼睛角度进行转向。

在另一实施例中，电子装置可以通过一驱动机构控制转向，因此，可以根据判断出使用者的眼睛角度驱动电子装置的整体机构进行转向。

根据实施例，电子装置如使用者手持的行动装置，或是安装于固定位置的显示器，其中可设有处理器、显示器、加速度传感器以及摄像单元。加速度传感器用以感测电子装置的状态以决定以直式或横式显示画面，一般是用来判断其中画面的转向，而方法是通过摄像单元取得使用者的脸部图像，通过辨识出其中器官位置而判断出使用者的眼睛观看显示画面的角度，以能根据使用者的眼睛观看的角度以及电子装置显示显示画面的状态提供一转向信息。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与图式，然而所提供的图式仅用于提供参考与说明，并非用来对本发明加以限制。

附图说明

图1显示根据脸部特征设定装置显示方式的情境示意图之一；

图2显示根据脸部特征设定装置显示方式的情境示意图；

图3显示根据脸部特征设定装置显示方式的情境示意图之二；

图4显示电子装置内主要电路的实施例方框图；

图5显示电子装置的方向与两眼方向的角度关系示意图；

图6显示根据脸部特征设定装置显示方式的方法实施例流程图；

图7显示根据脸部特征设定装置显示方式的情境示意图之三；

图8显示脸部器官位置的示意图；以及

图9显示根据脸部特征设定装置显示方式的情境示意图之四。

具体实施方式

以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的构思下进行各种修改与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。

应当可以理解的是，虽然本文中可能会使用到“第一”、“第二”、“第三”等术语来描述各种组件或者信号，但这些组件或者信号不应受这些术语的限制。这些术语主要是用以区分一组件与另一组件，或者一信号与另一信号。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。

在现行技术中，使用者手持电子装置(如移动电话、平板计算机等)观看其中图像时，其中运行的软件程序会参考图像(图片或影片)记载的属性，可根据记载于元数据(metadata)的信息判断图像为直式(landscape)或横式(portrait)，也通过电子装置内加速度传感器判断电子装置的装置方向，以此判断以直式或横式显示画面。当同时参考图像属性以及当下电子装置的装置方向，让电子装置上显示的画面可以自动转向。而此功能可以在不需要时被关闭。不过，当使用者在特定姿势时，自动转向功能反而不能够提供适当的观看方式，如此，为了让使用者在各种姿势可以从电子装置上观看到有适当转向的显示画面，本公开提出一种根据脸部特征设定装置显示方式的方法，以及执行此方法的电子装置，方法以脸部特征作为显示画面转向的依据，取代现有以装置内重力感知的方式判断画面转向的方式。

可先参考图1所示根据脸部特征设定装置显示方式的情境示意图。图中显示有一躺在床100上的使用者1，使用者1手持电子装置10，电子装置10具有自动转向功能，但是当使用者1处于横躺且又将电子装置10举起观看图像时，电子装置10中原本根据重力方向判断图像转向的功能可能反而提供不适合的转向，或是因为装置在特定状态下其中加速度传感器持续得到变动的方向信息，又使得画面不断转动产生不好的观看体验。

本公开所提出的方法主要是根据使用者的脸部特征来设定装置显示方式，如图2所示的情境示意图。

此例显示有一使用者1侧躺在床100上，手持电子装置10，如一移动电话，电子装置设有摄像机101。在使用者观看图像时，电子装置10被开启，其中运行的软件程序将驱动摄像机101拍摄使用者，特别是获取脸部图像，并能根据脸部器官特征辨识出几个器官，先根据外型定位出脸部，再根据特征辨识出眼睛、鼻子与嘴部等，可参考图8，可以直接识别出眼睛12的位置，或是通过其他器官判断出眼睛12的位置，两眼之间形成一个连接方向。在另一实施例中，图像处理方法还可辨识出脸部的其他对象，如眼镜，因此根据眼镜的位置也能判断出眼睛12位置。

根据脸部特征设定装置显示方式即在此技术下判断使用者的眼睛12位置，包括得出两眼连接方向，都可成为判断显示于电子装置10的画面的转向。举例来说，当判断出眼睛位置，可以得出使用者的眼睛观看显示画面的相对角度，之后可根据使用者的眼睛的相对角度以及电子装置显示显示画面的状态产生一转向信息。电子装置10显示显示画面的状态一般包括可以直式或横式方式显示显示画面，若当下电子装置10以直式方式显示画面，相对角度为两眼连接方向与电子装置10长边或宽边的装置方向之间的角度。

上图中显示的电子装置10可以为手机、平板计算机、笔记本电脑、头戴式显示器等携带式的装置，然而，特定实施例可以及于固定式的显示设备，如电视与桌面计算机，或是连接电视的影音装置，如机顶盒(Set Top Box)、影音播放器、数字串流装置等。此外，电子装置10还可包括内建或外接有摄像机的各式显示设备。

例如，可参考图3所示根据脸部特征设定装置显示方式的另一情境示意图，图中显示使用者1侧躺在床100上，这时观看固定式的电子装置30，如电视，电子装置30可设有摄像机31，可为内建或外接方式连接其中电路。

当使用者1以特定姿势(如侧躺)观看安装于固定位置的电子装置30所显示的内容时，电子装置30的摄像机31同样地可拍摄使用者1的图像，取得脸部图像后，可以判断得出眼睛12位置，通过软件运算可以得出双眼之间联机形成的连接方向，同时也取得两眼连接方向与电子装置30的装置方向之间的相对角度。此例中，电子装置30为电视，装置方向为水平方向。

此时，若使用者1站着或坐着观看电视，眼睛12方向也会是水平方向，(或同时有多个使用者一同观看)，经摄像机31拍摄图像、取得每个人的脸部图像并判断眼睛位置后，若大家眼睛方向一致，电视的装置方向也为水平方向，则不需要执行转向的判断。但当在特定姿势下的使用者1的两眼连接方向不是水平，将与装置方向具有一相对角度，若相对角度不大于一个预设的转向阈值，即不需要执行画面转向；反之，若相对角度大于此转向阈值，运行于电子装置30中软件程序将执行自动转向，使得转向后的画面比较适合当下使用者1的观看姿势。

图4显示电子装置内主要电路的实施例方框图。

电子装置40设有处理器401以及电性连接处理器401的几个主要电路组件。处理器401以软件手段运行根据脸部特征设定装置显示方式的方法，显示单元405用以产生显示画面，并受控于处理器401，当处理器401产生的转向信息显示要改变显示画面的转向，即控制显示单元405改变显示的画面。

电子装置40设有摄像单元409，运行根据脸部特征设定装置显示方式的方法时，持续地取得使用者的脸部图像，并能得出其中特征，目的是判断出使用者眼睛的位置，提供处理器401运算而判断使用者的眼睛观看显示画面的相对角度，并根据电子装置40目前显示显示画面的状态产生转向信息。

根据实施例，当电子装置40为手持装置，显示画面的状态为电子装置40以直式或横式方式显示显示画面的状态。当电子装置40为固定式装置，显示画面的状态为电子装置40处于一稳定静止状态下显示显示画面的状态。

在一实施例中，电子装置40仍可设有加速度传感器403，加速度传感器403根据重力方向可以判断电子装置40的装置方向在三维空间中与重力方向的角度，若配合陀螺仪407，还能知道方位(orientation)，这些都是可以协同方法实现设定显示画面方向的电路组件。

举例来说，电子装置40可为设有加速度传感器403的一种头戴式显示器(HMD)，可参考图7，配合陀螺仪407，可使得头戴式显示器随着使用者的头部运动，而得出使用者的眼睛观看显示画面的相对角度，进而控制显示画面的状态。

根据实施例，所提出的根据脸部特征设定装置显示方式的方法执行于特定电路系统中，例如执行于电子装置中的处理器401中，或可以特定集成电路实现。

本公开提出的根据脸部特征设定装置显示方式的方法主要是依据使用者眼睛的位置提供转向信息，判断眼睛位置的实施方式可参考图5所示电子装置的方向与两眼方向的角度关系示意图。

图中显示有电子装置50，其中可定义出几个方向，一般来说，显示在显示屏幕上的图像本身具有方向的属性，以照片为例，拍摄照片时，照相机提供了拍摄方向的信息，并储存在照片中的元数据中，使得电子装置50显示照片时，可以依照照片本身的方向属性(如图像方向501)，比对目前电子装置50的装置方向(如图式水平的装置方向502)，使得以一适当的方式显示照片。装置方向502主要是根据电子装置50中的加速度传感器所取得，此例以水平方向说明装置方向502，实际上并不限于此。

电子装置50上显示屏幕的画面一般会随着其在空间中的角度进行转向，而本公开所提出的方法则是取代现有驱使画面转向的方式，取而代之的是利用图像判断出眼睛的位置决定画面转向的方式。

此例显示当得出两眼连接方向503时，可以比对装置方向502，实施例可以水平或垂直方向为基准，得出一个相对角度θ，以相对角度θ判断显示画面转向的方式即取代现有以加速度感测方向判断画面转向的方式。

举例来说，行动装置上显示的用户接口会有水平和垂直两个模式，很多应用程序也会提供水平或垂直两个显示模式，或者，通过执行于行动装置中的软件程序也可以根据图像画面宽高比猜测画面方向，进而能根据上述相对角度θ决定显示画面的方式。另外，有些应用可以将图像中的画面与字幕分开，因此所提出的方法还可以仅将字幕转向，而不变动其中图像内容的方向。

图6显示根据脸部特征设定装置显示方式的方法实施例流程图。

执行于电子装置中的软件程序一开始可驱动摄像机取得使用者的脸部图像(步骤S601)，并能根据取得的图像与各种器官的特征定位脸部器官(步骤S603)，接着辨识眼睛的位置(步骤S605)，也就是能够根据眼睛的位置的相关信息，如两眼连接方向，进一步得出与电子装置的关系，例如取得连接方向与电子装置的装置方向之间的相对角度。

如步骤S607，通过软件程序得出电子装置显示画面的状态，根据所述实施例，当电子装置为手持装置，显示画面的状态为电子装置以直式或横式方式显示显示画面；当电子装置为固定式装置，显示画面的状态为电子装置处于稳定静止状态下显示显示画面的状态。

如此，经得出两眼连接方向与装置方向之间的相对角度后，如步骤S609，判断画面是否需要转向，产生电子装置显示画面的转向信息。之后，如步骤S611，可根据转向信息设定显示画面的方向，或是提示使用者是否要转向显示画面。其中，当设定显示画面的显示模式前，可先产生画面转向的提示信息，由使用者决定是否改变显示画面的角度。

图7显示根据脸部特征设定装置显示方式的另一情境示意图。

在虚拟现实(VR)的应用上，使用者7可穿戴头戴式显示器70体验虚拟现实，其中图像将随着头戴式显示器70中的加速度传感器、陀螺仪等感测电路所取得的信息进行变换，但是，当使用者7是以一特定姿势使用此头戴式显示器70观看图像，本公开所提出设定装置显示状态的方法将提供适当转向的画面。根据实施例，当使用者7躺下，一般来说显示画面可以随着使用者躺下一起转动，但让使用者7仍在躺下的状态下看到原本站着的画面一样。

根据实施例，使用者7可以在开始操作头戴式显示器70时，设定一个初始画面，通过根据脸部特征设定装置显示方式的方法可以让这个初始画面的方向不受到使用者躺下或其他姿势所改变，让画面一起随着使用者7的姿态而转向。运作时，头戴式显示器70随着使用者7的头部运动而得出使用者7的眼睛观看显示画面的相对角度，这个相对角度将决定显示画面是否转向，例如，由头戴式显示器70的处理器接收此转向信息后，可设定显示画面是以直式、横式或特定角度的显示模式，再通过头戴式显示器70的显示单元控制显示画面为直向显示或横向显示。

根据上述实施例可知，决定画面是否随着使用者姿势转向的主要依据之一是眼睛的位置，或是相关信息，如两眼连接方向。

如图8显示的脸部器官，当运行在电子装置中或是另一摄像机中的软件程序拍摄使用者的头部8，获取出脸部图像，可先根据轮廓定位出脸部位置，再根据脸部器官特征辨识出几个器官，此例显示如眼睛801、眼镜805、鼻子802以及嘴部803，这些信息可用以识别出眼睛801的位置，或是通过其他器官判断出眼睛801的位置，两眼之间形成一个连接方向，经比对电子装置的装置方向(相对装置的水平或垂直方向)，可以据此判断是否让画面转向。

图9显示当电子装置中的处理器接收到转向信息后，除了以软件方法改变显示画面的方向外，还可在特定机构设计下，控制电子装置的驱动机构转向一显示角度。

如图所示的电子装置90，例如是一个具有转向机构的电视或特定显示器，同样设有摄像机905，通过获取使用者9的脸部图像判断其中器官，特别是眼睛，使得驱动当中的驱动机构随着眼睛的位置(两眼连接方向)转向一个角度。图中显示一般状态一901的位置，以及随着使用者9两眼连接方向转向后的状态二902。

综上所述，说明书公开一种根据脸部特征设定装置显示方式的方法，以及实现此方法的电子装置，在电子装置中运行一软件程序，通过图像处理技术取得使用者的眼睛或其他可辨识眼睛观看角度的器官或特征，进而能够根据这些特征设定电子装置(显示设备)显示画面的方式，可以解决现有仅倚赖重力方向即决定图像显示方向方式的不足。而在特定的实施方式中，使用者可以通过电子装置中的软件程序决定是否关闭当中自动转向的功能，或可选择现有利用重力方向决定图像转向的功能，或可选择根据使用者眼睛位置决定转向的功能。

以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求范围，所以凡是运用本发明说明书及图式内容所做的等效技术变化，均包含于本发明的权利要求范围内。

【符号说明】

1:使用者

10:电子装置

100:床

12:眼睛

101:摄像机

30:电子装置

31:摄像机

40:电子装置

401:处理器

403:加速度传感器

405:显示单元

407:陀螺仪

409:摄像单元

50:电子装置

501:图像方向

502:装置方向

503:两眼连接方向

7:头部

70:戴式显示器

8:头部

801:眼睛

805:眼镜

802:鼻子

803:嘴部

90:电子装置

901:状态一

902:状态二

905:摄像机

9:使用者

步骤S601～S611根据脸部特征设定装置显示方式的流程。

Claims (10)

1.一种根据脸部特征设定装置显示方式的方法，该方法包括：

判断出一使用者的眼睛观看一电子装置中一显示画面的一相对角度；以及

根据该使用者的眼睛的该相对角度以及该电子装置显示该显示画面的状态产生一转向信息。

2.根据权利要求1所述的根据脸部特征设定装置显示方式的方法，其中，判断该使用者的眼睛观看该显示画面的该相对角度的方式包括：

以一摄像机拍摄该使用者的一脸部图像；

定位脸部器官；

根据定位的脸部器官判断该使用者的眼睛位置，取得两眼的一连接方向；以及

取得该连接方向与该电子装置的一装置方向之间的该相对角度。

3.根据权利要求2所述的根据脸部特征设定装置显示方式的方法，其中，当该电子装置为一手持装置，该显示画面的状态为该电子装置以直式或横式方式显示该显示画面的状态；当该电子装置为一固定式装置，该显示画面的状态为该电子装置处于一稳定静止状态下显示该显示画面的状态。

4.根据权利要求3所述的根据脸部特征设定装置显示方式的方法，其中，该电子装置为设有一加速度传感器的一头戴式显示器，配合一陀螺仪，使得该头戴式显示器随着该使用者的头部运动而得出该使用者的眼睛观看该显示画面的该相对角度。

5.一种运行一根据脸部特征设定装置显示方式的方法的电子装置，该电子装置包括：

一处理器；

一显示单元，电性连接该处理器，用以产生一显示画面；以及

一摄像单元，电性连接该处理器，用以取得一使用者的一脸部图像；

其中，该处理器执行该根据脸部特征设定装置显示方式的方法，包括：

判断出该使用者的眼睛观看该显示画面的一相对角度；以及

根据该使用者的眼睛的该相对角度以及该电子装置显示该显示画面的状态产生一转向信息。

6.根据权利要求5所述的电子装置，其中，判断该使用者的眼睛观看该显示画面的该相对角度的方式包括：

以该摄像单元拍摄该使用者的该脸部图像；

定位脸部器官；

根据定位的脸部器官判断该使用者的眼睛位置，取得两眼的一连接方向；以及

取得该连接方向与该电子装置的一装置方向之间的该相对角度。

7.根据权利要求6所述的电子装置，其中，当该电子装置为一手持装置，该显示画面的状态为该电子装置以直式或横式方式显示该显示画面的状态；当该电子装置为一固定式装置，该显示画面的状态为该电子装置处于一稳定静止状态下显示该显示画面的状态。

8.根据权利要求7所述的电子装置，其中，该电子装置为设有一加速度传感器的一头戴式显示器，配合一陀螺仪，使得该头戴式显示器随着该使用者的头部运动而得出该使用者的眼睛观看该显示画面的该相对角度。

9.根据权利要求5至8中任一项所述的电子装置，其中，由该处理器接收该转向信息后，即通过该显示单元控制该显示画面为直向显示或横向显示。

10.根据权利要求5至8中任一项所述的电子装置，其中，由该处理器接收该转向信息后，控制该电子装置的一驱动机构转向一显示角度。

Images