CN105487652B - 显示装置及其控制方法 - Google Patents

Abstract

本发明公开一种显示装置及其控制方法。所述装置包括：通信接口部，从外部装置接收用户的视线信息以及用户手势信息；显示部，显示预设的画面；控制部，当利用接收的视线信息判断为用户的视线指向画面，而且检测到对应于接收的手势信息的用户手势时，控制显示部以将预设的对象显示于画面。

Description

显示装置及其控制方法

技术领域

本发明涉及一种显示装置及其控制方法，具体而言，涉及一种可根据用户的直观的动作来控制的显示装置及其控制方法。

背景技术

近来的显示装置不仅提供现有的广播接收功能，而且还提供其他多样的功能。例如，近来的显示装置提供网页浏览功能、SNS功能、内容搜索功能等多样的功能。

另外，随着提供到显示装置的功能越来越多，提供到显示装置的操作方法也变得越来越多样。例如，在现有技术中，不仅提出了利用遥控器控制显示装置的方法，而且最近还提出了利用语音识别等的控制技术。

但是在依靠语音识别的情况下，经常因其识别的不准确性而导致错误，而且在有些情况下接收到的内容并不是用户所意图的输入。在不会发生上述的错误的点上，目前为止对用户而言最为方便的输入手段依然是遥控器。

然而，在控制显示装置的过程中却带来如下的不便：在完成电源的开/关或者调节音量等极为简单的功能时也需要依靠遥控器。

据此，对于一种不需要遥控器等单独的输入装置也可以控制电子装置的可最小化不准确性的新的控制方法的需求变得越来越大。

发明内容

本发明是为了解决上述的问题点而提出的，本发明的目的在于提供一种能够根据用户的直观的动作来控制的显示装置及其控制方法。

用于实现如上所述的目的之根据本发明的一个实施例的显示装置，包括：通信接口部，从外部装置接收用户的视线信息以及用户手势信息；显示部，显示预设的画面；控制部，当利用接收的所述视线信息判断为用户的视线指向所述画面，而且检测到对应于接收的所述手势信息的用户手势时，控制所述显示部以将预设的对象显示于所述画面。

在此情况下，所述控制部可检测所述画面上的所述用户的视线。

在此情况下，当判断为检测出的所述视线并不对应于所述对象被显示出的位置，而且识别到预设的用户手势时，所述控制部把视线校正到与所述检测出的所述视线最接近的对象被显示出的位置。

其中，所述控制部可根据输入的用户信息而执行用户识别，并根据识别出的用户来执行视线的检测。

并且，所述控制部可通过从所述外部装置接收到的信息确定用户的视听状态，并根据所确定的所述视听状态来执行视线的检测。

而且，当判断为所述用户的视线处在显示出的所述对象上，而且识别到预设的用户手势时，所述控制部执行与所述用户的视线所在处的对象以及所述预设的用户手势对应的事件。

其中，当显示出所述对象，而且在超出预设的时间为止未识别到用户手势和指向所述画面的用户的视线中的至少一个时，所述控制部控制所述显示部以中断所述对象的显示。

并且，所述控制部以如下方式构成：使多个对象得到显示，当判断为所述用户的视线指向多个对象中的一个时，控制所述显示部以将对应于所述用户的视线的对象变更而显示。

而且，所述控制部以如下方式构成：使对应于所述用户的视线的对象变更而显示，在保持变更的所述对象的显示的状态下，如果判断为用户的视线并不位于所述画面上显示的对象且识别到预设的用户手势，则执行与变更而显示的对象以及所述预设的用户手势对应的事件。

其中，所述对象是音响调节对象、频道调节对象、搜索窗激活对象、键盘对象以及引导对象中的至少一个。

并且，所述通信接口部从用户穿戴的可穿戴式设备接收所述用户手势信息。

另外，根据本发明的另一实施例的显示装置的控制方法，包括如下步骤：从外部装置接收用户的视线信息以及用户手势信息；当利用接收到的所述视线信息判断为所述用户的视线指向所述显示装置的画面，而且检测到对应于接收到的所述手势信息的用户手势时，在所述画面上显示预设的对象。

在此情况下，所述控制方法还可以包括检测所述画面上的所述用户的视线的步骤。

在此情况下，所述控制方法还可以包括如下步骤：当判断为检测出的所述视线并不对应于所述对象被显示出的位置且识别到预设的用户手势时，把视线校正到与检测出的所述视线最接近的对象被显示出的位置。

并且，在执行所述检测的步骤中，可基于输入的用户信息来执行用户识别，并根据识别出的用户而执行视线检测。

在执行所述检测的步骤中，可通过从所述外部装置接收到的信息确定用户的视听状态，并根据所确定的视听状态来执行视线的检测。

其中，所述控制方法还可以包括如下步骤：当判断为所述用户的视线处在显示出的对象上，而且识别到预设的用户手势时，执行与所述用户的视线所在处的对象以及所述预设的用户手势对应的事件。

并且，所述控制方法还可以包括如下步骤：当显示出所述对象，而且在超出预设的时间为止未识别到用户手势和指向所述画面的用户的视线中的至少一个时，中断所述对象的显示。

而且，在执行所述显示的步骤中，使多个对象得到显示，所述控制方法还可以包括如下步骤：当判断为所述用户的视线指向多个对象中的一个时，将对应于所述用户的视线的对象变更而显示。

其中，所述控制方法还可以包括如下步骤：使对应于所述用户的视线的对象变更而显示，并在保持变更的所述对象的显示的状态下，如果判断为用户的视线并不位于所述画面上显示的对象却识别到预设的用户手势，则执行与变更而显示的对象以及所述预设的用户手势对应的事件。

根据上述的多样的实施例，不需要遥控器等专门的装置来控制显示装置，而且可以基于用户的自然的行动来实现用户与显示装置之间的丰富的交互作用。

附图说明

图1是用于说明根据本发明的一实施例的交互作用系统的图。

图2是用于说明根据本发明的一实施例的显示装置的构成的图。

图3至图11以及图17至图27是用于说明根据本发明的多样的实施例的显示装置与用户之间的交互作用的图。

图12至图16是用于说明根据本发明的多样的实施例的用于控制显示装置的多样的手势的图。

图28至图29是用于说明根据本发明的多样的实施例的视线校正的图。

图30至图32是用于说明根据本发明的多样的实施例的显示装置控制方法的流程图。

具体实施方式

本实施例能够加以多样的变换，并可以具有多种实施例，而特定的实施例示例于附图中，而且将在详细的说明中进行对其的详细的说明。然而这并不是要将本发明的权利范围限定于特定的实施形态，而是需要理解为本发明的权利范围包括公开的思想及技术范围所包含的所有变换、均等物以及替代物。在对实施例进行说明的过程中，当判断为对相关的公知技术进行的说明会使本发明的要点变模糊时，将省略对其的详细的说明。

第一、第二等术语可用于说明多样的构成要素，然而其构成要素并不局限于这些术语。术语的使用目的只是在于把一个构成要素区别于其他的构成要素。

本申请中使用的术语只是用于说明特定的实施例的，而不是要限制权利范围的。当单数的表述在文脉上没有明显为单个的意思时，也包括复数的含义。在本申请中，要理解“包括”或者“构成”等术语是用于指定说明书上所记载的特征、数字、步骤、操作、构成要素、部件等或者它们的组合的存在，而不是用于事先排除一个或一个以上的其他特征、数字、步骤、操作、构成要素、部件或者它们的组合的存在性或者可附加性。

对实施例而言，“模块”或者“部/单元”执行至少一个功能或操作，其可以实现为硬件或者软件，还可以实现为硬件和软件的结合件。另外，多个“模块”或者多个“部/单元”除了需要实现为特定的硬件的“模块”或者“部/单元”以外，可以一体化为至少一个模块而实现为至少一个处理器(未图示)。

图1是用于说明根据本发明的一实施例的交互作用系统的图。

参照图1，交互作用系统指显示装置和用户之间进行交互作用的环境，其可以包括：显示装置100；对应于显示装置的外部装置200-1、200-2。

显示装置100是显示图像的装置，其可以实现为：TV(Potable TV、移动TV、智能TV)、PC(台式PC、笔记本PC等)、手机、智能手机、数字相机、便携式投影机、数码相框等，还可以实现为：配备显示部的音响设备、空调等家电产品。

外部装置200-1、200-2可以借助于拍摄单元、加速度传感器、陀螺仪传感器、重力传感器等而收集用户的脸、用户的视线及用户的手势等与用户身体相关的信息，而且可以通过麦克风来收集用户的语音。这些以有线或者无线方式连接于显示装置100。

在此，用户的手势是将用户身体的一部分的静止状态和运动状态全部包含在内的含义。

用于收集与用户的视线相关的信息的外部装置200-1可以如图1所表示的那样以独立设备的形态或者贴附于显示装置100而成为显示装置100的一个构成要素的形态进行工作。具体而言，用于收集用户的视线信息的外部装置200-1包括拍摄单元。外部装置200-1可以把拍摄到的用户的人脸图像传送到显示装置100。或者，外部装置200-1还可以实现为能够检测到指向显示装置100画面的用户的视线，并向显示装置100传送其检测到的结果。

为了收集用户的视线信息，可以把智能眼镜等可穿戴式装置作为外部装置而使用。智能眼镜包括用于拍摄用户瞳孔的拍摄部，并可以把用户的瞳孔图像传送到显示装置100。或者，可用于检测瞳孔的位置、瞳孔的方向、瞳孔的大小等，并把检测到的结果传送到显示装置100。

另外，用于收集用户的手势的外部装置200-2可以是如图1所示的那样具有独立设备形态，然而也可以贴附于显示装置100而作为显示装置100的一构成要素进行工作。具体而言，用于收集用户的手势的外部装置200-2可以包括拍摄单元。外部装置200-2可以把拍摄到的用户身体的一部分的图像传送到显示装置100。或者可以构成为能够对拍摄到的用户身体的一部分的图像进行分析而识别用户的手势，并将识别结果传送到显示装置100。

用户的手势可以包括静态手势和动态手势，静态手势可以基于拍摄的图像的单一帧而确定，动态手势可以基于拍摄的图像的多个帧来确定。

或者，动态手势可以通过智能手表等可穿戴式装置来收集，而静态装置可以通过专门的拍摄装置来收集。具体而言，当用户戴上智能手表而活动时，智能手表可以通过加速度传感器、重力传感器、陀螺式传感器等来把用户的动作转换为数据信号，并且可以把转换后的数据传送到显示装置100。

另外，外部装置200-1、200-2中的至少一个可以配备用于收集用户的语音的麦克风，并可以把语音信息传送到显示装置100，或者还可以识别用户的语音的含义，并把识别结果传送到显示装置100。

如上所述，外部装置可以实现为多样的形态，而且并不局限于上述的例。另外，本发明以存在多个外部装置为例进行了说明，然而还可以实现为可执行多个功能的单一装置。另外，显示装置100还可以构成为能够执行上述的外部装置的功能，在此情况下并不需要专门的外部装置。

另外，显示装置100可以借助于如上所述的外部装置而接收用户的视线信息、用户的手势信息或者用户的语音信息，并可以执行用户所意图的操作指令。以下将对用户和显示装置100间的具体的交互作用进行更为详细的说明。

图2是用于说明根据本发明的实施例的显示装置100的构成的模块图。

参照图2，显示装置100包括通信接口部110、显示部120以及控制部130。

通信接口部110是用于与多样的外部装置进行通信的构成要素。

具体而言，通信接口部110可以包括WiFi芯片、蓝牙芯片、NFC芯片、无线通信芯片、IR芯片等多样的通信芯片。此时，WiFi芯片、蓝牙芯片、NFC芯片、IR芯片分别通过WiFi方式、蓝牙方式、NFC方式、IR方式来进行通信。其中NFC芯片是指在135kHz、13.56MHz、433MHz、860～960MHz、2.45GHz等多样的RF-ID频带中以使用13.56MHz频带的NFC(Near FieldCommunication；近场通信)方式工作的芯片。在利用WiFi芯片或者蓝牙芯片的情况下，可以事先收发SSID以及会话密钥(session key)等各种连接信息，并利用其来实现通信连接后再传送和接收各种信息。无线通信芯片是指根据IEEE、ZigBee、3G(3rd Generation)、3GPP(3rd Generation Partnership Project)、LTE(Long Term Evoloution)等多样的通信标准而进行通信的芯片。

尤其，通信接口部110可以从外部装置接收用户的人脸信息、用户的语音信息、用户的视线信息、用户的手势信息。

显示部120是根据控制部130的控制来显示预设(即，已设定)的画面的构成要素。具体而言，显示部120可以显示多样的图像信息和/或对象。

控制部130是控制显示装置100的全局性操作的构成要素，其可以通过从外部装置接收到的信息而解释用户所意图的命令，并执行相对应的操作。尤其，控制部130可以通过多样的方式进入交互作用模式。

交互作用模式是指如下的状态：借助于用户的视线的同时，把用户的手势或者用户的语音等作为输入手段而控制显示装置100的状态。当进入交互作用模式时，显示部120的画面上显示出用于引导用户的视线的与显示装置100的控制相关的对象。另外，控制部130检测用户的视线，并判断检测到的用户视线是否位于画面上显示的对象上。

以下的操作可以作为用于检测用户视线的示例性的方法而执行。首先，控制部130在从外部装置接收到的信息所包含的用户脸部图像中检测出眼睛图像，并从检测到的眼睛图像中获取瞳孔的位置，从而检测画面上的用户的视线。

作为进入交互作用模式的一例，当控制部130利用从外部装置接收的视线信息判断为用户的视线指向显示装置100的画面，而且检测到与从外部装置接收的手势信息对应的用户的手势时，可对显示部120进行控制以将预设的对象显示于画面，从而可以进入交互作用模式。

即，如果同时满足用户的视线指向画面这一第一个条件和检测到用户的手势这一第二个条件，则控制部130可以判断用户的意图是要和显示装置进行交互作用，从而进入交互作用模式。这里所说的用于进入交互作用模式的用户手势的“检测”并不意味着特定手势的“识别”。也就是说，在用户的视线指向画面的状态下，只要检测到用户身体一部分的存在，控制部130就可以进入交互作用模式。作为另一例，在用户的视线指向画面的状态下，当检测到用户的脸部扭曲变形，或者检测到用户张嘴的动作时，控制部130就可以进入交互作用模式。

如上所述，可以根据在用户的视线指向画面的状态下检测到的多样的用户手势来进入交互作用模式。

以下的操作可以作为用于识别用户手势的示例性的方法而进行。首先，控制部130在从外部装置接收到的手势信息所包括的图像中去除背景区域而获取用户的身体的图像，并且在获取到的用户的身体图像中利用边缘和颜色信息来提取用户的脸部、手臂、手、躯干、腿或者脚的区域，并从提取到的脸部、手臂、手、躯干、腿或者脚中提取特征点来识别用户所摆的姿势(在本发明中作为广义的“手势”，包含一般意义下的“手势”的含义，故在本发明中可与“手势”互换使用)，并从存储在存储部(未图示)的姿势中搜索出匹配于识别到的姿势的姿势，从而识别出与搜索到的姿势对应的操作命令。

另外，作为进入交互作用模式的另一例，在用户的视线指向画面且检测到用户的语音的情况下，控制部130也可以使预设的对象显示于显示部120以进入交互作用模式。此情况下的用户的语音是事先指定好的语音，例如可以是没有任何意义的“啊(Ah)”等语音。或者，可以是用户拍手的声音。

如上所述，控制部130可以根据连同用户的视线一起输入到的图像或者语音等多样的输入而进入交互作用模式。以下为了简化说明，只对用户为了进入交互作用模式而利用身体的一部分的实施例进行说明。

图3至图4是用于说明根据本发明的一实施例的交互作用模式的进入过程以及显示于交互作用模式的多样的对象的图。

参照图3，例如当用户的视线指向画面的时候检测到用户的身体的一部分(例如，手指)时，控制部130可进入交互作用模式而显示对象30、32、34。“30”是用于控制音量的对象，“32”是用于控制频道的对象，而且“34”是用于激活搜索窗的对象。在此情况下，对象30、32、34可以显示为透明的形态而表示不可选择的状态(非激活状态)。

接下来参照图4，当判断用户的视线为了控制音量而指向对象30被显示出的区域30-1时，控制部130可以控制显示部120以变更显示用于控制对应于用户视线的音量的对象30。例如，控制部为了表示是可选择的状态(激活状态)而可以变更为不透明的对象30a而显示，或者可以放大对象的大小，或者可以给对象添加边框。在此情况下，用户的视线未指向的其余对象32、34可以不再显示于显示部120上，或者可以原封不动地保持其显示状态。即，只将用户的视线所在处的对象变更而显示。

继续参照图4，当判断为用户的视线在用于控制音量的对象30a中指向包括音量增加对象30a-1的区域30-2时，控制部130可以使音量增加对象30a-1变化(例如，使其加亮)而显示在显示部120。

在此状态下，当识别到预设的手势时，例如检测到用户利用手指敲击的手势10a时，控制部130会增加音量以作为与音量增加对象30a-1及预设的手势对应的事件。

如果显示出对象之后在已设定的时间之内未识别到用户的手势和指向画面的用户的视线中的至少一个，则控制部130可以控制显示部120以中断对象的显示。

如上所述，当存在用户的意图时，控制部130令用于引导视线的非激活状态的对象(引导对象)显示，且当检测到指向特定的对象的用户的视线时，控制部130控制显示部120以将对应于视线的对象显示为不同于其他对象，或者可以只显示对应于视线的对象。

另外，在上述的实施例中，在用户的视线固定于特定的对象的状态下识别到预设的手势才能够进行特定的事件，然而用户的视线长时间地固定于一处并不是容易的事情。因此，根据本发明的其他实施例，即便用户的视线从特定的对象转移到其他位置，也可以保持特定对象的选择状态。以下将对本实施例进行更为详细的揭示。

首先为了说明的方便性，如图5所示，把构成显示部120的画面的区域划分。具体而言，如图5所示，显示部120的画面可以被划分为多个区域，并约定在指称画面上的各个区域时，将会利用LU(Left Upper)、LL(Left Lower)等缩略形。然而这只是为了说明的方便性，不能因此而局限性地解释本发明。

在本实施例中，控制部130能够变更而显示对应于用户视线的对象。例如，控制部130可以把对应于用户的视线的对象加亮而显示，或者可以放大显示。另外，在保持变更后的对象的显示的状态下，当判断为用户的视线未处在显示于画面上的对象却识别到预设的用户的手势时，执行与变更而显示的对象及预设的用户的手势对应的事件。通过图6对具体的例进行说明。

参照图6，对象位于显示部120上的LU区域、LL区域、CU区域、RU区域、RL区域。当判断为用户的视线指向LU时，控制部130控制显示部120以加亮显示LU所包括的对象60。之后，当判断为用户的视线不处在画面上显示的任何一个对象上，也就是说，当判断为用户的视线虽然离开了对象60却处在未显示其他对象的区域CM或者CL时，对象60还是会继续保持加亮状态。如果在这种状态下检测到用户的手势10a，则控制部130会执行对应于对象60以及用户的手势10a的功能。在此情况下，会进行音量的调大。

根据上述的实施例，即使用户不持续地把视线集中于对象上也可以方便地与显示装置100进行交互作用。

图7是用于说明根据本发明的一实施例的用于输入文本的用户的交互作用的图。

参照图7，当判断为用户的视线指向CU时，控制部130控制显示部120以加亮显示CU所包括的对象70。之后，即使用户的视线离开对象70，其要是存在于C区域，则可以持续地保持对象70的加亮状态。在这种情况下，当用户的视线处在C区域，并检测到用户的手势10a时，控制部130可以执行对应于对象70及用户的手势10a的功能。在此情况下，运行如图7所示的网络搜索功能而显示出网络搜索画面，并显示出键盘对象62。

用户利用视线来输入文字的方式如下。参照图7，当用户凝视所要输入的键盘而摆出预设的手势10a时，与视线对应的键盘得到选择。在图7的情况下会输入“y”。

以下将对交互作用模式中的多样的对象的形态进行考察。

图8至图10是用于说明根据本发明的多样的实施例的交互作用模式中的对象以及用户手势的图。

参照图8，当进入交互作用模式后，控制部130可以控制显示部120而显示轮(wheel)形状的对象80、82。而且当检测到沿着顺时针方向或者逆时针方向旋转手指的手势10b时，对应于用户视线的轮形态的对象会沿着手指的旋转方向而旋转。例如，用户可以在所需的位置上停止手指的旋转而选择音量或者选择频道。

参照图9，当进入交互作用模式时，控制部130可以控制显示部120以显示条(bar)形状的对象90、92。而且当检测到向上或者向下移动手指的手势10c时，对应于用户视线的条形状的对象会根据手指移动的方向而移动。在此，向上移动手指的手势例如可以是把手指向上移动后保持不动的手势，或者可以是反复地从下往上移动手指的手势。

参照图10的(a)以及图10的(b)，当进入交互作用模式时，控制部130可以控制显示部120以显示砖形状的对象11、13。另外，参照图10的(a)，对音量对象11而言，当检测到利用手指拔出一个砖块的手势，即检测到从左侧向画面的中央移动手指的手势10d时，控制部130可以变更显示装置100的音量而使音量达到与被拔出的砖块对应的音量。另外，参照图10的(b)，对频道对象13而言，如果检测到手指从右侧向画面中央移动的手势，则控制部130可以控制显示装置而使频道切换到被拔出的砖块所对应的频道。

图11是用于说明根据用户手势的特定功能的执行的一例的图。

参照图11，当控制部130判断用户的视线指向画面并检测到用户的手势时，会在输出的画面上显示与可控制的功能对应的对象30、32、34。附加性地，还可以显示用于通知针对画面中央CM、CL的交互作用可行的引导对象36。而且，当判断为用户的视线指向画面的中央CM、CL，而且检测到预设的手势时，控制部130执行与画面中央区域及检测到的手势对应的事件。例如，如图11所示，可以显示喜欢的频道的目录。而且可以根据旋转手指的手势10b的方向而依次显示与频道对应的缩略图。之后，当检测到利用手指敲击的手势时，可以选择目录中位于最上部的缩略图38而切换到相应的频道。

显示喜欢的频道的目录只不过是一例，用户可以在画面中央区域任意地设定常用功能。即，交互作用模式中并非只可利用音量控制、频道移动等预设的功能，也可以利用用户任意地设定的功能。

另外，在本发明的多样的实施例中，除了上述的手势以外，还可以利用其他多样的手势。手势可以区分为方向性、选择性、操作性、形态性、连续性的分类，而下面将对属于各个分类的一些例进行说明。

作为表示方向性的手势，可以利用如图12所示的多样的手势。这种手势可以用于音量控制或者频道切换。

作为表示选择性的手势，可以利用如图13所示的多样的手势。这些手势可以用于对象的选择。图13的(a)手势是利用手指敲击的手势；(b)手势是握拳并再竖起拇指的手势；(c)手势是张开手掌并再收紧手掌的手势。而且，虽然没有在图13中表示，拾起某种物体的手势可以用于对象的选择。其在图17的(c)中得到表示。参照图17的(c)，控制部130可以控制显示部120以将代表频道的图像排列示出，而且当识别到拾起其中的任意一个图像的手势10n时，控制部130可以控制显示装置100以切换到对应的频道。

作为表示操作性的手势，可以利用图14所示的多样的手势。图14的(a)手势是握拳再松开的手势，例如可以用于旋转轮型(wheel)对象。图14的(b)手势是旋转手指的手势，其可以用于旋转轮型对象。图14的(b)手势是旋转手指的手势，其可以用于旋转轮型对象。或者，可以用于执行如上所述的映射到画面中央区域上的功能。图14的(c)手势是抓住某种物体并扭转的手势。图14的(c)手势的应用例表示于图17的(a)中。

作为表示形态性的手势，可以利用如图15所述的多样的手势。特别是，可以通过表示形态性的手势来直接执行特定的功能。例如，当识别到如图15的(a)所示的手势时，控制部130可以控制显示装置100而直接切换到特定的频道。当识别到如图15的(b)所示的手势时，控制部130可以控制显示装置100而使其消音。另外，当识别到图15的(c)所示的手势时，控制部可以控制显示部120以显示主菜单。

作为表示连续性的手势，可以利用如图16所示的多样的手势。当识别出表示连续性的手势时，控制部130可以执行连续的事件。例如，如图16的(a)手势，当输入抓住某种物体而旋转后保持其状态的手势时，控制部130可以连续地执行与用户的视线所在处的对象相对应的事件。例如，如果是音量调节事件，控制部130可以使音量一步一步地持续增加。图17的(b)手势是利用食指和拇指来拾起某种物体后再拉向下方或者拉向上方的手势。例如，当用户把目光投向用于控制音量的对象并如(b)手势那样摆出夹东西的手势，并且在拉向下方之后保持其状态时，控制部130可以控制显示装置100而使音量一步一步地持续降低。

图17至图18是表示上述的手势的应用例的图。参照图17的(a)，控制部130可以在交互作用模式下控制显示部120以显示手柄对象44，且当识别到用户摆出夹住东西的模样并转动的手势时，可以执行映射到手柄对象44上的音量控制。参照图17的(b)，当判断为用户的视线指向声音控制对象94，且识别到手掌朝下方而上下移动的手势10e时，可以根据移动的方向来执行音量的控制。参照图17的(c)，控制部130可以使交互作用模式下代表频道的图像得到排列显示。在此，如果识别到拾起的手势10n，则控制部130可以控制显示装置100以切换到与检测到用户视线的位置处的图像相对应的频道。

参照图18的(a)，控制部130可以控制显示装置120以在交互作用模式中显示杠杆对象84，且当识别到抓住并拉动杠杆的手势10f时，可以根据拉动的方向来执行映射到杠杆对象84的音量控制。具体而言，每拉动一次杠杆时，音量会增加一个阶段，而每拉动一次后保持其手势时，音量会按顺序增加。参照图18的(b)，当判断为用户的视线指向音量控制对象30，而且识别到弯曲手腕并抬起手的手势10g时，控制部130在保持该手势10g的时间内使音量按顺序增加。参照图18的(c)，当判断为用户的视线指向用于控制音量的对象30，而且识别到弯曲手腕而放下手的手势10h时，控制部130在保持该手势10h的时间内使音量按顺序减小。

另外，用于对象的显示的位置可以由用户任意地指定。对此，将会通过图19至图20进行说明。

参照图19，对象可以布置于用户的视线所处的位置。具体而言，当判断为用户的视线指向画面，而且识别到用户的手势时，控制部130检测画面上的用户视线，并且控制显示部120以将对象显示于检测到的视线的位置上。之后，当用户把目光投向对象并摆出预设的手势时，控制部130识别此手势而执行与对象和用户所摆的手势对应的事件。

另外，可以显示于用户的视线所处的位置的对象的形态多种多样。参照图21，控制部130控制显示部120以在检测到用户的手指的位置上显示手形的引导对象50，并使各个手指上显示出用于指示可执行的功能的文字。之后，例如，当识别到弯曲食指的用户手势时，控制部130可以控制显示装置100以切换到播放体育的频道中的任意一个频道，或者可以控制显示装置100以显示包括播放体育的所有频道的目录。即，可以运行体育模式。

另外，可以通过用户指向画面中的特定方向的手势来替代用户的视线而确定对象的显示位置。参照图21，控制部130可以在判断为用户的视线指向画面，而且检测到指示画面的特定方向的手势的情况下，控制显示部120以在对应的方向上显示对象。

根据图19至图21中说明的实施例，可以满足不希望遮挡画面的特定区域的用户的意图。

另外，如图21所示，在相邻地布置用于执行独立的功能的对象的情况下，用户的视线的准确度可能会降低。为解决这种问题，根据本发明的一实施例，如图22所示，当用户把目光投向对象并摆出从左①到右②、从下②到上③连接的手势时，可以调大音量。根据本实施例，可以通过利用指尖沿着各个点而画出轨迹的手势来执行其功能，而且熟练之后，用户可以比之前所说明的手势更快地执行功能。

另外，用户可以用手摆出在空中手写数字或字母等文字的手势而执行所期望的功能。具体的示例将会参照图23进行说明。

参照图23，当判断为用户的视线指向画面，而且识别到用户的手势时，控制部130可以显示与显示装置100的控制相关的对象。例如，控制部130可以显示用于控制音量的对象30和用于控制频道的对象32，而且可以附加性地显示手写区域33。当判断为用户的视线指向用于控制音量的对象30时，控制部130可以将用于控制音量的对象30以及与音量控制相关的手写区域33′放大而示出。在此状态下，作为一例当识别到画出‘7’的手势10j时，控制部130可以控制显示部120以将识别到的手势轨迹显示在手写区域33′中，而且可以控制显示装置100以达到对应于‘7’的音量。

为了说明本发明的又一实施例，参照图24，当判断为用户的视线指向画面的下端区域，而且检测到用户的手势时，频道目录会显示在画面的下端区域。在此状态下，如果识别到从右向左或者从左向右的手势10d，则控制部130可以控制显示部120以根据手势的方向按顺序锁定频道目录并显示。之后，当检测到敲击的手势10a时，控制部130可以控制显示装置100以将频道变更为在敲击的时间点锁定的频道。

另外，根据本发明的一实施例，当判断为再也没有检测到指向画面的用户的视线，且在此状态下在预设的时间内检测出特定的手势时，控制部130可以执行与特定的手势对应的事件。例如，参照图25，当判断为曾可以检测到的用户的视线(对应于(a))无法再检测到，却在预设的时间内识别到手掌朝向画面的手势10k(对应于(b))并又识别到握拳的手势10m时，控制部130可以将显示装置100控制为以静音模式运行(对应于(c))。之后，当识别到用户的视线再次指向画面，并识别到手掌朝向画面的手势10k时，控制部130可以再控制显示装置100以解除静音状态。根据本实施例，例如在看电视的过程中来电话时，用户可以更为直观地、更为迅速地把电视切换为静音状态。

另外，根据本发明的又一实施例，用户可以迅速而方便地接收所提供的关于内容的详细信息。参照图26，控制部130可在判断为用户的视线指向画面的情况下检测到画面上的用户的视线，且当检测到手势时，可以控制显示部120以在与检测到的用户视线对应的对象上显示加亮区(边框)24(对应于(a))。在此状态下，如果经过预设的时间则可以使相关对象的详细信息26自动显示，且当无法再检测到用户的手势时，可以控制显示部120以中断详细信息26的显示(对应于(c))。另外，如果在自动显示详细信息26的状态下识别到选择手势(例如，用手指敲击的手势)，则控制部130可以放大表示详细信息以填满整个画面。在详细信息显示于整个画面的状态下，即使检测不到用户的手势，控制部130也控制显示部120以保持详细信息的显示。

根据本发明的又一实施例，当在一个画面上提供大量信息时，可以迅速而快速地访问用户所需要的信息。参照图27，在大量内容的缩略图显示于一个画面的状态下，如果判断为用户的视线指向画面并检测到用户的手势时(对应于(a))，控制部130检测出用户的视线，并以检测出的位置为中心而放大(zoom in)其周边区域(对应于(b))。在画面的特定区域被放大的状态下，如果判断为用户的视线位于画面的边缘位置，则控制部130移动画面以使视线所处的边缘位置外侧的区域得到显示(对应于(c))。如果用户的视线和手势这两者中的任何一个未被识别，则控制部130控制显示部120以回归到原来的画面，即回归到同时显示大量内容的缩略图的画面。

另外，在如上所述的多样的实施例中，为了选择对象而利用到用户的视线，因此准确地检测视线显得重要。为了提高视线检测的准确度而可以进行对检测到的视线的校正，根据本发明的一实施例，这种视线校正无需经过繁琐的过程也能够实现。下面对本实施例进行更为具体的考察。

控制部130可基于从外部装置接收的视线信息来检测画面上的用户视线。然而，检测到的视线并不是始终正确的，因此控制部130可以额外地执行视线的校正。

具体而言，控制部130在判断为检测到的视线并不对应于对象被显示出的位置并识别到预设的用户的手势的情况下，可以把视线校正到与被检测出的视线最接近的对象被显示出的位置。换句话说，存在旨在选择对象的用户的手势这一点意味着用户正在看着对象，因此，可以向该对象的位置校正用户的视线。图28是用于更为详细地说明根据本发明的实施例的视线校正的图。

参照图28，当检测到用于选择对象的手势10a时，如果检测出的视线①未处于画面上的任何一个对象，则控制部130可以把视线校正到最靠近检测出的视线①而显示的对象28b。②表示校正后的视线。执行完上述的校正过程之后，即使后来重新在①位置检测出用户的视线，控制部130也可以判断为实际的用户视线位于②。

另外，对于执行上述的视线校正的过程而言，视线引导是比较重要的。为此，根据本发明的一实施例，控制部130可以利用校正视线之前检测出的视线来控制显示部120以使其只显示与检测到的视线最接近的最优的对象。通过图29而进行更为详细的说明。

参照图29，控制部130在基于从外部装置接收的信息来判断出用户的视线指向画面并识别到用户的手势的情况下，检测用户的视线(参考(a))。另外，如果能够在画面上显示音量控制对象52以及频道控制对象54，则控制部130考虑音量控制对象52以及频道控制对象54与检测出的视线之间的距离(参考(b))，并控制显示部120以使显示部120只显示最接近于检测出的视线的音量控制对象52(参考(c))。之后，用户可以为了控制音量而把视线移动到用于控制音量的对象52侧(参考(d))，如果在此状态下输入用于选择对象的用户的手势，则控制部130将视线校正到用于控制音量的对象52中的可选对象28a、28b中与检测出的用户视线最接近的对象28b。

根据如上的视线校正原理，可以省去用于校正视线的繁琐的过程(在现有技术中，需要在显示出包含多个点的画面的状态下用户将视线对准于各个点)，从而在用户操作显示装置100的过程中能够自然地完成视线的校正。

另外，由于每个用户的眼睛的位置、眼睛中的瞳孔的位置等都互不相同，因此需要适合于个别用户的视线校正。另外，即使是同一个用户，也需要根据视听形态(用户的姿势、用户与显示装置之间的距离等)而应用不同的视线校正。在这些方面上，根据本发明的一实施例，控制部130可以识别用户，并确定用户的状态，并可以根据用户和/或所确定的用户的状态而执行视线的检测。

具体而言，控制部130可以根据输入到的用户信息来执行用户识别，并可以根据识别出的用户而执行视线的检测。在此，用户信息可以是用户ID或者密码，优选地可以是拍摄用户的图像。控制部130可以去除从外部装置接收的拍摄用户的图像中的背景区域而获取人脸图像，并从获取到的用户的人脸图像中利用边框、颜色等信息而提取人脸区域，并从该人脸区域中提取眼、鼻、嘴等特征点而识别人脸，并且通过对识别到的人脸与事先注册的人脸图像进行比较而判断识别出的脸是否为已注册的用户的脸。在此情况下，作为用于提高识别速度的方案，在进行比较时，利用最近识别到的用户的人脸信息而与当前的用户的脸进行比较。

如上所述，可以应用与识别到的用户对应的校正来执行视线的校正。例如，显示装置100的存储部(未图示)中可以存储有按用户执行视线校正的结果(例如，A用户的校正系数、B用户的校正系数等)。即，在图28至图29中说明的显示装置的操作过程中执行的视线校正结果可以按用户存储到存储部。

再次参照图28而进行说明，如果用户A过去执行过如图28所述的交互作用过程而执行过视线校正，则后来在用户A重新被识别并在①位置上检测出用户A的视线的情况下，控制部130可以把存储着的A用户的校正执行结果应用于检测出的视线而将视线校正到②位置。

根据又一实施例，控制部130可以利用从外部装置接收的信息来确定用户的视听状态，并根据所确定的视听状态来执行视线的检测。从外部装置接收的信息包括区分用户视听状态所需的信息。例如，可以包括拍摄用户身体的一部分的图像。

作为确定视听状态的示例性的方法，控制部130可以通过对从外部装置接收的信息进行分析而区分出用户眼睛的位置。例如，控制部130可以从拍摄用户的图像中获取用户的人脸图像，并从获取到的用户的人脸图像中利用边框、颜色等信息来提取人脸区域，接着从该人脸区域中提取眼、鼻、嘴等特征点。控制部130从拍摄的图像中识别出对应于眼睛的特征点的位置，并且考虑拍摄用户的外部装置与显示装置100之间的位置关系，从而确定用户的眼睛在与显示装置100之间的关系中位于哪一处。

而且附加性地，控制部130可以通过对从外部装置接收的信息进行分析来区分眼睛的斜视率。例如，控制部130可以如上所述地检测出人脸图像中的两眼的特征点位置，并计算出连接两眼的直线的倾斜率。

另外，控制部130还可以附加性地区分用户和显示装置100之间的距离。例如，控制部130计算出用户的人脸图像中的眼、鼻、嘴中的至少一个的大小，并考虑远近关系而计算出用户的脸与拍摄用户的外部装置之间的距离。另外，可以利用在外部装置与显示装置120之间的距离上加上外部装置与用户的脸之间的距离的值而确定用户与显示装置100之间的距离，或者可以简单地只利用外部装置与用户的脸之间的距离值来确定用户与显示装置100之间的距离。

控制部130可以根据用户眼睛的位置、眼睛的斜视率以及显示装置与用户之间的距离中的至少一个或者其中的两个以上的信息的组合来确定用户的视听状态。而且可以根据所确定的视听状态来执行视线的检测。

例如，控制部130在存储部中存储对第一视听状态、第二视听状态、第三视听状态分别不同地设定的校正系数，且当检测到第一视听状态时，通过应用第一视听状态所对应的校正系数而检测出用户的视线。

或者，例如在确定第一视听状态之后再执行如图28至29所说明的校正的情况下，控制部130可以把执行的校正结果匹配于第一视听状态而存储到存储部。而且，之后要是重新检测到第一视听状态，控制部130则可以利用匹配于第一视听状态而存储的校正执行结果来校正用户的视线，从而检测出用户的视线。

另外，以上对控制部130根据识别到的用户或者所确定的用户视听状态来检测视线的情况进行了说明，然而根据其他实施例，控制部130可以根据识别到的用户和所确定的用户视听状态的组合来执行视线的检测。据此可以进一步提高视线检测的准确度。

根据上述的多样的实施例，可以通过手势和视线的组合(或者是语音和视线的组合)而进入交互作用模式，因此与通过单独使用手势或视线而进入交互模式的情形相比，可以更为准确地把握用户的意图。另外，在执行交互作用的过程中可以自然地执行视线的校正，因此可以省去以往为校正视线而需要专门地执行的繁琐的过程。

以下，参照图30而对显示装置100的显示方法进行说明。

首先，显示装置100从外部装置接收用户的视线信息以及手势信息(S310)。此时，外部装置可以是为了收集视线信息以及用户的手势等而比较靠近用户布置的装置。对于特定的情况而言，外部装置还可以实现为显示装置100的内部构成要素。外部装置不仅收集视线信息以及手势信息，还可以收集用户的语音信息。而且把收集到的信息传送到显示装置100。

此时传送的信息可以是未加工的，或者可以是加工的信息。未加工的信息例如意味着拍摄用户身体的一部分的图像本身，加工的信息则是对拍摄用户身体的一部分的图像所包含的用户的手势的进行识别的信息。在未加工的信息被传送到显示装置100的情况下，如上述的多样的实施例，可以在显示装置100的控制部100中加工信息。

而且，显示装置100利用从外部装置接收的视线信息而判断用户的视线指向所述画面，且当检测到对应于接收的手势信息的用户手势时，显示出画面上预设的对象(S320)。即，在与用户的视线一并识别到用户的手势时，可以显示预设的对象。此外，可以利用用户的语音来替代手势。

在此，对象可以显示为用户不能选择的非激活状态，而当判断为用户的视线处在对象时，可以显示为激活状态。为了表示处于激活状态，对象的大小可以调大，或者可以在对象上显示加亮区或边框。换句话说，为了能够区别于用户的视线并未处于上面的剩余的对象，用户的视线所处的对象可以变更而显示。

图31是用于说明根据本发明的一实施例的显示装置的整体操作的流程图。

根据本发明的一实施例的显示装置100的整体操作可以划分为<1、识别>、<2-1、引导>、<2-2、执行>、<3、解除>等操作。参照图31，首先，如果与用户的视线一并检测到用户身体的一部分，则显示装置100可以识别为进入了交互作用模式(S3110)。在此情况下，与当前显示于显示部100上的画面相关的信息或者与当前的状态下可执行的功能相关的信息可以以文本、图像、影像、音响等多样的形态提供给用户。例如，可选择的菜单或者图标等对象可以显示于显示装置100上。

之后，如果在显示于显示装置100上的菜单或者图标等对象上检测到视线的移动，则根据该视线的移动来执行引导操作(S3120a)。在此情况下，可以提供用于告知视线所处的位置的视觉效果。例如，视线所在处的图标的形态可以与视线并不位于该处的图标的形态不同地变化(例如，加亮区)。

在用户的视线处在显示于显示装置100上的特定的对象的状态下，如果检测到预设的手势，则可以执行对应于特定的对象及已设定的手势的功能(S3120b)。这些操作在上述的实施例中进行过具体的说明，因此在重复的范围内将省去反复的说明。

另外，上述的用户与显示装置100之间的交互作用只限于用户身体的一部分被检测出的情况下执行。即，如果不能检测出两个当中的任意一个，交互作用模式就会解除(S3130)。

图32是用于更为具体地说明根据本发明的一实施例的显示装置的整体操作的流程图。

参照图32，显示装置100处于非交互作用模式(Non-interaction mode)(S3201)。在非交互作用模式中，显示装置100判断是否与视线一并检测到手势(即，用户身体的一部分)(S3201)。如果判断为未被检测到，则会保持非交互作用模式，而如果判断为被检测到，则判断是否识别到预设的手势(S3205)。在此，预设的手势是指通过引发而使显示装置100进入交互作用模式的手势，其表示特定的手型、特定的语音、特定的声音等多样的形态。

当判断为识别到预设的手势时，显示装置100进入交互作用模式(S3207)。即，用于与用户交互作用的UI画面显示在显示装置100的显示部上。UI画面包含可选择的对象，对象与显示装置100的功能的执行有关。

在交互作用模式下判断是否识别到视线(S3209)，当判断为检测到手势(S3211)，而且判断为发生了视线的移动(S3213)时，显示装置100判断视线所处的位置上是否存在对象(S3215)。如果视线所处的位置上存在对象，则显示装置100激活与视线对应的对象(S3217)。在此，激活对象是指差别化地显示出对应于视线的对象和不对应于视线的对象。之后，当判断为识别到预设的手势时(S3219)，执行与手势及对象对应的功能(S3221)。在执行功能以后，显示装置100可以重新进入非交互作用模式。

另外，显示装置100在如上所述的一系列的操作中可以校正检测出的用户的视线。在上述的多样的实施例中已对这些操作进行过具体的说明，因此将省略重复的说明。

根据上述的多样的实施例的显示装置的显示方法，用户可以在仅限于同时识别到视线和手势的情况下获得用于控制显示装置100的对象。因此能够防止用户不经意的情况下显示出遮挡画面的对象。另外，在用户与显示装置之间进行交互作用的过程中，能够自然地执行视线校正，因此可以省去以往为校正而专门执行的繁琐的过程。

另外，根据上述的多样的实施例的显示装置的控制方法可以实现为程序而提供到显示装置或者输入装置。尤其，包括显示装置的控制方法的程序可以存储到非易失性可读介质(non-transitory computer readable medium)而提供。

非易失性可读介质不是指寄存器、缓存、内存等在短时间内存储数据的介质，而是指半永久性地存储数据并可通过仪器来读取(reading)的介质。具体而言，上述多样的应用或者程序可以存储到CD、DVD、硬盘、蓝光光碟、USB、存储卡、ROM等非易失性可读介质而提供。

另外，以上对本发明的优选的实施例进行了图示和说明，然而本发明并不局限于所述特定的实施例，只要是本发明所属的技术领域中具有基本知识的人员皆可在不脱离权利要求书中请求保护的本发明主旨的情况下实现多样的变形实施，而且这些变形实施不能脱离本发明的技术思想或前景而得到个别的理解。

Claims (14)

1.一种显示装置，包括：

通信接口部，从外部装置接收用户的视线信息以及用户手势信息；

显示部；以及

控制部，当基于接收的所述视线信息和用户手势信息判断为在所述用户的视线指向所述显示部的画面期间检测到用户的第一手势时，控制所述显示部显示预设的至少一个对象，

当显示出所述预设的至少一个对象，而且在预设的时间期间未识别到用户手势和指向所述画面的用户的视线中的至少一个时，所述控制部控制所述显示部中断所述预设的至少一个对象的显示。

2.如权利要求1所述的显示装置，其特征在于，所述控制部检测所述画面上的所述用户的视线。

3.如权利要求2所述的显示装置，其特征在于，当判断为检测出的所述视线并不对应于所述预设的至少一个对象被显示出的位置，而且识别到预设的用户的第二手势时，所述控制部把视线校正到与所检测出的所述视线最接近的对象被显示出的位置。

4.如权利要求2所述的显示装置，其特征在于，

所述控制部根据输入的用户信息而执行用户识别，并根据识别出的用户来执行视线的检测。

5.如权利要求2所述的显示装置，其特征在于，

所述控制部通过从所述外部装置接收到的信息确定用户的视听状态，并根据所确定的所述视听状态来执行视线的检测。

6.如权利要求1所述的显示装置，其特征在于，当判断为所述用户的视线处在显示出的所述预设的至少一个对象中的某一个对象上，而且识别到预设的用户的第二手势时，所述控制部执行与所述用户的视线所在处的对象以及所述预设的用户的第二手势对应的事件。

7.如权利要求1所述的显示装置，其特征在于，所述控制部以如下方式构成：

使多个对象得到显示，

当判断为所述用户的视线指向多个对象中的一个时，控制所述显示部以将对应于所述用户的视线的对象变更而显示。

8.如权利要求1所述的显示装置，其特征在于，所述控制部以如下方式构成：

使对应于所述用户的视线的对象变更而显示，

在保持变更的所述对象的显示的状态下，如果判断为用户的视线并不位于所述画面上显示的对象且识别到预设的用户的第二手势，则执行与变更而显示的对象以及所述预设的用户的第二手势对应的事件。

9.如权利要求1所述的显示装置，其特征在于，所述至少一个对象是音响调节对象、频道调节对象、搜索窗激活对象、键盘对象以及引导对象中的至少一个。

10.如权利要求1所述的显示装置，其特征在于，所述通信接口部从用户穿戴的可穿戴式设备接收所述用户手势信息。

11.一种显示装置的控制方法，包括如下步骤：

从外部装置接收用户的视线信息以及用户手势信息；以及

当基于接收到的所述视线信息和用户手势信息判断为所述用户的视线指向所述显示装置的画面期间检测到用户的第一手势时，在所述画面上显示预设的至少一个对象；

当显示出所述预设的至少一个对象，而且在预设的时间期间未识别到用户手势和指向所述画面的用户的视线中的至少一个时，中断所述预设的至少一个对象的显示。

12.如权利要求11所述的控制方法，其特征在于，还包括检测所述画面上的所述用户的视线的步骤。

13.如权利要求12所述的控制方法，其特征在于，还包括如下步骤：

当判断为检测出的所述视线并不对应于所述预设的至少一个对象被显示出的位置且识别到预设的用户的第二手势时，把视线校正到与检测出的所述视线最接近的对象被显示出的位置。

14.如权利要求12所述的控制方法，其特征在于，在执行所述检测的步骤中，

基于输入的用户信息来执行用户识别，并根据识别出的用户而执行视线检测。