CN104954829B - 显示装置及其操作方法 - Google Patents
显示装置及其操作方法 Download PDFInfo
- Publication number
- CN104954829B CN104954829B CN201410487502.1A CN201410487502A CN104954829B CN 104954829 B CN104954829 B CN 104954829B CN 201410487502 A CN201410487502 A CN 201410487502A CN 104954829 B CN104954829 B CN 104954829B
- Authority
- CN
- China
- Prior art keywords
- gesture
- user
- identified
- image
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
显示装置及其操作方法。一种控制显示装置的方法,该方法包括以下步骤:经由所述显示装置的相机获得用户的图像;经由所述显示装置的控制器从所获得的用户的图像识别用户的手势;以及当所识别的用户的手势不与预存储的姿势匹配时,经由所述显示装置的显示器显示包括不同于所识别的用户的手势的不同手势的功能指南,用于指导用户进行选择以执行所述显示装置的功能。
Description
技术领域
本发明涉及显示装置及其操作方法。
背景技术
使用有线或无线通信网络的数字TV服务提供现有模拟广播服务无法提供的各种服务。例如,作为一种数字TV服务,互联网协议电视服务(IPTV)使得用户能够主动选择观看节目的类型和观看时间。IPTV服务可基于这种交互来提供各种增强型服务(例如,互联网搜索、家庭购物和在线游戏)。
此外,近来的数字TV识别用户的姿势(gesture)并提供执行与所识别的用户姿势对应的功能的服务。然而,姿势指示复杂,并且用户必须牢记或熟记,使得非常不方便。
发明内容
因此,本发明的一个实施方式提供了一种显示装置及其操作方法,其通过提供显示相似手势(hand gesture)以及与各个相似手势对应的功能的功能指南来使得用户能够在不需要熟记复杂手势模式的情况下执行对应功能。
另一实施方式提供了一种显示装置及其操作方法,其通过提供显示基本手势以及与各个基本手势对应的功能的功能指南来使得用户能够在不需要熟记复杂手势模式的情况下执行对应功能。
为了实现这些和其它优点并且根据本发明的目的,如本文具体实现并广义描述的,本发明在一个方面中提供了一种控制显示装置的方法,该方法包括以下步骤:经由所述显示装置的相机获得用户的图像;经由所述显示装置的控制器从所获得的用户的图像识别用户的手势;以及当所识别的用户的手势不与预存储的姿势匹配时,经由所述显示装置的显示器显示包括不同于所识别的用户的手势的不同手势的功能指南,用于指导用户进行选择以执行所述显示装置的功能。
在另一方面中,本发明提供了一种显示装置,该显示装置包括:显示器;存储器,其被配置为存储姿势;相机,其被配置为获得用户的图像;以及控制器,其被配置为从所获得的用户的图像识别用户的手势,并且当所识别的用户的手势不与预存储的姿势匹配时,在所述显示器上显示包括不同于所识别的用户的手势的不同手势的功能指南,用于指导用户进行选择以执行所述显示装置的功能。
本发明的另外的适用范围将从以下给出的详细描述而变得明显。然而,应该理解,尽管详细描述和具体示例指示本发明的优选实施方式,但是它们仅以示意性方式给出,因为对于本领域技术人员而言,本发明的精神和范围内的各种改变和修改将从该详细描述而变得明显。
附图说明
将从以下给出的详细描述以及附图更充分地理解本发明,这些详细描述仅以示意性方式给出,因此不限制本发明,并且附图中:
图1是示出根据本发明的实施方式的显示装置的配置的框图;
图2是示出根据本发明的实施方式的显示装置的操作方法的流程图;
图3是示出根据本发明的实施方式的用户的手势及其对应的功能的示图;
图4是示出根据本发明的实施方式的注册新用户的程序的示图;
图5至图9是根据本发明的实施方式的当识别的姿势不是预注册的姿势时显示功能指南的示图;
图10是示出根据本发明的另一实施方式的显示的功能指南的示图;
图11至图16是根据本发明的实施方式的根据识别的手势表示哪一只手来显示不同的功能指南的示图;
图17是示出根据本发明的实施方式的当识别的手势是用户的两只手的姿势时显示的功能指南的示图;
图18是示出根据本发明的另一实施方式的当识别的手势是用户的两只手的姿势时显示的功能指南的示图;
图19至图26是示出根据本发明的实施方式的依据功能指南中显示的特定姿势的选择执行对应功能的处理的示图;
图27是示出根据本发明的实施方式的显示装置的操作方法的流程图;
图28至图31是根据本发明的实施方式的当识别的姿势不是预存储的姿势时显示姿势设定指南的示图;
图32至图35是示出根据本发明的实施方式的将显示装置的功能注册在识别的姿势中的程序的示图;
图36是示出根据本发明的实施方式的显示装置的操作方法的流程图;
图37是示出根据本发明的实施方式的基准相似度设定指南的示图;
图38至图40是示出根据本发明的实施方式的自动设定基准相似度的处理的示图;以及
图41是示出根据本发明的实施方式的通过学习来自动设定基准相似度的处理的流程图。
具体实施方式
以下,将参照附图更详细地描述本发明的实施方式。以下描述中使用的组件的后缀“模块”和“单元”是考虑便于撰写说明书而指派或混合的,其本身不具有明显不同的含义或作用。
根据本发明的实施方式的显示装置(例如,作为向广播接收功能添加计算机支持功能的人工显示装置)可具有易于使用的接口,例如手写型输入装置、触摸屏或空间遥控器。此外,在有线或无线互联网功能的支持下,图像显示器可通过访问互联网或计算机来执行诸如电子邮件、网络浏览、互联网银行业务或在线游戏的功能。标准化的通用OS可用于这样的各种功能。
因此,由于在通用OS内核上自由添加或删除各种应用,所以本发明描述的显示装置可执行用户友好的各种功能。更详细地讲,例如,显示装置可以是网络TV、HBBTV、智能TV、LED TV或OLED TV,并且如果需要,可应用于智能电话。
图1是示出根据本发明的实施方式的显示装置的配置的框图。参照图1,显示装置100可包括广播接收单元130、外部装置接口单元135、存储单元140、用户输入接口单元150、控制单元170、图像获取单元171、显示单元180、音频输出单元185和电源单元190。此外,广播接收单元130可包括调谐器131、解调单元132和网络接口133。
外部装置接口单元135可接收相邻外部装置中的应用或应用列表,然后可将它传送给控制单元170或存储单元140。网络接口单元133可提供接口以将显示装置100连接到包括互联网的有线/无线网络。网络接口单元133可经由接入网络或链接到接入网络的另一网络向另一用户或另一电子装置发送数据或从其接收数据。
此外,网络接口单元133可将存储在显示装置100中的部分内容数据发送给预注册的其它用户或其它电子装置当中的选择的用户或选择的电子装置。网络接口单元133可经由接入网络或链接到接入网络的另一网络访问预定网页。即,网络接口单元1300可通过经由网络访问预定网页来向对应服务器发送数据或从其接收数据。
然后,网络接口单元133可接收从内容提供商或网络运营商提供的内容或数据。即,网络接口单元133可接收经由网络从内容提供商或网络运营商提供的内容(例如电影、广告、游戏、VOD和广播信号)及其相关信息。另外,网络接口单元133可接收从网络运营商提供的固件的更新信息和更新文件,并且可将数据发送给互联网或者内容提供商或网络运营商。网络接口单元133可选择并接收经由网络向公众开放的应用当中的期望的应用。
存储单元140可存储用于控制单元170中的各个信号处理和控制的程序,并且可存储经信号处理的图像、语音或数据信号。另外,存储单元140可执行临时存储从外部装置接口单元135或网络接口单元133输入的图像、语音或数据信号的功能,并且可通过频道记忆功能存储关于预定图像的信息。存储单元140可存储从外部装置接口单元135或网络接口单元133输入的应用或应用列表。
显示装置100可播放存储在存储单元140中的内容文件(例如,视频文件、静止图像文件、音乐文件、文档文件和应用文件),然后可将它提供给用户。
另外,用户输入接口单元150可将用户输入的信号传送给控制单元170,或者可将来自控制单元170的信号传送给用户。例如,根据各种通信方法(例如,Bluetooth、超宽带(WB)、ZigBee、射频(RF)和IR通信方法),用户输入接口单元150可从遥控装置200接收并处理用于电源开/关、频道选择和画面设置的控制信号,或者可将来自控制单元170的控制信号发送给遥控装置200。另外,用户输入接口单元150可将从诸如电源键、频道键、音量键和设置键的本地键(未示出)输入的控制信号传送给控制单元170。
在控制单元170中进行图像处理的图像信号也可被输入到显示单元180,然后可作为与对应图像信号对应的图像进行显示。另外,在控制单元170中进行图像处理的图像信号可通过外部装置接口单元135输入到外部输出装置。在控制单元170中进行处理的语音信号可被输出给音频输出单元185。另外,在控制单元170中进行处理的语音信号可通过外部装置接口单元135输入到外部输出装置。
除此之外,控制单元170可控制显示装置100中的总体操作。此外,控制单元170可通过经由用户输入接口单元150输入的用户指示或者内部程序来控制显示装置100,或者可通过访问网络来将用户想要的应用或应用列表下载到图像显示装置100中。
控制单元170可使得关于用户选择的频道的信息以及处理的图像或语音二者能够通过显示单元180或音频输出单元185输出。此外,控制单元170可响应于通过用户输入接口单元150接收的外部装置图像回放指示,使得从通过外部装置接口单元135连接的外部装置(例如,相机或摄像机)输入的图像信号或语音信号能够通过显示单元180或音频输出单元185输出。
另外,控制单元170可对显示单元180执行控制以显示图像,并且(例如)可执行控制以在显示单元180上显示通过调谐器131输入的广播图像、通过外部装置接口单元135输入的外部输入图像、通过网络接口单元133输入的图像或者存储在存储单元140中的图像。在这种情况下,显示在显示单元180上的图像可以是静止图像或视频,或者可以是2D图像或3D图像。
另外,控制单元170可执行控制以播放存储在显示装置100中的内容、接收的广播内容或者从外部输入的外部输入内容,这些内容可以是各种形式的(例如,广播图像、外部输入图像、音频文件、静止图像、访问的网络画面和文档文件)。
图像获取单元171可获得用户的图像。图像获取单元171可包括相机。图像获取单元171可包括能够采集图像的各种装置以及能够检测对象的各种传感器装置(例如,数码相机、CMOS相机、电荷耦合器件(CCD)相机和TOF相机)。
根据本发明的实施方式,相机可采集与用户的脸部以及手的姿势(例如,用户的手的形状和动作)有关的图像,控制单元170可通过所采集的图像来识别用户的脸部以及用户的手的动作。控制单元170可从所采集的用户的图像辨别用户的脸部区域和用户的手部区域,为此,可通过划分用户的脸部颜色、用户的手部颜色以及用户的脸部和手以外的背景颜色来提取用户的脸部区域和用户的手部区域。另外,控制单元170可利用所提取的用户的脸部区域和用户的手部区域来识别用户的脸部以及用户的手的动作(例如,手的形状或移动)。
显示单元180可将控制单元170中处理的图像信号、数据信号、OSD信号、从外部装置接口单元135接收的图像信号或者数据信号转换为R、G和B信号,以生成驱动信号。此外,图1所示的显示装置100仅是一个实施方式,因此图1所示的一些组件可根据实际实现的显示装置100的规格被集成、添加或省略。即,如果需要,至少两个组件可被集成为一个组件,或者一个组件可被分成两个以上组件。另外,各个框中执行的功能用于描述本发明的实施方式,其具体操作或装置不限制本发明的范围。
根据本发明的另一实施方式,与图1所示的那些不同,显示装置100可不包括调谐器131和解调单元132,并且可通过网络接口单元133或外部装置接口单元135接收图像,然后可播放图像。例如,显示装置100可被分成根据各种网络接收广播信号或内容的图像处理装置(例如机顶盒)以及播放从图像处理装置输入的内容的内容回放装置。
在这种情况下,除了参照图1描述的显示装置100以外,下面描述的根据本发明的实施方式的显示装置的操作方法可由图像处理装置(例如,单独的机顶盒)或内容回放装置(包括显示单元180和音频输出单元185)中的一个来执行。
接下来,将描述图2,图2是示出根据本发明的实施方式的显示装置100的操作方法的流程图。如所示,图像获取单元171获得用户的图像(S101)。
根据实施方式,图像获取单元171可包括相机。相机可采集显示装置100的前方,从而获得位于显示装置100的前方的用户的图像。相机可被设置在显示装置100的顶部以采集用户的图像,但是不限于此,而是可设置在显示装置100的左侧、右侧或底部中的一个处。另外,相机可不被包括在显示装置100中,而是可作为附加组件存在。
控制单元170从所获得的用户的图像识别用户的脸部和用户的姿势(S103)。控制单元170可通过所识别的用户的脸部和用户的姿势来识别用户。另外,控制单元170可从所获得的用户的图像提取用户的脸部区域和用户的手部区域。控制单元170还可通过划分用户的脸部颜色、用户的手部颜色以及用户的脸部和手以外的背景颜色来提取用户的脸部区域和用户的手部区域。另外,控制单元170可利用所提取的用户的脸部区域和用户的手部区域来识别用户的脸部和用户的手的动作(例如,手的形状或移动)。
用户的姿势可以是与用户的手部区域对应的手势。多个手势可分别对应于显示装置100的功能。即,控制单元170可识别多个手势当中的一个手势,并且可执行与所识别的手势对应的功能。这将参照图3进行描述。
图3是示出根据本发明的实施方式的用户的手势及其对应的功能的示图。参照图3,描述多个手势以及与各个手势对应的功能。用拇指和食指形成圆圈的第一手势可对应于复制显示单元180上显示的媒体内容的功能。这里,媒体内容可以是视频、图片、音频文件和应用中的一个,但是不限于此。
仅伸出食指的第二手势可对应于播放显示单元180上显示的媒体内容的功能。仅伸出食指和无名指的第三手势可对应于删除显示单元180上显示的媒体内容的功能。仅伸出无名指的第四手势可对应于移动显示单元180上显示的媒体内容的功能。
图3所示的手势以及与各个手势对应的功能仅是示例性的。图3所示的手势以及与各个手势对应的功能可默认设定,并且可根据用户的设置而变化。
再参照图2,控制单元170通过所识别的用户的脸部来检查用户是否为注册的用户(S105)。根据实施方式,控制单元170可将所识别的用户的脸部与预存储在存储单元140中的多个用户的脸部进行比较,以检查所识别的用户是否为注册的用户。存储单元140可将关于多个用户的信息分别与预注册的用户的脸部进行匹配,然后可存储这些信息。
用户信息可包括用于登录到显示装置100的用户的ID和用户的密码。控制单元170可将所识别的用户的脸部与存储在存储单元140中的多个用户的脸部进行比较,以检查与所识别的用户的脸部对应的用户是否为注册的用户。
根据实施方式,用户是否注册可涉及用户是否可接收显示装置100提供的服务。即,注册的用户是可接收显示装置10提供的服务的用户,未注册的用户是无法接收显示装置100提供的服务的用户。这里,显示装置100提供的服务可以是识别用户的手势并提供与所识别的手势对应的功能的服务,但这仅是示例性的。
如果控制单元170确认用户不是注册的用户(S105:否),则控制单元170通过显示单元180显示注册窗口以用于注册新用户(S107)。控制单元170可将所识别的用户的脸部与存储在存储单元140中的多个用户的脸部进行比较。基于比较结果,如果所识别的用户的脸部不与多个用户的脸部匹配,则控制单元170可确定所识别的用户不是注册的用户。在这种情况下,控制单元170可通过显示单元180显示注册窗口以用于将所识别的用户注册为新用户。
这将参照图4来进行描述。具体地讲,图4是示出根据本发明的实施方式的注册新用户的处理的示图。参照图4,当通过获得的图像识别的用户不是注册的用户时,控制单元170通过显示单元180显示注册窗口10以用于询问新用户的注册。当用户选择<是>按钮时,控制单元170可进行识别用户的脸部并将所识别的用户的脸部注册为新用户的处理。
当确认用户是注册的用户时(S105:是),控制单元170检查所识别的用户的姿势是否为预注册的姿势(S109)。根据实施方式,控制单元170可将所识别的用户的姿势与存储在存储单元140中的多个姿势进行比较,以检查所识别的姿势是否为注册的姿势。即,控制单元170可将所识别的用户的姿势与存储在存储单元140中的多个姿势进行比较,以检查所识别的姿势是否匹配注册的姿势。
更详细地讲,控制单元170可测量所识别的姿势与存储在存储单元140中的多个姿势中的每一个之间的相似度,并且当所测量的相似度大于基准相似度时,可确定所识别的姿势是与预存储的姿势对应的姿势。相反,控制单元170可测量所识别的姿势与存储在存储单元140中的多个姿势中的每一个之间的相似度,并且当所测量的相似度小于基准相似度时,可确定所识别的姿势不是预存储的姿势。
这里,相似度可表示识别的姿势与预注册的姿势之间的相似程度。另外,基准相似度可以是将识别的姿势确定为预注册的姿势所需的最小相似度。基准相似度可以是默认的,或者可根据用户的设置而变化。基准相似度可以是70,但这仅是一个值。
如果控制单元170确认所识别的用户的姿势不是预注册的姿势(S109:否),则控制单元170通过显示单元180显示功能指南(S111)。即,如果控制单元170确认所识别的用户的姿势不是预注册的姿势,则控制单元170可显示用于指导用户的选择以执行显示装置100的功能的功能指南。
根据实施方式,控制单元170可通过显示单元180提供功能指南,该功能指南包括识别的用户的姿势以及表示与所识别的用户的姿势相似的姿势模式的至少一个相似姿势。更详细地讲,如果所识别的姿势不是预注册的姿势,则控制单元170可在功能指南上显示所识别的姿势与多个相似姿势之间的相似度小于基准相似度的相似姿势。
这将参照图5至图9更详细地描述。具体地讲,图5至图9是显示根据本发明的实施方式的当识别的姿势不是预注册的姿势时的功能指南的示图。图5是示出根据本发明的实施方式的显示装置识别用户的手势的处理的示图,图6至图9是示出根据本发明的实施方式的当识别的姿势不是预注册的姿势时显示的功能指南的示图。以下,假设识别的用户的手势310是握成拳的右手的动作。
首先,参照图5,显示单元180显示媒体内容列表210,用户K位于显示装置100的前方并做出特定手势。图像获取单元171可获得位于显示装置100的前方的用户的图像,控制单元170可从所获得的用户的图像识别用户的脸部和用户的手势。
如果控制单元170确认所识别的用户的手势不是预注册的姿势,则控制单元170显示图6所示的功能指南300。控制单元170可围绕媒体内容列表210显示功能指南300,但不限于此,因此可将功能指南300以背景形式显示在媒体内容列表210上。
功能指南300可包括所识别的用户的手势310以及围绕所识别的用户的手势310显示的多个相似手势320a、320b、320c和320d。即,多个相似手势320a、320b、320c和320d可基于通过图像获取单元171采集的手势310围绕所采集的手势310设置。
多个相似手势320a、320b、320c和320d中的每一个与所识别的手势310之间的相似度小于基准相似度,但是可具有接近基准相似度的值。根据本发明的实施方式,假设并描述相似姿势的数量为四个,但这仅是示例性的。
描述多个相似手势320a、320b、320c和320d的各个功能的文本可显示在多个相似手势320a、320b、320c和320d中的每一个的一侧。例如,表示复制媒体内容的功能的文本<复制>可显示在第一相似手势320a(即,用拇指和食指形成圆圈的动作)的一侧。另外,表示播放媒体内容的功能的文本<播放>可显示在第二相似手势320b(即,仅伸出食指的动作)的一侧。
另外,表示删除媒体内容的功能的文本<删除>可显示在第三相似手势320c(即,伸出食指和无名指的动作)的一侧。另外,表示移动媒体内容的功能的文本<移动>可显示在第四相似手势320d(即,仅伸出无名指的动作)的一侧。
在显示功能指南300,然后检测到用户的手势的移动之后,显示装置100可识别用户的手势移动的移动方向,然后可执行与该移动方向对应的功能。例如,当用户的手势朝着向上方向移动时,显示装置100可执行媒体内容的复制功能(即,与设置在向上方向上的第一相似手势320a对应的功能)。这将稍后描述。
更详细地讲,与图6所示的功能指南300相比,图7示出功能指南300还可包括多个功能引导符(function inducer)330a、330b、330c和330d。即,功能指南300还可包括多个功能引导符330a、330b、330c和330d,所述功能引导符引导用户的手移动(用户的选择),以执行与所识别的手势310周围的多个功能引导符330a、330b、330c和330d中的每一个对应的功能。
多个功能引导符330a、330b、330c和330d中的每一个可具有箭头形式,但这仅是示例性的。多个功能引导符330a、330b、330c和330d中的每一个可被设置在所识别的手势310与多个相似手势320a、320b、320c和320d之间。
具有箭头形式的多个功能引导符330a、330b、330c和330d中的每一个可将用户的手势向特定方向引导。在显示功能指南300,然后检测到用户的手势向多个功能引导符330a、330b、330c和330d所表示的方向当中的一个方向移动之后,控制单元170可执行与用户的手势所移动的方向对应的功能。例如,当用户的手势朝着向上方向移动时,显示装置100可执行媒体内容的复制功能(即,与设置在向上方向上的第一相似手势320a对应的功能)。
因此,用户可利用注册的姿势模式容易且快速地执行显示装置100的功能,而无需精确地表示手势。另外,即使当用户没有精确地牢记复杂姿势模式时,由于提供了与用户输入的手势相似的多个相似手势作为候选列表,所以用户可容易地执行显示装置100的功能。
与图7所示的功能指南300相比,图8所示的功能指南300还可包括多个相似度指示符340a、340b、340c和340d。即,功能指南300还可包括指示多个相似手势320a、320b、320c和320d中的每一个与所识别的用户的手势310之间的相似程度的多个相似度指示符340a、340b、340c和340d。
多个相似度指示符340a、340b、340c和340中的每一个可通过相似度指导条341和基准指示符343指示多个相似手势320a、320b、320c和320d中的每一个与所识别的用户的手势310之间的相似程度。基准指示符343可对应于预定基准相似度。
多个相似度指示符340a、340b、340c和340中的每一个可基于基准指示符343通过相似度指导条341指示多个相似手势320a、320b、320c和320d中的每一个与所识别的用户的手势310之间的相似程度。由于多个相似手势320a、320b、320c和320d中的每一个与图8所示的所识别的手势310之间的相似度小于基准相似度,所以与各个相似度指导条对应的相似度可被显示为不超过基准相似度。用户可通过多个相似度指示符340a、340b、340c和340d所表示的相似度来识别具有最高相似度的相似手势,并且可在稍后执行手势动作时参照该相似手势。
与图6所示的功能指南300相比,图9所示的功能指南300还可包括多个相似度指示符340a、340b、340c和340d。即,功能指南300还可包括指示多个相似手势320a、320b、320c和320d中的每一个与所识别的用户的手势310之间的相似程度的多个相似度指示符340a、340b、340c和340d,但是可不包括多个功能引导符330a、330b、330c和330d。对多个相似度指示符340a、340b、340c和340d的描述与图8的描述相同。
根据另一实施方式,当确认用户的姿势不是预注册的姿势时,控制单元170可通过显示单元180提供包括识别的用户的姿势以及至少一个预定的基本姿势的功能指南。这里,所述至少一个预定的基本姿势可以不是与所识别的用户的姿势相似的姿势模式。基本姿势可默认设定,或者可以是用户预定的姿势。
这将参照图10来描述。具体地讲,图10是示出根据本发明的另一实施方式的显示的功能指南的示图。当控制单元170识别用户的手势不是预注册的姿势时,控制单元170通过显示单元180显示包括所识别的用户的姿势以及至少一个预定的基本手势的功能指南。这里,所述至少一个预定的基本手势是与所识别的用户的手势相似的姿势模式或者不与所识别的用户的手势相似的姿势模式。
参照图10,功能指南400可包括识别的用户的手势410、多个基本手势420a、420b、420c和420d以及多个功能引导符430a、430b、430c和440d。功能指南400上显示的多个基本手势420a、420b、420c和420d中的每一个可以是预定手势,而独立于与所识别的用户的手势410的相似度。因此,根据图10的实施方式的功能指南400可包括多个不相似指示符。
图10所示的功能指南400可包括伸出左手的所有手指的第一基本手势420a、仅伸出左手的拇指的第二基本手势420b、伸出左手的中指的第三基本手势420c以及仅伸出左手的食指和中指的第四基本手势420d。
表示对应基本手势的功能的文本可显示在多个基本手势420a、420b、420c和420d中的每一个的一侧。即,第一基本手势410a可对应于粘贴媒体内容的粘贴功能,第二基本手势410b可对应于选择媒体内容的选择功能,第三基本手势410c可对应于返回显示装置100的主屏的主屏幕(home)功能,第四基本手势410d可对应于取消媒体内容的选择的取消功能。
根据另一实施方式,控制单元170可根据与所识别的用户的手势对应的用户的手是左手还是右手来提供不同的功能指南。当所识别的用户是注册的用户(S105),并且所识别的姿势不是预注册的姿势(S109)时,控制单元170可基于用户的脸部与用户的手势的位置关系显示功能指南。
更详细地讲,控制单元170可基于用户的脸部根据设置用户的手势的方向提供不同的功能指南。更详细地讲,当控制单元170基于用户的脸部确认用户的手势被设置在左侧时,控制单元170可确定与用户的手势对应的手是左手,当控制单元170基于用户的脸部确认用户的手势被设置在右侧时,控制单元170可确定与用户的手势对应的手是右手。
控制单元170可根据检查的用户的手的方向提供不同的功能指南。根据实施方式,当所检查的用户的手是右手时,控制单元170可提供与所识别的手势相似的姿势模式,当所检查的用户的手是左手时,控制单元170可提供基本姿势模式。
这将参照图11至图14进行描述。具体地讲,图11至图14是根据本发明的实施方式的根据识别的手势表示哪一只手来显示不同的功能指南的示图。例如,图11和图12是示出当与所识别的手势对应的手是右手时显示的功能指南的示图,图13和图14是示出当与所识别的手势对应的手是左手时显示的功能指南的示图。
参照图11,控制单元170可识别通过图像获取单元171获得的用户的脸部和用户的手势,并且可基于用户的脸部检查用户的手势的位置。如果控制单元170根据所确认的手势的位置确认与手势对应的手是右手,则控制单元170可如图12所示显示与右手对应的功能指南300。图12所示的功能指南300与图8所示的功能指南300相同。即,如果控制单元170确认与所识别的用户的手势对应的手是右手,则控制单元170可显示提供与右手的手势相似的姿势模式的功能指南300。另外,当与所识别的用户的手势对应的手是右手时,控制单元170可显示与图6、图7和图9对应的功能指南300。
参照图13,控制单元170可识别通过图像获取单元171获得的用户的脸部和用户的手势,并且可根据所确认的手势的位置来基于用户的脸部检查用户的手势的位置。如果控制单元170确认与所识别的用户的手势对应的手是左手,则控制单元170可如图14所示通过显示单元180显示包括多个基本手势的功能指南400。
图14所示的功能指南400与图10所示的功能指南400相同。即,如果控制单元170确认与识别的用户的手势对应的手是左手,则控制单元170可提供包括与左手的手势相似的姿势模式以及预定的基本姿势模式的功能指南400。
与图11至图14的描述不同,根据本发明的另一实施方式,当所检查的用户的手是右手时,控制单元170可提供包括基本姿势模式的功能指南,当所检查的用户的手是左手时,控制单元170可提供与左手的手势相似的姿势模式。这将参照图15和图16进行描述。
参照图15,当与识别的用户的手势对应的手是左手时,控制单元170可显示与左手对应的功能指南300。在图15所示的功能指南300中,与图12相比,仅手的方向改变,而剩余内容可与图12相同。即,与左手对应的功能指南300可包括与所识别的左手对应的手势370、多个相似手势350a、350b、350c和350d、多个功能引导符330a、330b、330c和330d以及多个功能指示符360a、360b、360c和360d。
参照图16,当与识别的手势对应的手是右手时,控制单元170可显示包括基本手势模式的功能指南400。在图16所示的功能指南400中,与图14相比,仅手的方向改变,而剩余内容可与图14相同。然而,本发明不限于此,当与所识别的用户手势对应的手是右手时,控制单元170可显示与图14所示的功能指南400相同的指南。
根据另一实施方式,当用户的手势是用户的双手的姿势时,控制单元170可显示与双手对应的功能指南300。这将参照图17和图18来描述。具体地讲,图17是示出根据本发明的实施方式的当识别的手势是用户的双手的姿势时显示的功能指南的示图。
参照图17,当识别的手势是用户的双手的姿势时,控制单元170可显示与双手对应的功能指南500。即,功能指南500可包括识别的双手的手势510以及多个相似手势520a、520b、520c和520d。多个相似手势520a、520b、520c和520d中的每一个可基于识别的双手的手势510设置在手势510的上侧、下侧、左侧和右侧。
描述多个相似手势520a、520b、520c和520d的各个功能的文本可显示在多个相似手势520a、520b、520c和520d中的每一个的一侧。例如,表示放大媒体内容的显示的功能的文本<放大>可显示在第五相似手势520a(即,用双手的每一只手的拇指和食指形成圆圈的动作)的一侧。
另外,表示缩小媒体内容的显示的功能的文本<缩小>可显示在第六相似手势520b(即,仅伸出双手的每一只手的食指的动作)的一侧。另外,表示显示前一内容列表的功能的文本<向上翻页>可显示在第七相似手势520c(即,伸出双手的每一只手的拇指和食指的动作)的一侧。另外,表示显示下一内容列表的功能的文本<移动>可显示在第八相似手势520d(即,仅伸出双手的每一只手的无名指的动作)的一侧。
另外,图17所示的功能指南500还可包括引导对应功能的多个功能引导符530a、530b、530c和530d以及表示相似程度的多个相似度指示符540a、540b、540c和540d。
图18是示出根据本发明的另一实施方式的当识别的手势是用户的双手的姿势时显示的功能指南的示图。当所识别的手势是用户的双手的姿势时,控制单元170可提供功能指南600,该功能指南600包括预定的双手基本姿势模式,而独立于所识别的双手姿势与预注册的双手姿势之间的相似度。
即,如图18所示,功能指南600可包括识别的双手姿势610、多个双手基本姿势620a、620b、620c和620d以及多个功能引导符630a、630b、630c和630d。描述多个双手基本姿势620a、620b、620c和620d的各个功能的文本可显示在多个双手基本姿势620a、620b、620c和620d中的每一个的一侧。
例如,表示显示频道信息的功能的文本<频道浏览>可显示在第一双手基本姿势620a(即,张开双手的每一只手的拇指和食指并形成聚拢形状的动作)的一侧。另外,表示搜索功能的文本<搜索>可显示在第二双手基本姿势620b(即,双手彼此交握的动作)的一侧。另外,表示增大音频的音量的功能的文本<音量增大>可显示在第三双手基本姿势620c(即,张开双手的每一只手的动作)的一侧。
另外,表示减小音频的音量的功能的文本<音量减小>可显示在第四双手基本姿势620d(即,张开双手的每一只手并交叉的动作)的一侧。
根据另一实施方式,当识别的手势是用户的双手的姿势时,控制单元170可通过显示单元180显示图16所示的提供基本姿势模式的功能指南,而非图17所示的功能指南。
再参照图2,控制单元170获得用于从功能指南画面上显示的至少一个姿势选择特定姿势的输入(S113)。根据实施方式,用于选择特定姿势的输入可以是将用户的手朝着功能指南上显示的多个手势当中的至少一个手势所在的方向移动的指示。
例如,在显示单元180上显示图7所示的功能指南300的同时,当用户朝上移动用户的手势时,控制单元170可通过识别出用户的手势向上移动来确定第一相似手势320a被选择。按照相同的方式,当用户朝左移动用户的手势时,控制单元170识别出用户的手势向左移动,并确定第二相似手势320b被选择。
当用户朝下移动用户的手势时,控制单元170识别出用户的手势向下移动,并确定第三相似手势320c被选择。当用户朝右移动用户的手势时,控制单元170识别出用户的手势向右移动,并确定第四相似手势320d被选择。
控制单元170执行与所选择的姿势对应的功能(S115)。例如,在图7所示的功能指南300中当用户朝上移动用户的手势时,第一相似手势320a可被选择,并且控制单元170可执行媒体内容的复制功能(即,与所选择的第一相似手势320a对应的功能)。
在这种情况下,假设预先选择了媒体内容。按照相同的方式,在图7所示的功能指南300中当用户朝左移动用户的手势时,第二相似手势320b可被选择,并且控制单元170可执行媒体内容的播放功能(即,与所选择的第二相似手势320b对应的功能)。
接下来,参照图19至图26描述操作S113至S115。具体地讲,图19至图26是示出根据本发明的实施方式的依据功能指南中显示的特定姿势的选择执行对应功能的处理的示图。以下,假设并描述选择了媒体内容211<电影1>。媒体内容211的选择可通过用户手势识别来实现。
参照图19,在显示装置100显示功能指南300的同时,当用户朝上移动手时,控制单元170可检测用户的手的移动方向。控制单元170可基于所识别的用户的手势310来选择设置在用户的手的向上方向上的第一相似手势320a,并可执行与所选择的第一相似手势320a对应的多个功能。即,当用户朝上移动手时,如图20所示,表示<电影1>的副本的媒体内容213可显示在内容列表210上。
参照图21,在显示装置100显示功能指南300的同时,当用户朝左移动手时,控制单元170可检测用户的手的移动方向。控制单元170可基于所识别的用户的手势310来选择设置在用户的手的向左方向上的第二相似手势320b,然后可执行与所选择的第二相似手势320b对应的媒体内容的播放功能。即,当用户朝左移动手时,如图22所示,表示<电影1>的媒体内容211可通过显示单元180播放。
参照图23,在显示装置100显示功能指南300的同时,当用户朝下移动手时,控制单元170可检测用户的手的移动方向。控制单元170可基于所识别的用户的手势310来选择设置在用户的手的向下方向上的第三相似手势320c,然后可执行与所选择的第三相似手势320c对应的媒体内容的删除功能。即,当用户朝下移动手时,如图24所示,表示<电影1>的媒体内容211可从内容列表210删除。
参照图25,在显示装置100显示功能指南300的同时,当用户朝右移动手时,控制单元170可检测用户的手的移动方向。控制单元170可基于所识别的用户的手势310来选择设置在用户的手的向右方向上的第四相似手势320d,然后可执行与所选择的第四相似手势320d对应的媒体内容的播放功能。即,当用户朝右移动手时,如图26所示,表示<电影1>的媒体内容211可向右移动。
此外,如果控制单元170确认所识别的用户的姿势是预注册的姿势(S109),则控制单元170执行与所识别的姿势对应的显示装置100的功能(S117)。在控制单元170测量所识别的姿势与存储在存储单元140中的多个姿势中的每一个之间的相似度之后,当所测量的相似度大于基准相似度时,控制单元170可确定所识别的姿势是预注册的姿势,并且可执行与预注册的姿势对应的功能。例如,当识别的用户的手势是预注册的手势时,控制单元170不显示功能指南,而是可立即执行与预注册的手势对应的功能。
根据本发明的各种实施方式,当提供显示相似姿势以及与各个相似姿势对应的功能的功能指南时,用户不需要牢记复杂手势模式,从而可改进用户的便利。此外,根据本发明的各种实施方式,作为根据用户手势识别来显示基本手势模式的功能指南,用户不需要牢记复杂手势模式,从而可改进用户的便利。
然后,参照图27,将描述根据本发明的另一实施方式的显示装置100的操作方法。如所示,图像获取单元171获得用户的图像(S301)。
根据实施方式,图像获取单元171可包括相机。相机可采集显示装置100的前方,从而获得位于显示装置100的前方的用户的图像。相机可被设置在显示装置100的顶部,以采集用户的图像,但是不限于此,而是可设置在显示装置100的左侧、右侧或底部中的一个处。另外,相机可不被包括在显示装置100中,而是可作为附加组件存在。
控制单元170从所获得的用户的图像识别用户的脸部和用户的姿势(S303)。控制单元170可通过所识别的用户的脸部和用户的姿势来识别用户。另外,控制单元170可从所获得的用户的图像提取用户的脸部区域和用户的手部区域。
控制单元170可通过划分用户的脸部颜色、用户的手部颜色以及用户的脸部和手以外的背景颜色来提取用户的脸部区域和用户的手部区域。另外,控制单元170可利用所提取的用户的脸部区域和用户的手部区域来识别用户的脸部和用户的手的动作(例如,手的形状或移动)。
根据本发明的实施方式,控制单元170可识别用户的脸部和用户的姿势中的一个。用户的姿势可以是与用户的手部区域对应的手势。多个手势可分别对应于显示装置100的功能。即,控制单元170可识别多个手势当中的一个手势,并且可执行与所识别的手势对应的功能。这是与图3相同的描述。
控制单元170通过所识别的用户的脸部来检查用户是否为注册的用户(S305)。根据实施方式,控制单元170可将所识别的用户的脸部与预存储在存储单元140中的多个用户的脸部进行比较,以检查所识别的用户是否为注册的用户。存储单元140可使关于多个用户的信息分别与预注册的用户的脸部进行匹配,然后可存储这些信息。
用户信息可包括用于登录到显示装置100的用户的ID和用户的密码。控制单元170可将所识别的用户的脸部与存储在存储单元140中的多个用户的脸部进行比较,以检查与所识别的用户的脸部对应的用户是否为注册的用户。
根据实施方式,用户是否注册可涉及用户是否可接收显示装置100提供的服务。即,注册的用户是可接收显示装置100提供的服务的用户,未注册的用户是无法接收显示装置100提供的服务的用户。这里,显示装置100提供的服务可以是识别用户的手势并提供与所识别的手势对应的功能的服务,但这仅是示例性的。
如果控制单元170确认用户不是注册的用户,则控制单元170通过显示单元180显示注册窗口以用于注册新用户(S307)。控制单元170可将所识别的用户的脸部与存储在存储单元140中的多个用户的脸部进行比较。基于比较结果,如果所识别的用户的脸部不与多个用户的脸部匹配,则控制单元170可确定所识别的用户不是注册的用户。在这种情况下,控制单元170可通过显示单元180显示注册窗口以用于将所识别的用户注册为新用户。
此外,当控制单元170确认用户是注册的用户时(S305:是),控制单元170检查所识别的用户的姿势是否为预存储的姿势(S309)。根据实施方式,控制单元170可将所识别的用户的姿势与存储在存储单元140中的多个姿势进行比较,以检查所识别的姿势是否为预存储在存储单元140中的姿势。
更详细地讲,控制单元170可测量所识别的姿势与存储在存储单元140中的多个姿势中的每一个之间的相似度,并且当所测量的相似度大于基准相似度时,可确定所识别的姿势是预存储的姿势。相反,控制单元170可测量所识别的姿势与存储在存储单元140中的多个姿势中的每一个之间的相似度,并且当所测量的相似度小于基准相似度时,可确定所识别的姿势不是预存储的姿势。
这里,相似度可表示识别的姿势与预存储的姿势之间的相似程度。另外,基准相似度可以是将识别的姿势确定为预存储的姿势所需的最小相似度。基准相似度可以是默认的,或者可根据用户的设置而变化。基准相似度可以是70,但这仅是一个值。
如果控制单元170确认所识别的用户的姿势不是预存储的姿势(S309:否),则控制单元170通过显示单元180显示姿势设定指南(S311)。如果控制单元170确认所识别的用户的姿势不是预存储的姿势(S309:否),则控制单元170可显示姿势设定指南,以将所识别的姿势注册为与预存储的姿势对应的功能(S311)。即,当所识别的用户的姿势不是预存储的姿势时,姿势设定指南可指导用户以使得所识别的用户的姿势能够具有与预存储的姿势对应的功能。
控制单元170可通过显示单元180提供姿势设定指南,该姿势设定指南包括识别的用户的姿势以及表示与所识别的用户的姿势相似的姿势模式的至少一个相似姿势。如果所识别的姿势不是预存储的姿势,则控制单元170可在姿势设定指南上显示所识别的姿势与多个相似姿势之间的相似度小于基准相似度的相似姿势。这将参照图28至图31来更详细地描述。
具体地讲,图28至图31是根据本发明的实施方式的当识别的姿势不是预存储的姿势时显示姿势设定指南的示图。即,图28是示出根据本发明的实施方式的显示装置识别用户的手势的处理的示图,图29至图31是示出根据本发明的实施方式的当识别的姿势不是预存储的姿势时显示的姿势设定指南的示图。
以下,假设识别的用户的手势710是右手握成拳的动作。然而,本发明不限于此,用户的手势可以是左手握成拳的动作,下述相似手势可以是与左手对应的姿势。
首先,参照图28,显示单元180显示媒体内容列表210,用户K位于显示装置100的前方并做出特定手势。图像获取单元171可获得位于显示装置100的前方的用户的图像,控制单元170可从所获得的用户的图像识别用户的手势。
如果控制单元170确认所识别的用户的手势不是预存储的姿势,则控制单元170显示图29所示的姿势设定指南700。控制单元170可围绕媒体内容列表210显示姿势设定指南700,但不限于此,因此可将姿势设定指南700以背景形式显示在媒体内容列表210上。
姿势设定指南700可包括所识别的用户的手势710以及显示在所识别的用户的手势710一侧的多个相似手势720a、720b和720c。即,多个相似手势720a、720b和720c可设置在通过图像获取单元171采集的手势710的一侧。多个相似手势720a、720b和720c中的每一个与所识别的手势710之间的相似度小于基准相似度,但是可具有接近基准相似度的值。根据本发明的实施方式,假设并描述相似姿势的数量为三个,但这仅是示例,因此相似姿势的数量可为一个以上。
描述多个相似手势720a、720b和720c的各个功能的文本可显示在多个相似手势720a、720b和720c中的每一个的一侧。例如,表示播放媒体内容的功能的文本<播放>可显示在相似手势720a(即,仅伸出食指的动作)的一侧。另外,表示删除媒体内容的功能的文本<删除>可显示在相似手势720b(即,伸出食指和无名指的动作)的一侧。另外,表示复制媒体内容的功能的文本<复制>可显示在相似手势720c(即,用拇指和食指形成圆圈的动作)的一侧。
多个相似度指示符730a、730b和730c可分别显示在多个相似手势720a、720b和720c的一侧。多个相似手势720a、720b和720c可分别对应于多个相似度指示符730a、730b和730c。
姿势设定指南700可包括指示多个相似手势720a、720b和720c中的每一个与所识别的用户的手势710之间的相似程度的多个相似度指示符730a、730b和730c。
多个相似度指示符730a、730b和730c中的每一个可通过相似度指导条731和基准指示符733来指示相似度指示符730a、730b和730c中的每一个与所识别的用户的手势710之间的相似程度。基准指示符733可对应于预定的基准相似度。
多个相似度指示符730a、730b和730c中的每一个可基于基准指示符733通过相似度指导条731指示多个相似手势720a、720b和720c中的每一个与所识别的用户的手势710之间的相似程度。
由于多个相似手势720a、720b和720c中的每一个与图29所示的所识别的手势710之间的相似度小于基准相似度,所以与各个相似度指导条对应的相似度可被显示为不超过基准相似度。
多个相似手势720a、720b和720c及其对应的多个相似度指示符730a、730b和730c可从上到下按照相似程度的降序排列。用户可通过多个相似度指示符730a、730b和730c所表示的相似度来识别具有最高相似度的相似手势,并且可在稍后执行手势动作时参照该相似手势。
姿势设定指南700还可包括多个设定引导符740a、740b和740c。多个设定引导符740a、740b和740c中的每一个可围绕所识别的用户的手势710设置。多个设定引导符740a、740b和740c中的每一个可具有箭头形式,但这仅是示例性的。
多个设定引导符740a、740b和740c可引导用户的手的移动(用户的选择)以使所识别的手势710与多个相似手势720a、720b和720c所表示的功能之一匹配。更详细地讲,多个设定引导符740a、740b和740c可引导用户的手的移动(用户的选择)以使所识别的手势710与多个相似手势720a、720b和720c所表示的功能之一匹配。为此,多个设定引导符740a、740b和740c中的每一个可具有特定功能。
例如,第一设定引导符740a可引导朝上的移动,第二设定引导符740b可引导朝下的移动,第三设定引导符740c可引导用户选择多个相似手势中的一个。表示设定引导符的功能的文本可进一步显示在多个设定引导符740a、740b和740c中的每一个的一侧。例如,与朝上的移动对应的<移动>可显示在姿势设定指南700上第一设定引导符740a的一侧,与朝下的移动对应的<移动>可显示在姿势设定指南700上第二设定引导符740b的一侧,与选择相似手势的功能对应的<选择>可显示在姿势设定指南700上第三设定引导符740c的一侧。这将稍后更详细地描述。
参照图30,控制单元170可突出(highlight)多个相似手势720a、720b和720c当中的与所识别的手势710具有最高相似度的相似手势720a,然后可显示该相似手势720a。例如,当相似手势720a被确定为与所识别的手势710具有最高相似度的手势时,对应相似手势729a以及与对应相似手势720a对应的相似度指示符730a可被突出并显示。根据实施方式,控制单元170可通过突出框750来突出与所识别的手势710具有最高相似度的相似手势720a。
图31是示出当识别的用户的手势710是左手时显示的姿势设定指南700的示图。当所识别的手势710是与左手对应的姿势时,控制单元170可显示与左手对应的姿势设定指南700。在图31所示的姿势设定指南700中,与图30所示的姿势设定指南700相比,手的方向从右手视角改变为左手视角。另外,第三设定引导符740c的方向改变。根据图31的实施方式,由于根据与识别的手势对应的手的方向提供针对用户定制的姿势设定指南,所以可改进用户的便利。
再参照图27,控制单元170获得用于选择显示的姿势设定指南中包括的至少一个相似姿势当中的特定相似姿势的输入(S313),并将与所选择的特定相似姿势对应的功能注册在所识别的姿势中(S315)。
图32至图35是示出根据本发明的实施方式的将显示装置的功能注册在识别的姿势中的程序的示图。在显示图30所示的姿势设定指南700然后检测到用户的手势的移动之后,识别用户的手势移动的移动方向,并且可执行与移动方向对应的功能。例如,如图32所示,当用户的手势朝下移动时,突出框750根据手势的移动而朝下移动。
如图33所示,当如图32所示用户的手势朝左移动时,控制单元170检测到手势朝左移动,并执行相似手势的选择功能(即,与向左移动对应的功能)。
参照图34,在选择相似手势720b之后,控制单元170可显示用于询问是否将所识别的手势710注册为与所选择的相似手势720b对应的功能的姿势注册窗口11。当用户同意时,控制单元170可将与所选择的相似手势720b的功能对应的媒体内容的删除功能注册在所识别的手势710中。
然后,如图35所示,控制单元170可输出指示相似手势的功能被注册在识别的手势中的姿势注册完成消息12。当稍后再次识别出手势710时,控制单元170可执行指派给手势710的媒体内容的删除功能。
根据实施方式,将与选择的特定相似姿势对应的功能注册在识别的姿势中的处理可由多个用户中的每一个来执行。即,多个用户中的每一个可选择多个相似姿势中的一个,然后可将与所选择的相似姿势对应的功能注册在识别的姿势中。因此,即使当多个用户中的每一个做出相同的姿势时,与对应姿势对应的功能可以不同。
再参照图27,控制单元170从新获得的用户的图像识别新用户的姿势(S317)。控制单元170检查新识别的用户的姿势是否与先前识别的用户的姿势相同(S319)。根据实施方式,控制单元170可通过基于皮肤颜色的分析来检查新识别的用户的姿势是否与先前识别的用户的姿势相同。更详细地讲,控制单元170可通过仅从新获得的用户的图像检测与皮肤颜色对应的部分来提取与手的候选区域对应的掩模(mask)。控制单元170可基于所提取的掩模来检查新识别的用户的姿势是否与先前识别的用户的姿势相同。
根据另一实施方式,控制单元170可通过对新识别的用户的姿势与先前识别的用户的姿势的轮廓的相似度比较来执行操作S319。即,当新识别的用户的姿势与先前识别的用户的姿势的轮廓的相似度超过基准值时,控制单元170可确认新识别的姿势与先前识别的姿势相同。
如果新识别的姿势与先前识别的姿势相同(S319:是),则执行先前识别的姿势中注册的显示装置100的功能(S321)。如果控制单元170确认新识别的姿势与先前识别的姿势不相同(S319:否),则所述方法返回到操作S311。此外,如果在S309中控制单元170确认所识别的用户的姿势是预存储的姿势,则控制单元170执行与所识别的姿势对应的显示装置100的功能(S321)。
在控制单元170测量所识别的姿势与存储在存储单元140中的多个姿势中的每一个之间的相似度之后,当所测量的相似度大于基准相似度时,控制单元170可确定所识别的姿势是预存储的姿势,并且可执行与该预存储的姿势对应的功能。例如,当识别的用户的手势是预注册的手势时,控制单元170不显示功能指南,而是可立即执行与该预注册的手势对应的功能。
然后,参照图36,将描述根据本发明的另一实施方式的显示装置的操作方法。以下,在描述图36时,将省略与图27的内容重复的内容。参照图36,图像获取单元171获得用户的图像(S501)。控制单元170从所获得的用户的图像识别用户的脸部和用户的姿势(S503)。控制单元170通过所识别的用户的脸部来检查用户是否为注册的用户(S505)。如果控制单元170确认用户不是注册的用户(S505:否),则控制单元170通过显示单元180显示用于注册新用户的注册窗口(S507)。此外,如果控制单元170确认用户是注册的用户(S505:是),则控制单元170检查所识别的用户的姿势是否为预存储的姿势(S509)。
如果控制单元170确认所识别的用户的姿势不是预存储的姿势(S509:否),则控制单元170通过显示单元180显示基准相似度设定指南(S511),并基于基准相似度设定指南设定相似姿势的基准相似度(S513)。
即,当所识别的用户的姿势不是预存储的姿势时,姿势设定指南可指导用户以设定所识别的用户的姿势与相似姿势(即,比较目标)之间的基准相似度。例如,控制单元170可提供与所识别的姿势相似的相似姿势模式,并且可通过显示单元180在所提供的相似姿势模式上显示用于设定基准相似度的基准相似度设定指南。
基准相似度设定指南可指导用户以应用户的请求设定基准相似度,而不管所识别的用户的姿势是否与预存储的姿势相同。将参照图37描述基准相似度设定指南。具体地讲,图37是示出根据本发明的实施方式的基准相似度设定指南的示图。
参照图37,基准相似度设定指南800可包括识别的用户的手势810、相似手势820和相似度指示符830。所识别的用户的手势810是由图像获取单元171采集的用户的手势。相似手势820可以是预存储的相似手势模式当中的与所识别的手势810具有最高相似度的手势。然而,这仅是示例,相似手势可以是除了预存储的相似手势模式当中的与所识别的手势810具有最高相似度的手势以外的另一相似手势。
相似度指示符830可以是表示识别的手势810和相似手势820有多相似的指示符。相似度指示符830可包括相似度指导条831和基准指示符833。相似度指导条831可表示所识别的手势810与相似手势820之间的相似程度。
作为预定的基准相似度,基准指示符833可表示将所识别的手势810识别为预存储的手势所需的最小基准相似度。参照图37,由基准指示符指示的基准相似度被设定为80,测量的相似度由60指示。
根据实施方式,基准相似度可根据用户的输入来手动设定。即,控制单元170可接收用于设定基准相似度的用户输入,并且可根据所接收到的用户输入来设定基准相似度。更详细地讲,与相似手势820对应的基准相似度可根据在相似度指导条831上使基准指示符向左改变的用户输入来设定。
然而,基准相似度可被设定在阈值范围内。所述阈值范围可具有20的大小,但这仅是示例性的。将基准相似度设定在阈值范围内的原因在于,当基准相似度被设定在过大的范围内时,识别的手势可对应于用户不希望的手势功能。
当通过在相似度指导条831上调节基准指示符833来设定基准相似度时,控制单元170可将所设定的基准相似度应用于所有预存储的手势。当识别新的用户的手势时,控制单元170可根据设定的基准相似度将新识别的用户的手势与各个预存储的姿势进行比较,因此可确定它们是否彼此匹配。
根据另一实施方式,基准相似度可被自动设定。将参照图38至图40描述自动设定基准相似度的示例。具体地讲,图38至图40是示出根据本发明的实施方式的自动设定基准相似度的处理的示图。为了描述自动设定基准相似度的处理,参照图37。
每次识别手势时,具有与所识别的手势810相似的模式的相似姿势可变化。即,如图37和图39所示,每次识别相同的手势时,与所识别的姿势810相似的相似姿势可变化。例如,基准相似度设定指南800可显示如图37所示与所识别的手势810的相似度为60的相似手势820,可显示如图38所示的相似度为70的相似手势850,并且可显示如图39所示的相似度为80的相似手势860。
控制单元170可测量所识别的手势810与多个改变的相似手势820、850和860中的每一个之间的相似度,并且可计算多个测量的相似度的平均值。控制单元170可将70(即,多个测量的相似度的平均值)设定为基准相似度。
即,如图40所示,当再次识别手势810时,现有基准相似度可从80被设定为70(即,多个相似度的平均值)。本文中,描述多个相似手势的数量为三个的示例,但这仅是示例性的。
根据本发明的实施方式,即使未正确地识别用户的手势,也自动调节基准相似度,从而提供适合于用户的姿势识别服务。根据另一实施方式,可通过学习来自动设定基准相似度。这将参照图41来描述。具体地讲,图41是示出根据本发明的实施方式的通过学习来自动设定基准相似度的处理的流程图。图41是图2所示的操作S513的具体示图。
参照图41,控制单元170检查维持所识别的用户的姿势的时间是否超过预定时间(S513a)。如果维持所识别的用户的姿势的时间超过预定时间,则多次测量姿势与相似姿势之间的相似度(S513b)。这里,显示在基准相似度设定指南上的相似姿势可为相同的姿势多次。
控制单元170计算多个测量的相似度的平均相似度(S513c),并将所计算出的平均相似度设定为基准相似度(S513d)。控制单元170可将基准相似度设定在阈值范围内。更详细地讲,控制单元170可将所计算出的平均相似度与现有相似度进行比较,并且当其差异超过阈值范围时,无法将所计算出的平均相似度设定为基准相似度,然后可维持现有基准相似度。
此外,如果控制单元170确认所识别的用户的姿势是预存储的姿势(S509),则控制单元170执行与所识别的姿势对应的显示装置100的功能(S515)。
根据本发明的各种实施方式,通过显示用户所做出的手势和相似姿势并且将与所显示的相似手势对应的功能注册在用户所执行的手势中,可提供适合于各个个人的姿势识别服务。
另外,根据本发明的各种实施方式,通过手动或自动地设定用户所做出的手势与相似姿势之间的基准相似度,可提供针对用户优化的姿势识别服务。
根据本发明的实施方式,可利用处理器可读代码将上述方法实现在程序记录介质上。处理器可读介质的示例可包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置,并且还可按照载波的形式实现(例如,通过互联网的传输)。
与上述显示装置有关,上述实施方式的配置和方法不受限制地应用,为了提供各种修改,一些或所有实施方式可选择性地组合和配置。
Claims (11)
1.一种控制显示装置的方法,该方法包括以下步骤:
经由所述显示装置的相机获得用户的图像;
经由所述显示装置的控制器从所获得的用户的图像识别用户的手势;以及
如果所识别的用户的手势不与预存储的姿势匹配,则经由所述显示装置的显示器显示包括不同于所识别的用户的手势的不同手势的功能指南,用于指导用户进行选择以执行所述显示装置的功能,
其中,所述不同手势包括多个相似手势,所述多个相似手势表示与所识别的用户的手势相似的姿势模式,
所述功能指南包括:
所识别的用户的手势的图像;
所述不同手势的多个图像,
其中,所述显示装置的功能表示与所述显示装置的显示器上显示的媒体内容的播放相关的功能,
所述不同手势的各个图像围绕所识别的用户的手势的图像设置,
该方法还包括以下步骤:
识别用户的手朝着所述不同手势的所述多个图像中的一个图像被设置的方向移动,
基于识别结果选择与所述方向相对应的不同手势的图像,以及
执行所述显示装置的与所选择的不同手势的图像相对应的功能,
其特征在于,所述功能指南还包括多个相似度指示符,所述多个相似度指示符表示所述不同手势中的每一个与所识别的用户的手势之间的相似程度,并且
所述方法还包括以下步骤:突出所述多个相似手势当中的与所识别的手势具有最高相似度的相似手势。
2.根据权利要求1所述的方法,其中,所述功能指南还包括:
设置在所述不同手势的各个图像的一侧并标识所述不同手势中的每一个的功能的文本。
3.根据权利要求2所述的方法,其中,所述不同手势的各个图像被设置在所识别的用户的手势的图像的上侧、下侧、左侧和右侧。
4.根据权利要求3所述的方法,其中,所述功能指南还包括多个功能引导符,所述多个功能引导符被设置在所识别的手势的图像与所述不同手势中的每一个的图像之间并引导用户进行选择以执行与所述不同手势中的每一个对应的功能。
5.根据权利要求1所述的方法,其中,所述功能指南包括:
所识别的用户的手势的图像;
多个基本手势的图像,所述多个基本手势表示由所述用户预先指定或预定的基本姿势模式;以及
设置在所述基本手势的各个图像的一侧并表示所述多个基本手势中的每一个的功能的文本,并且
其中,所述基本手势的各个图像围绕所识别的用户的手势的图像设置。
6.根据权利要求1所述的方法,该方法还包括以下步骤:从所获得的用户的图像识别所述用户的脸部,
其中,显示所述功能指南的步骤包括以下步骤:当所识别的用户的手势不是所述预存储的姿势时,基于所识别的用户的脸部与所识别的用户的手势的位置关系显示所述功能指南。
7.根据权利要求6所述的方法,其中,当所识别的用户的手势不是所述预存储的姿势时,基于所识别的用户的脸部与所识别的用户的手势的所述位置关系显示所述功能指南的步骤包括以下步骤:
基于所述用户的脸部检测所识别的用户的手势是在右侧还是在左侧;以及
基于检测结果显示所述功能指南,
其中,所述功能指南包括:
所识别的用户的手势的图像;
多个相似手势的图像,所述多个相似手势表示与所识别的用户的手势相似的姿势模式;以及
设置在所述多个相似手势的各个图像的一侧并表示所述多个相似手势中的每一个的功能的文本,并且
其中,所述多个相似手势的各个图像围绕所识别的用户的手势设置。
8.根据权利要求7所述的方法,其中,当所识别的用户的手势不是所述预存储的姿势时,基于所识别的用户的脸部与所识别的用户的手势的所述位置关系显示所述功能指南的步骤包括以下步骤:
基于所述用户的脸部检测所识别的用户的手势是在右侧还是在左侧;以及
基于检测结果显示所述功能指南,
其中,所述功能指南包括:
所识别的用户的手势的图像;
多个基本手势的图像,所述多个基本手势表示基本姿势模式;以及
设置在所述多个基本手势中的每一个的一侧并表示所述多个基本手势中的每一个的功能的文本,
其中,所述多个基本手势的各个图像围绕所识别的用户的手势设置。
9.一种显示装置,该显示装置包括:
显示器;
存储器,该存储器被配置为存储姿势;
相机,该相机被配置为获得用户的图像;以及
控制器,该控制器被配置为:
从所获得的用户的图像识别用户的手势,并且
如果所识别的用户的手势不与预存储的姿势匹配,则在所述显示器上显示包括不同于所识别的用户的手势的不同手势的功能指南,用于指导用户进行选择以执行所述显示装置的功能,
其中,所述不同手势包括多个相似手势,所述多个相似手势表示与所识别的用户的手势相似的姿势模式,
所述功能指南包括:
所识别的用户的手势的图像;
所述不同手势的多个图像,
其中,所述显示装置的功能表示与所述显示装置的显示器上显示的媒体内容的播放相关的功能,
所述不同手势的各个图像围绕所识别的用户的手势的图像设置,
所述控制器还被配置为:
识别用户的手朝着所述不同手势的所述多个图像中的一个图像被设置的方向移动,
基于识别结果选择与所述方向相对应的不同手势的图像,以及
执行所述显示装置的与所选择的不同手势的图像相对应的功能,
其特征在于,所述功能指南还包括多个相似度指示符,所述多个相似度指示符表示所述不同手势中的每一个与所识别的用户的手势之间的相似程度,并且
所述控制器还被配置为突出所述多个相似手势当中的与所识别的手势具有最高相似度的相似手势。
10.根据权利要求9所述的显示装置,其中,所述功能指南还包括:
设置在所述不同手势的各个图像的一侧并标识所述不同手势中的每一个的功能的文本。
11.根据权利要求10所述的显示装置,其中,所述功能指南还包括多个功能引导符,所述多个功能引导符被设置在所识别的手势的图像与所述不同手势中的每一个的图像之间并引导用户进行选择以执行与所述不同手势中的每一个对应的功能。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461970923P | 2014-03-27 | 2014-03-27 | |
US61/970,923 | 2014-03-27 | ||
KR1020140043359A KR102222561B1 (ko) | 2014-03-27 | 2014-04-11 | 디스플레이 장치 및 그의 동작 방법 |
KR10-2014-0043359 | 2014-04-11 | ||
KR1020140051318A KR102191177B1 (ko) | 2014-03-27 | 2014-04-29 | 디스플레이 장치 및 그의 동작 방법 |
KR10-2014-0051318 | 2014-04-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104954829A CN104954829A (zh) | 2015-09-30 |
CN104954829B true CN104954829B (zh) | 2018-06-29 |
Family
ID=51417129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410487502.1A Active CN104954829B (zh) | 2014-03-27 | 2014-09-22 | 显示装置及其操作方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9436290B2 (zh) |
EP (1) | EP2924539B1 (zh) |
CN (1) | CN104954829B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10146428B2 (en) * | 2011-04-21 | 2018-12-04 | Inpris Innovative Products From Israel Ltd | Device, system, and methods for entering commands or characters using a touch screen |
KR102209354B1 (ko) * | 2014-06-20 | 2021-01-29 | 엘지전자 주식회사 | 영상 표시 기기 및 그의 동작 방법 |
US9582296B2 (en) * | 2014-09-18 | 2017-02-28 | International Business Machines Corporation | Dynamic multi-user computer configuration settings |
KR20170104819A (ko) * | 2016-03-08 | 2017-09-18 | 삼성전자주식회사 | 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법 |
WO2018000207A1 (zh) * | 2016-06-28 | 2018-01-04 | 深圳狗尾草智能科技有限公司 | 基于单意图的技能包并行执行管理方法、系统及机器人 |
JP6790769B2 (ja) * | 2016-11-30 | 2020-11-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
US10296105B2 (en) * | 2016-11-30 | 2019-05-21 | Seiko Epson Corporation | Head-mounted display device, computer program, and control method for head-mounted display device |
CN107743257B (zh) * | 2017-02-22 | 2018-09-28 | 合肥龙图腾信息技术有限公司 | 人体姿势识别装置 |
WO2019002937A2 (en) | 2017-06-26 | 2019-01-03 | Inpris Innovative Products Form Israel, Ltd | SYSTEMS USING DUAL TOUCH CONTROL AND SOUND AND METHODS THEREOF |
CN107958232A (zh) * | 2017-12-26 | 2018-04-24 | 石狮市森科智能科技有限公司 | 基于体感交互的虚拟试衣方法、系统和试衣间 |
JP2020021222A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
CN110401801A (zh) * | 2019-07-22 | 2019-11-01 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
JP7315430B2 (ja) * | 2019-10-15 | 2023-07-26 | シャープ株式会社 | 画像形成装置、制御プログラムおよび制御方法 |
EP4160377A4 (en) * | 2020-07-31 | 2023-11-08 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | GESTURE CONTROL METHOD AND ASSOCIATED DEVICE |
KR102472956B1 (ko) | 2020-08-25 | 2022-12-01 | 네이버 주식회사 | 사용자 인증 방법 및 시스템 |
CN114253387A (zh) * | 2020-09-21 | 2022-03-29 | 芜湖美智空调设备有限公司 | 手势控制提示方法、空调器及存储介质 |
CN112418080A (zh) * | 2020-11-20 | 2021-02-26 | 江苏奥格视特信息科技有限公司 | 一种激光扫描成像仪的手指动作识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298442A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 手势识别设备、手势识别方法及程序 |
CN103383596A (zh) * | 2012-05-02 | 2013-11-06 | Lg电子株式会社 | 移动终端及其控制方法 |
CN103686269A (zh) * | 2012-09-24 | 2014-03-26 | Lg电子株式会社 | 图像显示装置及其操作方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840912B2 (en) * | 2006-01-30 | 2010-11-23 | Apple Inc. | Multi-touch gesture dictionary |
US9311528B2 (en) * | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
KR101358767B1 (ko) * | 2007-04-02 | 2014-02-07 | 삼성전자주식회사 | 사용자 입력장치의 공간상 이동에 기초한 사용자 명령수행방법 및 이를 적용한 영상기기 |
TW201009650A (en) * | 2008-08-28 | 2010-03-01 | Acer Inc | Gesture guide system and method for controlling computer system by gesture |
US8261212B2 (en) * | 2009-10-20 | 2012-09-04 | Microsoft Corporation | Displaying GUI elements on natural user interfaces |
KR101623007B1 (ko) * | 2009-11-11 | 2016-05-20 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
TWI454966B (zh) * | 2012-04-24 | 2014-10-01 | Wistron Corp | 手勢控制方法及手勢控制裝置 |
-
2014
- 2014-08-07 EP EP14002771.5A patent/EP2924539B1/en active Active
- 2014-08-12 US US14/457,951 patent/US9436290B2/en active Active
- 2014-09-22 CN CN201410487502.1A patent/CN104954829B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298442A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 手势识别设备、手势识别方法及程序 |
CN103383596A (zh) * | 2012-05-02 | 2013-11-06 | Lg电子株式会社 | 移动终端及其控制方法 |
CN103686269A (zh) * | 2012-09-24 | 2014-03-26 | Lg电子株式会社 | 图像显示装置及其操作方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2924539B1 (en) | 2019-04-17 |
US9436290B2 (en) | 2016-09-06 |
EP2924539A1 (en) | 2015-09-30 |
US20150277573A1 (en) | 2015-10-01 |
CN104954829A (zh) | 2015-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104954829B (zh) | 显示装置及其操作方法 | |
KR102222561B1 (ko) | 디스플레이 장치 및 그의 동작 방법 | |
KR102238330B1 (ko) | 디스플레이 장치 및 그의 동작 방법 | |
CN111093026A (zh) | 视频处理方法、电子设备及计算机可读存储介质 | |
CN104246661A (zh) | 使用手势与装置交互 | |
TWI691843B (zh) | 電子裝置以及配對電子裝置的方法 | |
US10133903B2 (en) | Remote control device and operating method thereof | |
EP3255896B1 (en) | Display device | |
TW201939435A (zh) | 圖像處理方法和相關的圖像處理裝置 | |
US20130127754A1 (en) | Display apparatus and control method thereof | |
CN103927101A (zh) | 操作控件的方法和装置 | |
CN106886540A (zh) | 一种数据搜索方法、装置以及用于数据搜索的装置 | |
CN107333182A (zh) | 多媒体文件的播放方法及装置 | |
CN103955274A (zh) | 应用控制方法和装置 | |
KR101668943B1 (ko) | 멀티미디어 장치, 멀티미디어 장치의 제어 방법, 및 멀티미디어 장치의 제어 프로그램 | |
WO2017104089A1 (ja) | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 | |
US10162423B2 (en) | Image display apparatus and operation method thereof | |
JP2011130421A (ja) | 移動端末を用いるiptvサービス制御方法およびシステム | |
CN107256242A (zh) | 搜索结果显示方法及装置、终端、服务器及存储介质 | |
CN109076265A (zh) | 提供爬取功能的显示装置及其操作方法 | |
KR102194011B1 (ko) | 영상 표시 기기 및 그의 동작 방법 | |
CN109873895A (zh) | 屏幕控制方法、装置以及屏幕 | |
KR20160004739A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
TWI710251B (zh) | 一鍵切換多用戶之個人化電視介面及其系統 | |
KR20180054052A (ko) | 디스플레이 장치 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |