CN105814522B - 基于运动识别来显示虚拟输入设备的用户界面的设备和方法 - Google Patents

基于运动识别来显示虚拟输入设备的用户界面的设备和方法 Download PDF

Info

Publication number
CN105814522B
CN105814522B CN201480065542.5A CN201480065542A CN105814522B CN 105814522 B CN105814522 B CN 105814522B CN 201480065542 A CN201480065542 A CN 201480065542A CN 105814522 B CN105814522 B CN 105814522B
Authority
CN
China
Prior art keywords
user
virtual input
finger
input device
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480065542.5A
Other languages
English (en)
Other versions
CN105814522A (zh
Inventor
权五允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105814522A publication Critical patent/CN105814522A/zh
Application granted granted Critical
Publication of CN105814522B publication Critical patent/CN105814522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

一种显示设备包括：用户界面(UI)产生器，被配置为产生虚拟输入设备的UI；相机，被配置为拍摄用户手势；以及控制器，被配置为将所拍摄的用户手势与存储在模板中的用户手势进行比较，并控制UI产生器显示与匹配的用户手势相对应的虚拟输入设备的UI。

Description

基于运动识别来显示虚拟输入设备的用户界面的设备和方法
技术领域
根据示例性实施例一致的设备和方法涉及基于运动识别来显示虚拟输入设备，更具体地，涉及识别用户手势并根据用户手势来显示和操纵特定虚拟输入设备。
背景技术
近年来，已经开发了使用手势识别以识别用户手势并执行与识别的手势相关的预定命令的命令输入设备。
通常，用户优先通过方便的输入方法输入命令。然而，现有技术的使用手势的命令输入方法需要复杂的技术解决方案，诸如语音识别技术的附加应用来应用手势识别技术，并且如果在真实输入设备(例如，遥控器)不可用的环境下不应用语音识别技术，则会导致困难的情况。
发明内容
技术问题
一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为不但仅通过手势识别来显示各种虚拟输入设备的UI，而且通过识别手指手势所显示的虚拟输入设备的UI来输入用户命令。
一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为重置用户手指相对于所显示的虚拟输入设备的位置，并且即使用户手指的位置由于用户从屏幕移开他/她的眼睛且随后把他/她的眼睛转回屏幕而改变，也连续地提供用户命令的输入。
一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为支持语音引导以确保即使在视觉有缺陷的人或用户从设备移开他/她的眼睛时也方便地输入用户命令。
一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为当用户通过所显示的虚拟输入设备的UI给出输入时产生与从所操纵的真实输入设备产生的操纵声音相似的声音。
问题的解决方案
根据示例性实施例的一方面，提供了一种用于基于运动识别来显示虚拟输入设备的用户界面(UI)的设备，所述设备包括：显示器，被配置为显示图像；存储器，被配置为存储将用户手势与不同虚拟输入设备关联的模板；用户界面(UI)产生器，被配置为产生虚拟输入设备的UI；相机，被配置为拍摄用户手势；以及控制器，被配置为将所拍摄的用户手势与存储在存储器的模板中的用户手势进行比较，并控制UI产生器在显示器上显示与所匹配的用户手势相对应的虚拟输入设备的UI。
所述虚拟输入设备可以包括遥控器、触摸遥控器、键盘和鼠标。
所述用户手势可以包括真实输入设备的抓握手势。
用于显示虚拟输入设备的用户界面(UI)的设备还可以包括：运动计算器，被配置为识别用户的手指手势以及用户的面部方向或凝视，以操作所显示的虚拟输入设备的UI。
所述控制器可以基于由运动计算器计算的用户的手指手势在虚拟输入设备的UI上显示指示器。
所述运动计算器可以识别用户手指的移动方向、移动量和位置，并计算在虚拟输入设备的UI上所述指示器相对于实际手指的大小。
所述存储器可以存储以下项中的至少一项：根据用户的手指手势的虚拟输入设备的操纵声音、说明功能的执行的语音以及说明用户手指所位于的虚拟输入设备的功能按钮名称的语音。
所述运动计算器可以通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视或非凝视。
如果用户的凝视被确定为非凝视状态，则所述控制器可以重置用户之前的手指位置。
如果用户的凝视被确定为非凝视状态，则所述控制器可以改变到语音引导模式。
所述控制器可以根据用户命令删除、添加和修改虚拟输入设备的UI的功能按钮。
根据示例性实施例的一方面，提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法，所述方法包括：存储示出用户手势与不同虚拟输入设备之间的关联的模板；拍摄用户手势；将所拍摄的用户手势与存储器中的利用模板登记的用户手势进行比较；以及根据比较结果来显示与所匹配的用户手势相对应的虚拟输入设备的UI。
所述识别可以包括：识别用户手指的移动方向、移动量和位置，并计算在虚拟输入设备的UI上指示器相对于实际手指的大小。
识别用户的面部方向或凝视可以包括：通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视或非凝视。
本发明的有益效果
根据本发明，可以仅通过用户手势来简单地显示各种虚拟输入设备的UI。
即使用户手指相对于所显示的虚拟输入设备的位置被重置，也可以正确地识别用户手势。
即使用户手指的位置由于用户从屏幕移开他/她的眼睛且随后把他/她的眼睛转回屏幕而改变，也可以连续地提供用户命令的输入。
可以基于运动识别来显示虚拟输入设备的UI，配置为支持语音引导以确保即使在视觉有缺陷的人或用户从设备移开他/她的眼睛时也方便地输入用户命令。
可以基于运动识别来显示虚拟输入设备的UI，配置为当用户通过所显示的虚拟输入设备的UI给出输入时产生与从所操纵的真实输入设备产生的操纵声音相似的声音。
附图说明
通过参照附图描述特定示例性实施例，上述和/或其他方面将变得更加显然，在附图中：
图1是根据示例性实施例的用于基于运动识别来显示虚拟输入设备的用户界面(UI)的设备的框图；
图2示出了示出用户手势与虚拟输入设备之间关联的模板；
图3示出了使用根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的设备；
图4示出了根据示例性实施例的虚拟输入设备的UI的编辑；以及
图5是示出了根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法的流程图。
具体实施方式
下面将参照附图更加详细地描述特定示例性实施例。
在以下描述中，即使在不同的图中，相同的附图参考标号用于相同的元件。在描述中定义的事项(例如，详细的构造和要素)被提供以辅助对示例性实施例的全面理解。因此，清楚的是可以实现示例性实施例而不需要那些具体定义的事项。此外，不再详细描述公知功能或构造，以免不必要的细节混淆示例性实施例。
根据示例性实施例的用于基于运动识别来显示虚拟输入设备的用户界面(UI)的显示设备100可以包括配备有相机的电视(TV)、个人计算机(PC)、智能电话、膝上型计算机、个人数字助理(PDA)、游戏机等。
如图1所示，根据示例性实施例的显示设备100可以包括存储设备110、UI产生器120、相机130、控制器140、显示器160和语音输出设备170。除了前述元件之外，显示设备100还可以包括其他元件，例如包括调谐器的图像接收器(未示出)、有线/无线通信部(未示出)、时序控制器(未示出)、图像处理器(未示出)和语音处理器(未示出)。
存储设备110可以预先存储与用户手势相关的虚拟输入设备的模板数据库(DB)、用户个人信息DB、根据手指手势的声音效果DB、说明虚拟输入设备的UI中的按钮名称的语音DB以及说明根据手指手势所输入的命令的执行的语音DB。当然，存储设备110可以存储包括图像数据、图形数据和操作系统(OS)的其他各种信息。
图2示出了显示出用户手势与虚拟输入设备之间的关联的模板的示例。在该模板中，使用两只手的键盘打字手势与虚拟键盘相关；使用一只手的鼠标抓握手势与虚拟鼠标相关；以及使用一只手的遥控器抓握手势与遥控器相关。
用户的个人信息DB登记有包括每个用户频繁使用的按钮的虚拟输入设备，并且存储包括每个用户频繁使用的按钮的虚拟输入设备。用户可以通过拖放来删除不想要的按钮，或者通过编辑虚拟输入设备的初始基本UI来添加并存储其他按钮。
根据手指手势的声音效果DB可以通过用户设置来存储虚拟键盘的打字声音、虚拟鼠标的点击声音以及虚拟遥控器的按钮触摸声音，或者通过识别手指手势将虚拟键盘的打字声音、虚拟鼠标的点击声音以及虚拟遥控器的按钮触摸声音存储为基本设置。
说明虚拟输入设备的UI中的按钮名称的语音DB可以存储宣告用户手指所位于的每个虚拟输入设备的UI中的按钮名称的语音。例如，如果用户手指位于“录音”按钮上，则可以存储消息“你的手指位于录音按钮上”并且之后宣告该消息。
说明根据手指手势所输入的命令的执行的语音DB可以存储说明根据手指手势的用户命令的语音。例如，如果用户将“录音”按钮拖放到垃圾箱中以删除该按钮并形成他/她自己的虚拟输入设备，则可以定义并预先存储消息“录音按钮已被放入垃圾箱中以进行删除”。
存储设备110可以包括以下至少一种类型的存储介质：闪存、硬盘、多媒体卡(MMC)微型、存储卡(例如SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。
UI产生器120可以产生并显示与所识别的用户手势相对应的虚拟输入设备的UI。虚拟输入设备的UI表示包括诸如虚拟键盘、虚拟遥控器、触摸遥控器、虚拟鼠标等各种按钮的用于接收用户输入的图像。用户可以点击、双击或触摸前述按钮以输入预定命令。
如图3所示，相机130可以拍摄用户的手势、面部180和/或眼睛182。可以产生用户面部的图像184和/或(由区域188指示的)用户手势的图像。相机130可以包括网络摄像机、云台摄像机、数字相机、模拟相机和摄录机。相机130可以被单独提供，或者可以安装在显示设备100中。相机130可以仅安装在显示设备100的前表面中，或者可以安装在显示设备100的不同表面或不同位置，以拍摄2D或3D图像。
控制器140可以控制显示设备100的各个元件，例如存储设备110、UI产生器120、相机130、显示器160和语音输出设备170。
控制器140可以将由相机130拍摄的用户手势的图像与存储在存储设备110中的手势进行比较，并且控制UI产生器120产生和显示与匹配的手势相对应的虚拟输入设备的UI。
控制器140可以包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、微控制器和微处理器。
运动计算器150可以基于由相机130拍摄的用户图像来计算用户的面部方向、凝视方向和手指手势。运动计算器150可以通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视状态(图像184)或用户的非凝视状态(图像186)。也就是说，在用户的凝视状态下，用户的凝视朝向TV。在用户的非凝视状态下，用户的凝视不朝向TV的方向。
运动计算器150可以接收由相机130拍摄的用户手势(手指手势)，并计算手指位置、手指移动量、手指移动方向以及虚拟输入设备的UI相对于实际手指的大小。控制器140可以通过使用由运动计算器150计算的手指位置、手指移动量、手指移动方向以及虚拟输入设备的UI相对于实际手指的大小来执行各种命令。运动计算器150可以包括软件、程序或包括软件的硬件。
显示器160可以显示由图像处理器(未示出)处理的图像和/或由UI产生器120产生的虚拟输入设备的UI。显示器160可以在多个水平扫描线垂直布置时显示单个静止图像帧。显示器160包括显示面板(未示出)以显示图像。显示面板可以包括：包含液晶层的液晶面板、包含有机发光层的有机发光面板或者等离子显示面板。显示器160可以包括柔性面板。
语音输出设备170可以包括扬声器，并且可以基于由语音处理器(未示出)处理的语音信号来输出声音。语音处理器可以从存储设备110接收与由运动计算器150计算的手指手势相对应的语音信号，并且可以将语音信号处理为可由语音输出设备170输出的信号。基于运动计算器150计算的手指手势，语音输出设备170可以输出根据用户的手指手势的虚拟输入设备的操纵声音、说明功能的执行的语音以及说明用户手指所位于的虚拟输入设备的功能按钮名称的语音。
将参考作为示例的TV来描述根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法。
如图3所示，如果TV用户在观看TV的同时作出抓握遥控器的手势，则相机130拍摄TV用户的手势(区域188)。将拍摄的抓握遥控器的手势与预先创建并且存储在存储设备110中的各个手势的模板中的预定义手势进行比较，并且将虚拟输入设备的UI在显示器160上显示为针对匹配手势的输入设备。将针对各个手势的输入设备的虚拟UI进行映射是基于当用户使用遥控器、键盘和/或鼠标时用户手势的一般特性。例如，如图2所示，像在键盘上打字一样伸展两只手的手势与键盘映射，用一只手覆盖鼠标并弯曲食指的手势与鼠标映射，用一只手握住遥控器并抬起拇指的手势与遥控器映射。
如果用户作出抓握遥控器的手势，则可以显示包括普通虚拟遥控器和触摸虚拟遥控器的不同虚拟遥控器以便用户选择偏爱的遥控器。之后，如果用户作出移动拇指的手势，则可以显示普通遥控器，并且如果用户作出主要用于使用触摸遥控器的食指的手势，则可以显示触摸遥控器。可以通过直接识别手指手势而无需抓握手势步骤来减少显示虚拟遥控器的UI的步骤。
用户可以附加地向存储设备110登记用户抓握真实遥控器的手指形状，以增加用户抓握手势的识别率。具体地，可以用半色调来显示虚拟遥控器，并且如果在识别并显示抓握和手指手势之后随着时间没有获得关于用户手势或手指手势的附加信息，则虚拟遥控器的透明度变得更高，并且在预定时间之后虚拟遥控器可以从屏幕消失。
如图4所示，在虚拟遥控器显示在屏幕中之后，可以检测用户的手指手势，且可以在虚拟遥控器的UI上显示检测到的手指位置。如果显示了检测到的手指位置，则可以支持用户通过查看TV屏幕中的虚拟遥控器来调整他/她的手指手势量以按下虚拟遥控器的按钮。
在虚拟遥控器显示在TV屏幕中之后，如果用户作出触摸或按压虚拟遥控器的按钮的手势，则可以产生相应的声音，以使用户可以感觉到他/她的操纵虚拟遥控器的按钮的手势。必要时，用户可以编辑期望的声音，或者可以将声音设置为默认。
在根据用户面部方向或凝视的识别结果已经由相机130识别出虚拟遥控器的用户没有直接观看TV屏幕(非凝视状态186)的情况下，如果在TV屏幕中显示虚拟遥控器之后用户作出操纵虚拟遥控器的手指手势，则可以启用用于输出说明用户手指所位于的按钮的名称的语音的自动引导功能，以便用户方便地使用虚拟遥控器而无需直接查看虚拟遥控器。也就是说，可以同时检测和分析手指手势、面部方向以及对TV的凝视或非凝视。
然而，可以通过使用连续帧数据来确定手指手势，并且可以基于可选的连续帧数据或不连续帧数据来确定朝向TV屏幕的凝视或非凝视以及面部方向。这是因为在用户是视觉有缺陷的人的情况下，即使面部方向指向TV，用户的凝视也不一定指向TV屏幕。可以基于红外相机所获得的数据来确定相对于TV屏幕的用户的凝视状态或用户的非凝视状态。
如果用户临时地移动，则在TV屏幕中显示的虚拟遥控器上的手指位置和手势可以改变。即使在虚拟遥控器被显示的同时用户再次作出操纵虚拟遥控器的手势，可以将该手势识别为与初始手指位置不同的位置，并由此会发生故障。因此，如果基于用户面部方向或凝视的识别结果，由相机识别出虚拟遥控器的用户没有直接观看TV屏幕，则可以重置初始显示的手指位置，并且可以设置在用户再次向前看之后识别的手指位置。
图4示出了将初始虚拟遥控器162编辑为期望的虚拟遥控器164的示例。如果用户想要登记虚拟遥控器的特定功能按钮，例如利用他/她自已的简单手势来登记语音对话麦克风按钮，则他/她可以双击在屏幕中显示的虚拟遥控器中的有关按钮，然后屏幕移动到可以替换该按钮的手势的登记屏幕，并且用户可以登记或删除他/她自己的简单手势。在用户通过书签手势检查登记列表并通过虚拟遥控器选择手势之后，可以使用针对每个用户登记的简单手势。除了虚拟遥控器的频繁使用的按钮之外，可以通过使用虚拟遥控器的垃圾箱功能将其他按钮拖放到垃圾箱中，或者可以取回其他按钮并在必要时进行显示。因此，通过用户的登记所形成的由此仅包括用户所需的按钮的虚拟遥控器提供了高度直观的界面并且易于使用。具体地，用户可以按照他/她的品味并针对他/她的视力来放大、缩小或另外设置虚拟遥控器的按钮的数量、位置和大小。
可以在虚拟遥控器中设置“主页”按钮，使得当在市场上发布TV时按钮可以显示为集合。可以将TV的屏幕上需求(on screen demand，OSD)菜单的详细功能指定为虚拟遥控器的按钮中的键盘快捷方式，使得可以通过双击手势执行该详细功能。
将参照图5来描述根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法。
将示出用户手势与不同虚拟输入设备之间的关系(映射)的模板预先存储在存储设备110中(操作S210)。当然，存储设备110可以预先存储说明虚拟输入设备的UI的按钮的名称或功能的语音数据、说明通过手势执行的功能的语音数据、虚拟输入设备的UI的按钮的操纵声音以及针对各个用户手势的虚拟输入设备的模板。
由相机130拍摄用户手势、面部方向和凝视(操作S220)。
将由相机130拍摄的用户手势与存储设备110中的利用模板登记的用户手势进行比较(操作S230)。
显示根据比较结果与用户手势匹配的虚拟输入设备的UI(操作S240)。
识别用户的手指手势和凝视(操作S250)。
将用户的手指位置在所显示的虚拟输入设备的UI上显示为例如手指形状的指示器(操作S260)。用户可以移动他/她的手指，并通过虚拟遥控器的UI经由他/她的手势点击或触摸期望的按钮以输入他/她的命令。
如果用户将他/她的眼睛从TV屏幕移开，则显示设备自动改变到语音模式以说明位于指示器中的特定按钮的功能或名称，并输出预定语音(操作S270)。当然，不管用户凝视如何，可以将显示设备预先设置为总是提供语音说明。
如上所述，用户可以仅通过他/她的手势显示各种虚拟输入设备的UI。
为了便利，用户可以登记并使用虚拟输入设备的他/她自己的UI。
即使视觉有缺陷的人或用户的凝视不指向前方，也提供语音引导，并且用户可以更加方便地使用虚拟输入设备的UI。
即使在用户使用所显示的虚拟输入设备的UI时环境发生了改变，也可以维持针对虚拟输入设备的UI输入命令的一致性。
此外，即使用户通过他/她的手势使用显示在显示器上的虚拟输入设备的UI，也可以像使用真实输入设备一样地提供相同的声音。
此外，基于软件的虚拟输入设备的UI是适用的，因此可以容易地执行新功能的更新。
上述示例性实施例和优点仅是示例并不应视为限制。本发明的教导易于应用于其他类型的设备。示例性实施例的描述意在说明而不是限制权利要求的范围，并且许多替代、修改和变化对于本领域技术人员将是清楚的。

Claims (14)

1.一种显示设备，包括：
显示器；
相机，被配置为获得与用户手势相对应的图像；以及
控制器，被配置为：
基于获得用户手势的第一图像，在多个手指形状中识别用户手势的手指形状，其中所述多个手指形状分别指示用户正在操作多种类型的虚拟输入设备，
识别所述多种类型的虚拟输入设备之中与所识别的手指形状相对应的虚拟输入设备的类型，
显示分别与所述多种类型的虚拟输入设备相对应的多个用户界面UI之中与所识别的虚拟输入设备的类型相对应的UI，
基于获得用户手势的第二图像，识别所述UI上用户手势的手指位置，
识别用户对显示器的凝视是凝视状态还是非凝视状态，并且
基于识别出用户对显示器的凝视是非凝视状态，重置所述UI上识别出的手指位置。
2.根据权利要求1所述的显示设备，其中所述虚拟输入设备包括遥控器、触摸遥控器、键盘和鼠标中的至少一个。
3.根据权利要求1所述的显示设备，其中所述用户手势包括对真实输入设备的抓握手势。
4.根据权利要求1所述的显示设备，还包括：运动计算器，被配置为识别用户的面部方向和用户的凝视中的一个以及用户的手指手势，以操作所显示的虚拟输入设备的UI。
5.根据权利要求4所述的显示设备，其中所述控制器基于由运动计算器计算的用户的手指手势在虚拟输入设备的UI上显示指示器。
6.根据权利要求4所述的显示设备，其中所述运动计算器识别用户手指的移动方向、移动量和位置中的至少一个，并计算在虚拟输入设备的UI上指示器相对于实际手指的大小。
7.根据权利要求4所述的显示设备，还包括：
存储器，被配置为存储以下项中的至少一项：根据用户的手指手势的虚拟输入设备的操纵声音、说明功能的执行的语音以及说明用户手指所位于的虚拟输入设备的功能按钮名称的语音。
8.根据权利要求4所述的显示设备，其中所述运动计算器通过将特定时间段内的凝视识别数据的分散与集中与阈值进行比较，将相对于显示器的用户凝视确定为凝视状态或非凝视状态。
9.根据权利要求8所述的显示设备，其中，如果用户凝视被确定为非凝视状态，则所述控制器改变到语音引导模式。
10.根据权利要求1所述的显示设备，其中所述控制器根据用户命令来删除、添加和修改虚拟输入设备的UI的功能按钮。
11.一种用于显示虚拟输入设备的UI的方法，所述方法包括：
获得与用户手势相对应的图像；
基于获得用户手势的第一图像，在多个手指形状中识别用户手势的手指形状，其中所述多个手指形状分别指示用户正在操作多种类型的虚拟输入设备；
识别所述多种类型的虚拟输入设备之中与所识别的手指形状相对应的虚拟输入设备的类型；
显示分别与所述多种类型的虚拟输入设备相对应的多个用户界面UI之中与所识别的虚拟输入设备的类型相对应的UI，
基于获得用户手势的第二图像，识别所述UI上用户手势的手指位置，
识别用户对显示器的凝视是凝视状态还是非凝视状态，并且
基于识别出用户对显示器的凝视是非凝视状态，重置所述UI上识别出的手指位置。
12.根据权利要求11所述的方法，其中所述用户手势包括相对于真实输入设备的抓握手势。
13.根据权利要求11所述的方法，还包括：识别用户的面部方向和用户的凝视中的一个以及用户的手指手势，以操作所显示的虚拟输入设备的UI。
14.根据权利要求11所述的方法，还包括：基于所识别的用户的手指手势在虚拟输入设备的UI上显示指示器。
CN201480065542.5A 2013-12-23 2014-11-20 基于运动识别来显示虚拟输入设备的用户界面的设备和方法 Active CN105814522B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130160998A KR20150073378A (ko) 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
KR10-2013-0160998 2013-12-23
PCT/KR2014/011206 WO2015099293A1 (en) 2013-12-23 2014-11-20 Device and method for displaying user interface of virtual input device based on motion recognition

Publications (2)

Publication Number Publication Date
CN105814522A CN105814522A (zh) 2016-07-27
CN105814522B true CN105814522B (zh) 2020-01-31

Family

ID=53399983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480065542.5A Active CN105814522B (zh) 2013-12-23 2014-11-20 基于运动识别来显示虚拟输入设备的用户界面的设备和方法

Country Status (4)

Country Link
US (1) US9965039B2 (zh)
KR (1) KR20150073378A (zh)
CN (1) CN105814522B (zh)
WO (1) WO2015099293A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6529221B2 (ja) * 2014-05-14 2019-06-12 キヤノン株式会社 光電変換装置及びその製造方法
US9052798B1 (en) * 2014-07-30 2015-06-09 Rally Health, Inc. Media, systems, and methods for game-based exercise tracking with virtual world variations
US10191553B2 (en) * 2015-03-12 2019-01-29 Dell Products, L.P. User interaction with information handling systems using physical objects
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN106022052B (zh) * 2016-05-26 2017-07-21 哈尔滨商业大学 一种用于服务器的电子邮件发送方法
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
WO2019027923A1 (en) * 2017-07-31 2019-02-07 C&D Zodiac, Inc. DEVICE AND VIRTUAL CONTROL SYSTEM
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
KR102145824B1 (ko) * 2018-08-14 2020-08-19 강태호 스마트 터치패드 인터페이스 방법 및 그 장치
US10824244B2 (en) 2018-11-19 2020-11-03 Facebook Technologies, Llc Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
CN113515190A (zh) * 2021-05-06 2021-10-19 广东魅视科技股份有限公司 一种基于人体手势的鼠标功能实现方法
KR20230015785A (ko) * 2021-07-23 2023-01-31 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023113204A1 (ko) * 2021-12-13 2023-06-22 삼성전자 주식회사 기능 자동 실행 과정에서 가변형 ui와 사용자 반응을 활용한 기능 실행 및 취소 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101842243A (zh) * 2007-09-06 2010-09-22 谷歌公司 动态虚拟输入设备配置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
JP2004349915A (ja) 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
JP2004356819A (ja) 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
KR100778757B1 (ko) 2006-03-03 2007-11-23 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
US7921370B1 (en) * 2006-11-29 2011-04-05 Adobe Systems Incorporated Object-level text-condition indicators
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
TWI398818B (zh) 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
KR101134245B1 (ko) 2010-05-28 2012-04-09 엘지이노텍 주식회사 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
KR101896947B1 (ko) * 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
JP2012248067A (ja) * 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
TWI540461B (zh) 2011-12-05 2016-07-01 緯創資通股份有限公司 手勢輸入的方法及系統
US9671880B2 (en) * 2011-12-22 2017-06-06 Sony Corporation Display control device, display control method, and computer program
US20130234929A1 (en) * 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
KR101791366B1 (ko) 2012-03-26 2017-10-27 애플 인크. 증강된 가상 터치패드 및 터치스크린
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
TWI497347B (zh) * 2012-05-09 2015-08-21 Hung Ta Liu 以手勢為輸入之控制系統
US9752887B2 (en) * 2012-10-18 2017-09-05 Telenav, Inc. Navigation system having context enabled navigation mechanism and method of operation thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101842243A (zh) * 2007-09-06 2010-09-22 谷歌公司 动态虚拟输入设备配置

Also Published As

Publication number Publication date
WO2015099293A1 (en) 2015-07-02
US9965039B2 (en) 2018-05-08
US20150177843A1 (en) 2015-06-25
KR20150073378A (ko) 2015-07-01
CN105814522A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
US11010867B2 (en) Automatic cropping of video content
US11468625B2 (en) User interfaces for simulated depth effects
CN113099115B (zh) 具有相机的电子装置
CN112565515B (zh) 配对外围设备的方法、电子设备和计算机存储介质
US9360965B2 (en) Combined touch input and offset non-touch gesture
TWI545496B (zh) 用於調整控制件外觀之裝置、方法及圖形使用者介面
KR101896947B1 (ko) 제스쳐를 이용한 입력 장치 및 방법
US9880727B2 (en) Gesture manipulations for configuring system settings
KR20230006421A (ko) 디스플레이 장치 및 그 제어 방법
US20150035746A1 (en) User Interface Device
CN112585566B (zh) 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
US20130222663A1 (en) User interface for a digital camera
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
EP3823295A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
US9930287B2 (en) Virtual noticeboard user interaction
EP3057313A1 (en) Display apparatus and display method
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
JP5676959B2 (ja) 情報処理装置及びその制御方法
JP7030529B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
JP7077024B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
KR20150014139A (ko) 화면 정보 제공 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant