CN102681659A - 通过动作控制的显示设备及其动作控制方法 - Google Patents

通过动作控制的显示设备及其动作控制方法 Download PDF

Info

Publication number
CN102681659A
CN102681659A CN2012100056421A CN201210005642A CN102681659A CN 102681659 A CN102681659 A CN 102681659A CN 2012100056421 A CN2012100056421 A CN 2012100056421A CN 201210005642 A CN201210005642 A CN 201210005642A CN 102681659 A CN102681659 A CN 102681659A
Authority
CN
China
Prior art keywords
motion
action
control module
recognition
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100056421A
Other languages
English (en)
Other versions
CN102681659B (zh
Inventor
柳熙涉
朴胜权
郑基濬
李东昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102681659A publication Critical patent/CN102681659A/zh
Application granted granted Critical
Publication of CN102681659B publication Critical patent/CN102681659B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种通过动作控制的显示设备及其动作控制方法。所述显示设备包括：动作识别单元，识别位于所述显示设备外部的对象的运动；存储单元，存储关于与每个动作对应的操作的信息；控制单元，使用运动非识别时间段划分运动识别时间段，确定与运动识别时间段内的对象的运动对应的动作，并且根据存储在存储单元中的信息执行与确定的动作对应的操作。

Description

通过动作控制的显示设备及其动作控制方法
技术领域
与这里提供的本公开一致的设备和方法涉及显示图像和控制动作，更具体地讲，涉及一种动作识别准确度得到提高的显示设备及其动作控制方法。
背景技术
电子技术的持续发展已经使得各种当前最高技术发展水平的电子装置被引入到市场。最近的技术应用于近来的产品，以提供更大的便利和使用效率。这些技术可包括动作识别技术和语音识别技术。
“动作识别”技术主要涉及通过动作传感器等感测动作(即，用户的运动)以及使用感测的结果。
这样的识别技术为用户提供便利，但是可能存在一些缺点。即，如果不准确地输入了动作或语音命令，则可能执行非期望的功能，或者可能根本就没有输入所述动作或语音命令，所以要求用户多次输入期望的命令直到做出正确的输入，这对于用户是不方便的。
因此，取代用户可能给频繁作出的而意图不是输入命令的动作，优选地将更容易辨别的动作设置为命令。当前，手部动作是输入动作控制的通常方式。然而，做出手部动作的方式的数量是有限的。例如，有时难以辨别手部动作(诸如，挥手、向特定方向运动、如同书本的翻页的摆动等)。
因此，需要一种允许准确地识别各种动作的方法。
发明内容
本发明构思的示例性实施例克服上述缺点以及上面没有提到的其它缺点。另外，本发明构思不需要克服上述缺点，本发明构思的示例性实施例可以不克服上述任何问题。
根据一个实施例，提供一种提高动作识别准确度的显示设备及其动作控制方法。
在一个实施例中，一种显示设备可包括：动作识别单元，识别位于所述显示设备外部的对象的运动；控制单元，如果对象做出运动，则通过使用预设的时间间隔划分和识别每个单位时间内的运动，如果对象做出运动，则使用每个单位时间内运动的方向、频率、距离和速度确定与每个单位时间内的运动对应的动作，并且根据确定的动作执行操作。
显示设备还可另外包括：存储单元，存储关于与每个动作对应的操作的信息；输出单元，根据控制单元的控制执行显示。
如果基于运动的速度将运动确定为移动动作，则控制单元延长做出移动动作的单位时间的值，忽略时间间隔的使用，并且根据移动动作的运动方向控制输出单元在屏幕上移动指向器。
如果在单位时间内对象执行多个往复运动，则控制单元将运动确定为一个挥动动作。
如果控制单元将运动确定为挥动动作，则控制单元控制输出单元改变到先前屏幕或上级屏幕。
如果在单位时间内对象沿一个方向加速移动然后停止，则控制单元将运动确定为一个摆动动作。
如果控制单元将运动确定为摆动动作，则控制单元执行改变频道或页的操作。
时间间隔是设置在两个单位时间之间的固定时间划分，在时间间隔期间不识别运动，时间间隔被设置为在250毫秒和350毫秒范围内的值，单位时间是识别一个动作所需的时间，并且被设置为从1秒到1.5秒描述范围内的值。
根据一个实施例，一种显示设备的动作控制方法可包括：识别位于所述显示设备外部的对象的运动；通过使用预设的时间间隔划分和识别每个单位时间内的运动，使用每个单位时间内运动的方向、频率、距离和速度确定与每个单位时间内的运动对应的动作，并且根据确定的动作执行操作。
确定动作的步骤可包括：如果以恒定的速度做出运动，则将运动确定为移动动作，延长做出移动动作的单位时间的值，并且忽略时间间隔的使用，执行操作的步骤可包括：根据移动动作的运动方向在屏幕上移动指向器。
确定动作的步骤可包括：如果在单位时间内对象执行多个往复运动，则将运动确定为一个挥动动作。
如果将运动确定为挥动动作，则执行操作的步骤可包括：改变到先前屏幕或上级屏幕。
确定动作的可步骤包括：如果在单位时间内对象沿一个方向加速移动然后停止，则将运动确定为一个摆动动作。
如果将运动确定为摆动动作，则执行操作的步骤可包括：执行改变频道或页的操作。
时间间隔是设置在两个单位时间之间的固定时间划分，在时间间隔期间不识别运动，时间间隔被设置为在250毫秒和350毫秒范围内的值，单位时间是识别一个动作所需的时间，并且被设置为从1秒到1.5秒描述范围内的值。
由于对可能容易错误解释的相同动作提高了识别率，所以可提高用户便利。
附图说明
通过参照附图描述本发明构思的特定示例性实施例，本发明构思的上述和/或其它方面将会更加明显，其中：
图1是根据实施例的显示设备的框图；
图2是用于解释各种实施例的显示设备的详细框图；
图3是被提供以用于解释根据实施例的确定移动动作的处理；
图4是被提供以用于解释根据实施例的确定摆动动作的处理；
图5是被提供以用于解释根据实施例的确定挥动动作的处理；
图6是被提供以用于解释根据实施例的用于启动动作识别模式的推动作；
图7和图8是示出根据实施例的用于结束动作识别模式的动作信号传输(signaling)的各种示例的示图；
图9和图10是被提供以用于解释根据各种实施例的显示设备的动作控制方法的流程图；
图11和图12是示出单位时间和时间间隔的各种示例的示图。
具体实施方式
现在将参照附图更详细地描述本发明构思的特定示例性实施例。
在下面的描述中，即使在不同的附图中，相同的附图标号也用于表示相同的部件。描述中限定的内容(诸如详细构造和部件)被提供，以用于帮助全面理解本发明构思。因此，明显的是，在不使用这些具体限定的内容的情况下，可实施本发明构思的示例性实施例。另外，由于公知的功能或构造可能会在不必要的细节上使得本发明模糊，因此不详细描述这些公知的功能或构造。
图1是根据实施例的显示设备的框图。显示设备可被实现为例如TV、移动电话、监视器、膝上型PC、电子相框、电子书、PDA或导航系统。
参照图1，显示设备100包括动作识别单元110和控制单元120。
动作识别单元110可进行操作，以识别外部对象的动作。具体地，动作识别单元110感测想要使用显示设备100的用户的运动。
为此，动作识别单元110可包括摄影装置，诸如相机。动作识别单元110拍摄位于拍摄范围内的对象(诸如用户)，并且向控制单元120提供拍摄的图像数据。
控制单元120分析拍摄的图像数据，识别用户的动作，并且根据分析结果执行操作。
在一个示例中，控制单元120可使用预设的时间间隔(即，基于单位时间)识别用户运动。具体地，控制单元120可在预设的单位时间内识别用户运动，当单位时间过去时，控制单元120可在预设的时间间隔内停止识别用户运动或忽略所述运动。因此，本说明书可将单位时间称为运动识别时间段，将时间间隔称为运动非识别时间段。
如果基于一个单位时间识别出用户的运动，则控制单元120可使用该单位时间内运动的方向、频率、距离和速度，来确定与识别的运动对应的动作。控制单元120然后可根据确定的动作执行操作。
控制单元120执行的操作可包括显示设备100的电源接通/断开、各种功能的执行或显示设备100的属性的调整。
可设置各种动作。具体地，下表中的动作和用户运动可被匹配并被存储在显示设备100中。
表1
  动作   操作
  推动作   进入动作识别模式
  结束动作   结束动作识别模式
  移动动作   移动光标或聚焦
  摆动动作   改变页或改变频道
  挥动动作   改变为上级页或先前页
  保持   选择
参照表1，“推”动作与用户沿着朝向显示设备100的方向移动他的手的运动对应。当识别出推动作时，控制单元120识别跟随在所述识别的动作之后的动作，并且执行相应的操作。推动作可包括推-拉动作和推-停止动作等，在推-拉动作中，用户展开他的手然后再次折叠，在推-停止动作中，用户保持展开他的手。
“结束”动作是用于结束动作识别模式的动作。可设置各种结束动作。例如，如果用户的手是对象，则结束动作可包括该对象触摸用户的身体或其它对象，使得用户的手不再被识别。下面将参照相应的附图对此进行更详细的解释。
“移动”(moving)动作是使得对象(诸如手)沿预定方向移动。当做出移动动作时，控制单元120根据指定的方向和速度移动光标或菜单聚焦。
“摆动”(swing)动作是沿着预定方向摆动朝向显示设备100的方向展开的手的动作。摆动动作可以是预定时间段内对象沿一个方向加速移动然后停止的动作。摆动动作也可被称为摇摆动作。控制单元120可根据摆动动作的方向将当前页改变为下一页或将当前频道改变为下一频道。
“挥动”(wave)动作是挥动朝向显示设备100的方向展开的手的动作。挥动动作可以是预定时间段内对象执行多个往复运动的动作。挥动动作也可被称为晃动动作。当识别出挥动动作时，控制单元120可将当前显示页改变为先前页或将当前广播屏幕改变为先前广播屏幕，或者将当前显示页改变为上级页(如果在当前页之上存在上级页)。
“保持”动作指的是将手保持在静止状态持续预定时间的动作。如果当光标或聚焦位于任意菜单上时做出了保持动作，则控制单元120识别出相应的菜单被选择，从而控制单元120选择该菜单并执行该菜单的功能。
虽然上面已经解释了动作和操作之间的特定匹配关系，但是提供这些特定匹配关系仅是用于举例的目的。因此，可根据需要改变匹配关系。另外，可提供多种其它动作(包括画圆圈动作、画字母动作、画数字动作或画符号动作)以及与这些动作对应的操作，并且可省略上面的表中的一些动作。
同时，除了推动作、结束动作和保持动作之外，可取决于做出运动的范围或速度以不同的变化单位执行剩余的动作。例如，通常，可以以每个调整的一个变化单位来改变频道或页，或者调整音量，诸如改变一个频道、一页或一个等级的音量。这样的动作控制方法会是不便的，这是因为用户不得不做出几次动作以影响多个单位的调整。为了改善这样的不便，可通过改变相应动作的速度或距离来改变操作的变化量。
例如，可快速做出移动动作，在这种情况下，光标或聚焦移动或速度加速。如果快速做出摆动动作或者以宽的幅度做出摆动动作，则能够以更大的增量调整页或频道，诸如一次5或10页，或者一次5或10个频道。可按照类似的方式做出挥动动作，以根据做出挥动动作的速度或幅度增大变化量。
同时，在这些动作中，在有限的范围内做出移动动作、摆动动作和挥动动作，因此可能难以辨别。例如，在当用户做出摆动动作时用户想要翻页的同时，显示设备100可能将输入的动作识别为移动动作并移动光标，而不是改变页。
此外，由于用户沿着向前的方向做出摆动动作，所以用户必须将他的手返回到初始位置(即，沿着向后的方向移动手)，以做出下一摆动动作。存在这样的可能性，即，用户的运动被不期望地识别为连续的向前摆动和向后摆动，虽然用户想要多次做出单向摆动动作。
因此，控制单元120可在多个单位时间中设置时间间隔，从而在设置的时间间隔期间不执行或忽略运动识别。例如，如果用户做出多个摆动动作，则在一个单位时间内做出用户的手沿向前的方向的第一摆动，在时间间隔期间做出用户的手沿向后的方向的随后的运动以返回到初始位置。然后可在随后的单位时间识别第二有效摆动动作。其结果是，控制单元120可有区别地识别连续的运动。
可基于通过对用户运动的一般速度和时间的测试而获得的测量值，预先设置单位时间和时间间隔的值。例如，时间间隔可被设置为在250毫秒和350毫秒之间。此外，作为用于识别一个动作而提供的固定时间的单位时间可被设置为在1秒至1.5秒之间。
如果单位时间被设置为1.2秒，时间间隔被设置为300毫秒，则控制单元120在运动发起时开始跟踪和分析相应的运动持续1.2秒，进入待机模式(在待机模式中，控制单元120在1.2秒过去时停止跟踪运动持续300毫秒)，在300毫秒过去时重新开始跟踪运动持续1.2秒。其结果是，控制单元120可基于单位时间有区别确定动作。
具体地，在挥动动作中，用户可朝向一个方向和相反方向重复地移动他的手(即，对象)。可足够快地做出这样的重复运动，以在一个单位时间内完成。控制单元120可确定在动作识别单元110拍摄的每帧的对象的位置，如果对象完成了连续的朝向预定方向移动、停止并朝向相反方向返回，则控制单元120计数为一个往复运动。因此，如果确定在一个单位时间内做出预定数量(例如，两个或更多个)的往复运动，则控制单元120确定做出了挥动运动。其后，如果确定在时间间隔之后做出预设数量的往复运动，则控制单元120确定连续做出两个挥动运动。因此，控制单元120重复地执行相应的操作两次。具体地，控制单元120可使得屏幕改变为上级屏幕，如表1中所描述。这里的“上级屏幕”指的是当前显示的内容的上级内容，诸如上级菜单屏幕或上级页。
作为另一示例，在摆动动作中，用户使他的手(即，对象)朝向一个方向移动并停止。通常，当做出摆动动作时，摆动动作加速。因此，控制单元120在手运动时最初确定做出了移动动作，如果运动加速并突然停止，则控制单元120确定做出了摆动动作。如果一个摆动动作被识别，则控制单元120执行相应的操作，待机持续下一时间间隔，并且在随后的单位时间内重新确定运动。如果如上所述做出了摆动动作，则控制单元120执行改变页或频道的操作。
同时，如果以恒定速度(即，没有加速)在预定范围内做出识别的运动，则控制单元120确定做出了移动动作。移动动作通常用于命令指向器(pointer)的运动。因此，控制单元120可将单位时间延长做出移动动作的持续时间，而不应用时间间隔。其结果是，用户可通过连续做出移动动作，来保持将指向器放置到期望的位置。
同时，如果在指向器固定在特定位置的状态下识别出保持动作(即，停止运动)，则控制单元120确定指定的菜单被选择，并执行与该菜单对应的操作。在这种情况下，当识别出保持动作时，可应用时间间隔，从而防止将为下一动作准备的运动错误地识别为有效动作。
除了移动动作之外，时间间隔也可应用于其它动作。即，为了防止在做出第一推动作之后将用户的准备运动错误地识别为有效动作，在第一推动作的单位时间过去时可应用时间间隔，在所述时间间隔期间用户可准备好做出随后的运动。
图2是根据各种实施例的显示设备的详细框图。参照图2，显示设备包括动作识别单元110和控制单元120，并且另外包括调谐器单元130、信号处理单元140、输出单元150、输入单元160、语音输入单元170和存储单元180。
调谐器单元130调谐到广播信号频道，接收相应的广播信号，下转换接收的信号，并且将该信号提供给信号处理单元140。
信号处理单元140针对从调谐器单元130提供的信号执行信号处理(信号处理包括解调、均衡、解码或缩放)，并且将所得的信号提供给输出单元150。
输出单元150进行操作，以使用包括显示单元或扬声器的输出装置输出在信号处理单元140处理的视频信号或音频信号。
输入单元160进行操作，以根据设置在显示设备100的主体或外部遥控器上的键的操纵接收用户选择信号。具体地，输入单元160可包括键盘和IR信号接收灯。
语音输入单元170进行操作，以接收各种语音命令，并且将语音命令提供给控制单元120。如果显示设备100支持语音识别模式，则如图2所示，可附加地设置语音输入单元170。
在语音识别模式下，控制单元120根据通过语音输入单元170输入的语音命令执行操作。
存储单元180进行操作，以存储在显示设备中使用的各种程序或数据。具体地，存储单元180可存储关于为动作控制设置的各种动作的信息以及关于与这些动作匹配的操作的信息。
例如，可在存储单元180中存储如上面的表1所列举的形式的数据库。控制单元120基于通过动作识别单元110识别的对象的运动的属性来确定做出了哪个动作，并且从表1确认与识别的动作匹配的操作。其结果是，控制单元120执行确认的操作。
参照图2，动作识别单元110包括拍摄单元(未示出)。
拍摄单元可被实现为相机，相机沿显示设备100的向前的方向进行拍摄。拍摄单元接收从位于前方的各种对象反射的光，并产生拍摄的图像数据。
如果在表1的情况下使用推动作，则拍摄单元可使用三维(3D)深度相机。3D深度相机照射红外光线，计算红外光接触到对象并返回的时间，从而计算到对象的距离。通过深度相机获得的图像可按照灰度级被输出，并且在一帧中具有包括每个像素的水平值、竖直值和距离的坐标值。其结果是，具有每个像素的深度信息的拍摄图像数据被产生。
控制单元120分析在动作识别单元110产生的拍摄的图像数据，并确定对象的动作。如果确定做出了推动作，则控制单元120可启动动作识别模式。可通过检查与对象对应的像素组的深度信息是否改变，来确定是否做出了推动作。
如果可应用预登记的与对象相关的信息，则控制单元120将具有改变的深度信息的像素组的尺寸和形式与预登记的与对象相关的信息进行比较，以确定两者之间的相似度。如果确定存在相似度并且两者彼此匹配，则控制单元120确定做出了推动作。
一旦识别出推动作并且初始化动作识别模式，则控制单元120跟踪相应的对象的运动，并连续尝试检测随后的动作。在一个示例中，控制单元120可比较由动作识别单元110提供的帧，检查做出推动作的对象移动的距离，分析包括动作速度或距离的属性，并且不同地确定变化单位。
具体地，控制单元120可通过全面地考虑各种特性(包括暂停时间段、加速的存在、运动时间、总的动作识别时间等)，来确定动作类型。更具体地讲，在识别运动的过程中，控制单元120可通过应用时间间隔，基于单位时间来划分运动。可基于最佳测量固定单位时间的值或时间间隔的值，或者可选择地，可取决于用户的特性调整单位时间的值或时间间隔的值。即，用户可通过选择时间间隔/单位时间调整菜单来改变这些时间段的值。
在上面解释的各种实施例中，控制单元120执行拍摄图像的数据分析，并基于这样的数据分析执行动作确定。然而，这仅仅是示意性的示例，其它示例也是可行的。例如，单独的确定单元(未示出)可被设置在动作识别单元110内部，以确定动作类型并将确定结果通知给控制单元120。在另一示例中，可在动作识别单元110和控制单元120外部设置用于执行这样的确定的装置。
控制单元120可根据基于通过动作识别单元110识别的运动所确定的动作，控制调谐器单元130、信号处理单元140和输出单元150执行操作。
例如，在调谐器单元130当前调谐到广播频道1并且信号处理单元140和输出单元150相应处理和输出信号的状态下，当确定做出了摆动动作时，控制单元120可根据摆动动作的方向控制调谐器单元130改变频道。因此，调谐器单元130调谐到相应的频道并接收广播信号，信号处理单元140和输出单元150处理新接收的广播信号，并通过屏幕和扬声器输出所得的信号。
此外，当在内容显示在屏幕上的状态下确定做出了摆动动作时，控制单元120可控制信号处理单元140和输出单元150改变到下一屏幕页。
此外，在上述示例中，如果确定做出了挥动动作，则控制单元120可控制相应的部件改变到当前屏幕的上级屏幕。例如，如果在广播频道的输出期间做出了挥动动作，则当前屏幕可被改变为初始菜单屏幕，在初始菜单屏幕上可选择包括广播输出菜单、内容输出菜单、互联网菜单或设置菜单的各种菜单。此外，如果在当前显示特定网页的下级页的状态下做出了挥动动作，则显示的页可被直接改变为主网页。如果在该状态下另外做出了挥动动作，则如上所述，屏幕可被改变为初始菜单屏幕。
如上所述，控制单元120可确定诸如移动、摆动和挥动动作的运动所期望的相应动作。控制单元120可检查每帧中的图像变化，并且有区别地识别动作。如果每帧中图像变化的量(即，运动)低于阈值，则控制单元120确定完成了一个运动。因此，控制单元120基于结束之前的每帧中的图像变化来确定动作类型。
图3示出对象的运动。参照图3，如果在第一帧中对象位于位置①处，在第二帧中对象位于位置②处，在第三帧中对象位于位置③处，则控制单元120基本确定做出了移动动作。然后，如果在第四帧和第五帧中对象显示在位置③处，则控制单元120确定对象11已停止移动。如上所述，在做出移动动作的同时，控制单元120不应用时间间隔，并且连续地跟踪相应的运动且相应地移动指向器。
同时，控制单元120可检查运动的速度，以确定运动由于移动动作完成而停止还是运动暂停以做出摆动动作。具体地，控制单元120可计算从位置①到位置②的运动的速度，并计算从位置②到位置③的运动的速度。如果以60Hz的速率进行拍摄，则从位置①到位置②的运动的速度(V1)是V1＝60X1，即，运动距离(即，X1像素)除以时间(即，1/60)。从位置②到位置③的运动的速度(V2)是V2＝60X2。根据V1和V2的比较结果，如果V2比V1大一阈值，则控制单元120确定做出了摆动动作。然而，如果V2小于V1，或者V2大于V1但没有大到所述阈值的程度，则控制单元120确定移动动作已经简单停止。如果确定做出了摆动动作，则控制单元120在单位时间过去后应用时间间隔，从而在该时间间隔期间不执行根据运动识别的控制操作。
图4示出了摆动动作的一个示例。参照图4，如果手11沿着向上的方向、向下的方向、向左的方向和向右的方向中的一个移动然后停止，则控制单元120可识别出用于翻页的摆动运动。如上所述，在该处理期间，控制单元120可检查加速。
虽然图4示出了摆动动作是用户的手从手掌面对显示设备100的状态改变为手背面对显示设备100的状态的动作，相反的示例也可被应用为摆动动作。摆动动作还可包括在手掌面对显示设备100的情况下手进行加速运动然后突然停止。因此，如果手掌或手背没有完全被翻转为面对显示设备100，则可识别出摆动动作。
图5示出了挥动动作的示例。参照图5，如果对象11在单位时间内(沿a和b方向)重复地往复运动，控制单元120可确定做出了挥动动作。确定该运动结束的时间点可被设置为当每帧图像的变化低于特定阈值时的时间点。
同时，参照图3至图5，可通过搜索匹配各个帧的块并比较搜索的块的位置，来确定对象的运动距离。即，控制单元120可将当前帧和下一帧分别划分为多个块，使用各个块的平均像素值或代表性的像素值来搜索匹配块，并且检查搜索的块的位置的变化，由此计算运动距离。
同时，可参照对象上的一点来计算图3至图5中的对象的距离。即，可计算当前帧的所有块中与对象对应的像素组的中心像素或中心块与下一帧的对应中心像素或中心块之间的距离。
同时，根据实施例的显示设备100可使用其它各种动作启动动作控制。
图6示出作为用于启动动作识别模式的动作的一个示例的推动作。
动作识别单元110可识别在拍摄范围内用户10的对象11沿着显示设备100的一个方向移动的推动作。具体地，通过应用如图6所示的3D坐标系，可通过相对于显示设备100沿向上的方向行进的Y轴、被布置为与Y轴垂直以面对用户右侧的X轴以及从由X轴和Y轴形成的平面延伸以面对显示设备100的Z轴来限定推动作。推动作是沿Z轴方向做出的动作。
由于沿Z轴方向做出推动作，所以在正常模式下，动作识别单元110可仅检查拍摄的图像数据的深度信息的变化，以确定是否做出推动作。因此，如果做出推动作，并且操作改变为动作识别模式，则动作识别单元110不仅检查沿Z轴方向的运动，而且还检查沿X轴和Y轴方向的运动，以分析对象的运动。
如果识别出推动作，则控制单元120确定在动作识别模式下执行操作，并因此改变为动作识别模式。即，在识别出推动作之前控制单元120在正常模式下操作，在正常模式期间，控制单元120通过输入单元160接收根据用户的遥控或设置在显示设备100的主体上的键的操纵的用户选择信号，并且相应地执行控制操作。然后，当操作改变为动作识别模式时，控制单元120识别用户的动作，以执行相应的操作。
在上述示例中，控制单元120跟踪做出第一推动作的对象的运动，并执行与识别的动作对应的操作。
如果操作改变为动作识别模式，则控制单元120可不接受除了动作之外的输入。然而，在可替换的实施例中，即使在动作识别模式下，控制单元120也可根据遥控或输入的主体上的键的操纵来执行操作。因此，不是必然仅由动作来控制动作识别模式。
图7和图8是示出用于结束动作识别模式的结束动作的各种示例的示图。如果在动作识别单元110识别出预设的特定动作，则控制单元120结束动作识别模式。用于结束动作识别模式的所有动作在下面将被称为“结束动作”。可以存在各种结束动作。例如，如果对象是用户的手掌，则结束动作可以是这样的用户手部动作，即，用户的手移动以接触用户身体或其他对象，以防止进一步识别手掌。
图7示出了结束动作的示例，在该结束动作中，用户将他的手向下移动到他的膝盖或其它身体部位上。图8示出了结束动作的示例，在该结束动作中，用户将他的手向下移动到诸如座椅扶手的对象上。可按照各种方式实现多种其它结束动作。
如果使用用户的推动作启动动作识别模式并使用用户的手部向下动作结束动作识别模式，则可在动作识别控制中更准确地解释用户的意图。推动作可包括手沿向前的方向展开并向后折叠的推-拉动作或者沿向前的方向持续展开手的推-停止动作。
可使用多种其它动作类型。即，可响应于画圆圈、画字符(诸如字母表中的特定字母)等的动作来执行操作。
可由提供商缺省地登记与动作对应的字母，或者用户可使用动作识别单元110登记他自己的动作，以使用登记的动作作为他的个性化的动作命令。
图9是被提供以用于解释根据实施例的显示设备的动作控制方法的流程图。
参照图9，如果在S910识别出运动，则在S920，运动被跟踪，直到单位时间过去。如果单位时间过去，则在S930，考虑单位时间内运动的各种特性(包括方向、频率、距离和速度)，来确定做出哪个动作。如上所述，例如，单位时间可以被确定为在1秒至1.5秒之间。
如果确定做出了动作，则在S940执行与确定的动作对应的操作。在S950，确定预设的时间间隔是否过去并且下一单位时间是否开始。如果确定下一单位时间开始，则在下一单位时间识别运动。
图10是被提供以用于详细解释根据实施例的动作确定方法的流程图。
参照图10，如果在S1010识别出运动，则在S1020，基于运动的速度确定运动是否与移动动作对应。如果确定做出了移动动作，则在S1030，不应用时间间隔，并且延长单位时间，以使得在不应用时间间隔的情况下连续跟踪移动动作以相应地移动指向器。或者，任何动作可被基本认为是移动动作，从而移动指向器。然后可基于加速等的存在来确定运动是否被正确地识别为移动动作。
同时，如果运动不对应于移动动作，则在S1040，在确定单位时间是否过去的同时在单位时间内跟踪运动。
如果单位时间过去并且时间间隔开始，则在S1050，确定单位时间内运动是否包括预定数量的重复运动。
如果运动包括预定数量的重复运动，则在S1060，确定运动是挥动动作。因此，在S1070，可执行改变到上级频道或上级页的操作。
相反，如果运动不包括预定数量的重复运动，则在S1080，确定运动是摆动动作。因此，在S1090，可执行改变频道或页的操作。
同时，如果在根据确定的动作的操作期间时间间隔过去，则在下一单位时间重复识别运动的处理。动作控制方法持续进行，直到动作识别模式被去激活为止。
根据一个实施例中的动作控制方法，由于通过使用时间间隔按单位时间划分各个运动，并且全面考虑了划分的运动的特性，所以可准确地检测各种手部运动(诸如移动动作、摆动动作或挥动动作)。
同时，图9和图10是被提供以用于解释在操作进入动作识别模式之后执行的步骤的流程图。因此，在一个实施例中，动作控制方法可另外包括：确定在正常模式期间是否做出推动作；如果确定做出了推动作，则进入动作识别模式；如果识别出结束动作，则结束动作识别模式。
此外，图9和图10中示出的步骤不是必然地按照示出的顺序被执行。即，一些步骤可彼此互换。
此外，不仅可在图1和图2中示出的显示设备中实现图9和图10的动作控制方法，还可在具有改变的结构和组件的各种电子设备中实现图9和图10的动作控制方法。
图11是被提供以用于解释根据各种实施例的通过应用时间间隔单独识别运动的处理的示图。参照图11，如果在第一单位时间(t1)内识别出将手朝向一个方向摆动的摆动动作，则在下一时间间隔(I1)内不识别运动。用户可在时间间隔(I1)期间使他的手返回到初始位置。因此，用户可在下一单位时间(t2)内沿一个方向做出另一摆动动作。其结果是，由于拍摄装置识别出两个摆动动作，所以与摆动动作对应的操作被执行两次。
同时，参照图11，单位时间(t1，t2，...)可被设置为均匀值(即，t1＝t2＝t3，...)，时间间隔(I1，I2，...)也可被设置为均匀值(即，I1＝I2＝...)。具体地，单位时间可具有大约1秒的值，时间间隔可具有大约300毫秒的值，但是这些数值可以变化。
同时，如果识别出移动动作，则可延长单位时间。
图12示出了在识别出移动动作的情况下的单位时间和时间间隔。
参照图12，如果用户做出了以预定速度持续移动他的手的移动动作，则单位时间被延长，并且忽略时间间隔的使用。因此，t1和t2的关系是：t1＞t2。如果完成了移动动作，则在时间间隔(I1)之后开始第二单位时间(t2)。如果用户在第二单位时间内沿两个方向挥动他的手，则拍摄装置对单位时间(t2)内的重复运动的数量计数，以确定是否正在做出挥动动作。根据确定的结果，可执行与挥动动作对应的操作。
可在各种类型的记录介质中记录用于执行根据实施例的动作控制方法的程序代码。具体地，可在各种类型的记录介质中记录程序代码，记录介质可由终端读取，记录介质可包括随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、HDD、可移除盘、存储卡、USB存储器或CD-ROM。
因此，如果记录有这些程序代码的记录介质被连接到或安装在能够识别动作的各种设备中，这可支持根据实施例的动作控制方法。
上述示例性实施例和优点仅仅是示例性的，不应被解释为限制本发明。本教导可容易地应用于其它类型的设备。此外，本发明构思的示例性实施例的描述意图是示意性的，而不是限制权利要求的范围，多种替换、修改和变型对于本领域技术人员是明显的。

Claims (15)

1.一种显示设备，包括：
动作识别单元，识别位于所述显示设备外部的对象的运动；
存储单元，存储关于与每个动作对应的操作的信息；
控制单元，使用运动非识别时间段划分运动识别时间段，确定与运动识别时间段内的对象的运动对应的动作，并且根据存储在存储单元中的信息执行与确定的动作对应的操作。
2.根据权利要求1所述的显示设备，所述显示设备还包括：
输出单元，根据控制单元的控制执行显示。
3.根据权利要求2所述的显示设备，其中，如果基于运动的速度将运动确定为移动动作，则控制单元延长做出移动动作的运动识别时间段的值，忽略运动非识别时间段的使用，并且根据移动动作的运动方向控制输出单元在屏幕上移动指向器。
4.根据权利要求2所述的显示设备，其中，如果在运动识别时间段内对象执行多个往复运动，则控制单元将运动确定为一个挥动动作。
5.根据权利要求4所述的显示设备，其中，如果控制单元将运动确定为挥动动作，则控制单元控制输出单元改变到先前屏幕或上级屏幕。
6.根据权利要求2所述的显示设备，其中，如果在运动识别时间段内对象沿一个方向加速移动然后停止，则控制单元将运动确定为一个摆动动作。
7.根据权利要求6所述的显示设备，其中，如果控制单元将运动确定为摆动动作，则控制单元执行改变频道或页的操作。
8.根据权利要求1所述的显示设备，其中，在两个运动识别时间段之间设置运动非识别时间段，在运动非识别时间段期间不识别对象的运动，运动识别时间段是识别与对象的运动对应的动作所需的时间。
9.一种显示设备的动作控制方法，包括：
识别位于所述显示设备外部的对象的运动；
使用运动非识别时间段划分运动识别时间段，确定与运动识别时间段内的对象的运动对应的动作；
根据确定的动作执行操作。
10.根据权利要求9所述的动作控制方法，确定动作的步骤包括：如果以恒定的速度做出运动，则将运动确定为移动动作，延长做出移动动作的运动识别时间段的值，并且忽略运动非识别时间段的使用，
执行操作的步骤包括：根据移动动作的运动方向在屏幕上移动指向器。
11.根据权利要求9所述的动作控制方法，其中，确定动作的步骤包括：如果在运动识别时间段内对象执行多个往复运动，则将运动确定为一个挥动动作。
12.根据权利要求11所述的动作控制方法，其中，如果将运动确定为挥动动作，则执行操作的步骤包括：改变到先前屏幕或上级屏幕。
13.根据权利要求9所述的动作控制方法，其中，确定动作的步骤包括：如果在运动识别时间段内对象沿一个方向加速移动然后停止，则将运动确定为一个摆动动作。
14.根据权利要求13所述的动作控制方法，其中，如果将运动确定为摆动动作，则执行操作的步骤包括：执行改变频道或页的操作。
15.根据权利要求9所述的动作控制方法，其中，在两个运动识别时间段之间设置运动非识别时间段，在运动非识别时间段期间不识别对象的运动，运动识别时间段是识别与对象的运动对应的动作所需的时间。
CN201210005642.1A 2011-01-06 2012-01-04 通过动作控制的显示设备及其动作控制方法 Expired - Fee Related CN102681659B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110001524A KR20120080072A (ko) 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR10-2011-0001524 2011-01-06

Publications (2)

Publication Number Publication Date
CN102681659A true CN102681659A (zh) 2012-09-19
CN102681659B CN102681659B (zh) 2015-05-20

Family

ID=45495633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210005642.1A Expired - Fee Related CN102681659B (zh) 2011-01-06 2012-01-04 通过动作控制的显示设备及其动作控制方法

Country Status (8)

Country Link
US (1) US20120176305A1 (zh)
EP (1) EP2474881A3 (zh)
JP (1) JP2012146303A (zh)
KR (1) KR20120080072A (zh)
CN (1) CN102681659B (zh)
BR (1) BR112013012526A2 (zh)
MX (1) MX2013007942A (zh)
WO (1) WO2012093822A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941875A (zh) * 2014-05-05 2014-07-23 成都理想境界科技有限公司 一种翻页方法、装置及终端
CN105278763A (zh) * 2015-05-28 2016-01-27 维沃移动通信有限公司 手势识别防误触的方法及装置
CN106105247A (zh) * 2014-03-14 2016-11-09 三星电子株式会社 显示装置及其控制方法
CN107710105A (zh) * 2015-07-08 2018-02-16 索尼互动娱乐股份有限公司 操作输入装置和操作输入方法
CN109189218A (zh) * 2018-08-20 2019-01-11 广州市三川田文化科技股份有限公司 一种手势识别的方法、装置、设备及计算机可读存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5715946B2 (ja) * 2009-12-22 2015-05-13 パナソニック株式会社 動作解析装置および動作解析方法
US20130194180A1 (en) * 2012-01-27 2013-08-01 Lg Electronics Inc. Device and method of controlling the same
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ウェアラブル端末及びウェアラブル端末の制御方法
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
JP6245117B2 (ja) * 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016076376A1 (ja) * 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9569859B2 (en) 2014-12-29 2017-02-14 Dell Products, Lp System and method for redefining depth-based edge snapping for three-dimensional point selection
US9792487B2 (en) * 2014-12-29 2017-10-17 Dell Products, Lp System and method for determining dimensions of an object in an image
KR20160099397A (ko) 2015-02-12 2016-08-22 삼성전자주식회사 제한된 실행 환경에서 결제 기능을 수행하기 위한 방법 및 장치
CN107615206A (zh) * 2015-04-30 2018-01-19 德克萨斯大学系统董事会 使用移动设备作为基于移动的控制器
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
EP3392740A4 (en) * 2015-12-18 2018-12-19 Sony Corporation Information processing device, information processing method, and program
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
JP6822445B2 (ja) * 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
CN109960403A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对医学图像的可视化呈现和交互方法
EP3839811B1 (en) * 2019-12-18 2024-03-13 Tata Consultancy Services Limited Systems and methods for shapelet decomposition based gesture recognition using radar

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
US20100210359A1 (en) * 2009-02-17 2010-08-19 Eric Krzeslo Computer videogame system with body position detector that requires user to assume various body positions
US20100295781A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211979A (ja) * 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5767457A (en) * 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP5048890B2 (ja) * 1998-10-13 2012-10-17 ソニー エレクトロニクス インク 動作検知インターフェース
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
KR20050065198A (ko) * 2003-12-24 2005-06-29 한국전자통신연구원 사용자의 움직임을 이용한 3차원 동작명령 인식기
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
KR20100056838A (ko) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 사용자 동작 기반의 전자기기 제어 장치 및 방법
US8543415B2 (en) * 2008-11-26 2013-09-24 General Electric Company Mobile medical device image and series navigation
JP5175755B2 (ja) * 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR20100118317A (ko) * 2009-04-28 2010-11-05 삼성전자주식회사 휴대단말의 제스처 인식 방법 및 시스템
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20100210359A1 (en) * 2009-02-17 2010-08-19 Eric Krzeslo Computer videogame system with body position detector that requires user to assume various body positions
US20100295781A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105247A (zh) * 2014-03-14 2016-11-09 三星电子株式会社 显示装置及其控制方法
US10191554B2 (en) 2014-03-14 2019-01-29 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
CN106105247B (zh) * 2014-03-14 2022-03-08 三星电子株式会社 显示装置及其控制方法
CN103941875A (zh) * 2014-05-05 2014-07-23 成都理想境界科技有限公司 一种翻页方法、装置及终端
CN103941875B (zh) * 2014-05-05 2017-06-13 成都理想境界科技有限公司 一种翻页方法、装置及终端
CN105278763A (zh) * 2015-05-28 2016-01-27 维沃移动通信有限公司 手势识别防误触的方法及装置
CN107710105A (zh) * 2015-07-08 2018-02-16 索尼互动娱乐股份有限公司 操作输入装置和操作输入方法
CN107710105B (zh) * 2015-07-08 2020-12-29 索尼互动娱乐股份有限公司 操作输入装置和操作输入方法
CN109189218A (zh) * 2018-08-20 2019-01-11 广州市三川田文化科技股份有限公司 一种手势识别的方法、装置、设备及计算机可读存储介质
CN109189218B (zh) * 2018-08-20 2019-05-10 广州市三川田文化科技股份有限公司 一种手势识别的方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20120176305A1 (en) 2012-07-12
MX2013007942A (es) 2013-08-09
WO2012093822A3 (en) 2012-12-06
EP2474881A3 (en) 2015-04-22
KR20120080072A (ko) 2012-07-16
WO2012093822A2 (en) 2012-07-12
CN102681659B (zh) 2015-05-20
EP2474881A2 (en) 2012-07-11
BR112013012526A2 (pt) 2016-09-06
JP2012146303A (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
CN102681659A (zh) 通过动作控制的显示设备及其动作控制方法
CN102681658B (zh) 通过动作控制的显示设备及其动作控制方法
US20140098038A1 (en) Multi-function configurable haptic device
CN103942021A (zh) 内容呈现方法，内容呈现方式的推送方法和智能终端
CN104079989A (zh) 电视节目关联信息推送方法、设备和系统
CN101238428A (zh) 自由空间指点和手写
CN104115099A (zh) 取决于参与的手势辨识
CN104919823A (zh) 具有智能方向性会议的装置及系统
CN102144209A (zh) 电子设备中的多层次话音反馈
CN104914987A (zh) 用于触觉启用的投影用户界面的系统和方法
CN102902131A (zh) 触摸型便携式终端
CN103369390A (zh) 再现内容的方法与系统及其计算机可读记录介质
CN104954829A (zh) 显示装置及其操作方法
CN103279223A (zh) 一种反馈触控消息的方法、设备及系统
CN103677496A (zh) 界面控制方法及控制装置
CN103970439A (zh) 利用预计手势的完成提高仪器性能的方法
CN103970269A (zh) 遥控系统和装置
CN104866216A (zh) 一种信息处理方法及智能笔
CN105446586A (zh) 显示装置及其控制方法
CN112773675A (zh) 一种按摩件阵列的控制方法及系统、计算机存储介质
EP2793458B1 (en) Apparatus and method for auto-focusing in device having camera
CN110554780A (zh) 一种滑行输入的方法和装置
KR20150026255A (ko) 디스플레이 장치 및 그 제어 방법
US10031965B2 (en) Data object classification using feature generation through crowdsourcing
CN104199602A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20170104