CN105122824A - 显示装置及其动作识别方法 - Google Patents

显示装置及其动作识别方法 Download PDF

Info

Publication number
CN105122824A
CN105122824A CN201480020619.7A CN201480020619A CN105122824A CN 105122824 A CN105122824 A CN 105122824A CN 201480020619 A CN201480020619 A CN 201480020619A CN 105122824 A CN105122824 A CN 105122824A
Authority
CN
China
Prior art keywords
action
recognition pattern
effective coverage
action recognition
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480020619.7A
Other languages
English (en)
Inventor
孙昌颢
裵宰贤
崔允镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105122824A publication Critical patent/CN105122824A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

提供了显示装置及其用于识别动作的方法。更具体而言，提供了能够仅仅在有效区域中识别显示部分区域动作识别模式的禁用动作的显示装置以及该显示装置的用于识别方法的方法。根据一些示例性实施例，提供了一种显示装置及其方法，当在部分区域动作识别模式的有效区域中识别出的动作与禁用部分区域动作识别模式的禁用动作相同时，该显示装置将部分区域动作识别模式改变为全部区域动作识别模式。

Description

显示装置及其动作识别方法
技术领域
与示例性实施例一致的装置和方法涉及显示装置和显示装置的用于识别动作(motion)的方法，并且更具体地，涉及能够在部分区域动作识别模式下仅仅识别有效区域中的动作的显示装置以及显示装置的用于识别动作的方法。
背景技术
作为显示装置与用户之间的接口方法，经常使用显示装置上的面板键或遥控器。随着技术的发展，显示装置被配备有各种复杂的功能并因此能够执行内容或浏览互联网。由于遥控器的大小或功能限制，远程控制变得复杂和多样化的显示装置的所有功能并不容易。
用户可以做出动作，并且可通过动作识别来控制接收到该动作的显示装置。并且，用户可以说出命令，并且可通过语音识别来控制接收到该命令的显示装置。
能够进行动作识别的显示装置可能识别通过照相机输入的动作而不管用户的意图如何(例如，当用户移动用户的手来喝水时)，并且可能导致误操作。并且，与单个用户使用显示装置时相比，当多个用户使用显示装置时更可能发生误操作。
发明内容
一个或多个示例性实施例可以克服上面的缺点以及上面未描述的其他缺点。然而，应理解，一个或多个示例性实施例不需要克服上述缺点，并且可以不克服上述问题中的任何一个。
根据示例性实施例的一方面，提供一种显示装置的用于识别动作的方法，该方法包括：在显示装置的屏幕上设置有效区域，在该有效区域中从外部输入的动作是可识别的；将显示装置的全部区域动作识别模式改变为部分区域动作识别模式；在有效区域中识别动作；以及当识别出的动作是禁用部分区域动作识别模式的禁用动作时，禁用部分区域动作识别模式，其中，部分区域动作识别模式是仅在有效区域中识别动作的模式。
有效区域可以是屏幕中用于识别通过照相机接收的禁用动作的相对区域。
根据另一示例性实施例的一方面，提供一种显示装置的用于识别动作的方法，该方法包括：将显示装置的全部区域动作识别模式改变为部分区域动作识别模式；在部分区域动作识别模式下仅在设置的有效区域中识别输入的外部动作；以及当识别出的动作与所存储的用于禁用部分区域动作识别模式的禁用动作相同时，将部分区域动作识别模式改变为全部区域动作识别模式，其中，有效区域是显示装置的屏幕中用于识别通过照相机从外部输入到显示装置的动作的相对区域。
根据另一示例性实施例的一方面，提供一种显示装置的用于识别动作的方法，该方法包括：在显示装置的屏幕上设置有效区域，在有效区域中从外部输入的动作是可识别的；将显示装置的全部区域动作识别模式改变为部分区域动作识别模式；在有效区域中识别第一动作；当第一动作是第一禁用动作时，进入第二部分区域动作识别模式，在第二部分区域动作识别模式下部分区域动作识别模式被保持；以及在第二部分区域动作识别模式下的有效区域中识别第二动作，其中，部分区域动作识别模式包括第一部分区域动作识别模式和第二部分区域动作识别模式，在第一部分区域动作识别模式下，当第一动作是禁用动作时，部分区域动作识别模式被禁用，并且在第二部分区域动作识别模式下，当第一动作是第一禁用动作时，部分区域动作识别模式被保持。
根据另一示例性实施例的一方面，提供一种显示装置的用于识别动作的方法，该方法包括：将显示装置的全部区域动作识别模式改变为部分区域动作识别模式；以及在部分区域动作识别模式下仅在预定的有效区域中识别从外部输入的动作。
该有效区域可以由用户设置。
根据另一示例性实施例的一方面，提供一种显示装置，包括：显示器，被配置成显示视频；照相机，被配置成接收外部动作；以及控制器，被配置成控制显示器和照相机，其中，当通过照相机在部分区域动作识别模式的有效区域中输入的动作与用于禁用部分区域动作识别模式的禁用动作相同时，控制器将部分区域动作识别模式改变为全部区域动作识别模式。
根据另一示例性实施例的一方面，提供一种显示装置，包括：显示器，被配置成显示视频；照相机，被配置成接收外部动作；以及控制器，被配置成控制显示器和照相机，其中，控制器识别使用照相机仅在部分区域动作识别模式的有效区域中接收的用户动作，并在显示器上显示与识别出的用户动作相对应的用户动作识别结果。
提供了一种能够仅仅在有效区域中识别动作的显示装置和一种显示装置的用于识别动作的方法。
提供了一种能够仅仅在有效区域中识别禁用动作的显示装置和一种显示装置的用于识别动作的方法。
提供了一种显示装置和一种显示装置的用于识别动作的方法，该显示装置具有部分区域动作识别模式和全部区域动作识别模式，在部分区域动作识别模式下在有效区域中的动作是可识别的，并且在全部区域动作识别模式下在照相机的识别范围内的动作是可识别的。
提供了一种显示装置和一种显示装置的用于识别动作的方法，该显示装置能够使用通过照相机输入的用户身体的一部分或有效区域设置模板设置有效区域。
提供了一种能够设置在有效区域中识别的禁用动作的显示装置和一种显示装置的用于识别动作的方法。
提供了一种显示装置和一种显示装置的用于识别动作的方法，当在有效区域中识别出的动作与禁用动作相同时，该显示装置禁用部分区域动作识别模式。
提供了一种显示装置和一种显示装置的用于识别动作的方法，当在有效区域中识别出的动作与第一禁用动作相同时，该显示装置保持部分区域动作识别模式。
提供了一种显示装置和一种显示装置的用于识别动作的方法，当在有效区域中识别出的动作与第一禁用动作相同时，该显示装置保持部分区域动作识别模式并在有效区域中识别另一动作。
根据各种示例性实施例，提供了一种显示装置和一种显示装置的用于识别动作的方法，该显示装置使用在有效区域中识别出的动作来禁用部分区域动作识别模式或保持部分区域动作识别模式。
附图说明
通过参照附图详细描述示例性实施例，上面的和/或其他的方面将变得更加明显，附图中：
图1是图示根据示例性实施例的显示装置的示意性正视图；
图2是图示根据示例性实施例的显示装置的示意性框图；
图3是图示根据示例性实施例的显示装置的用于识别动作的方法的示意性流程图；以及
图4a到图7g是图示根据示例性实施例的显示装置的用于识别动作的方法的示例的视图。
具体实施方式
下文中，将参照附图更详细地描述示例性实施例。并且，将参照附图详细解释用于制造和使用本公开的方法。在下列描述中，当在不同的图中绘出相同的参考标记时，所述相同的参考标记用于相同的元素。
如果使用诸如“第一”和“第二”之类的术语来描述元素，则这些元素不应受这些术语的限制。使用这些术语仅仅是为了将一个元素与另一元素相区分。例如，第一元素可被称为第二元素，并且类似地第二元素可被称为第一元素，这不会脱离本公开的范围。术语“和/或”包括多个相关项的组合或多个相关项之一。
此处使用的术语仅仅是为了描述特定示例性实施例，并非意图进行限制。此处使用的单数形式“一”、“一个”也意图包括复数形式，除非上下文明确地给出相反指示。还将理解，术语“包括”用于指示说明书中描述的特征、数字、步骤、操作、元素、部分或其组合的存在，但不排除存在或附加一个或多个其他特征、数字、步骤、操作、元素、部分或其组合。
图1是图示根据示例性实施例的显示装置的示意性正视图。
参照图1，显示装置100包括主体10和支撑主体10的机座50。此外，显示装置100可仅包括主体10而没有机座50。
主体10包括显示器170，显示器170包括显示静止图像或作为一组连续图像的视频的显示面板11(见图2)以及支撑显示面板11的前盖12和后盖13。显示面板11被称为屏幕。
前盖12可包括从外部源(例如，遥控器200)接收光(例如，紫外线、可见射线或红外线)的光窗口12a。光窗口12a将从显示装置100的内部源输入的光(例如，从发光元件发出的光)输出到显示装置100的外部。后盖13可与机座50连接。后盖13可包括在后盖13的一侧提供的面板键14，面板键14包括电源键14a、音量键14b和频道键14c。面板键14可包括电视(TV)/外部输入键(未示出)或菜单键(未示出)。
显示装置100可分析通过光窗口12a接收的光并且可以控制显示装置100的操作。
显示装置100可以分析通过照相机145接收的视频信号(例如，连续帧)，并且可以控制显示装置100的操作。
显示装置100可以分析通过布置在扬声器176后面的麦克风140(见图2)接收的用户的语音，并且可以控制显示装置100的操作。
例如，可以根据接收的光、视频信号或语音来控制显示装置100，并且显示装置100可以执行各种操作，诸如控制电源(开启/关闭)、调节音量、改变频道、静音、控制外部输入、使用通信器(未示出)的网上冲浪、输入字符以及使用应用执行存储的内容。
参照图1，单个照相机145可以选择性地从前盖12顶端上的中心区域突出。然而，这不应被认为是限制性的，并且可以从顶端的中心区域暴露多个照相机(未示出)，并且多个照相机可以接收多个视频信号。
根据视频信号的输入，可以从参照前盖12前表面的顶端、下端、左端以及右端中的至少一个暴露照相机145。
从前盖12顶端上的中心区域暴露单个麦克风140。然而，这不应被认为是限制性的，并且可以从顶端的中心区域暴露多个麦克风(未示出)以接收作为立体声的语音。可以从参照前盖12前表面的顶端、下端、左端和右端中的至少一个暴露麦克风140。
可以从前盖12的右下端暴露单个光窗口12a。然而，这不应被认为是限制性的，并且可以暴露多个光窗口(未示出)。根据光的输入/输出，从前盖12暴露的光窗口12a可以从参照前盖12前表面的顶端、下端、左端和右端暴露。并且，当遥控器200和显示装置100使用通信器130(未示出)通过诸如蓝牙的无线通信彼此连接时，可以从显示装置100省略光窗口12a。
机座50可以包括倚靠墙面支撑主体11的墙安装件(未示出)。
图2是图示根据示例性实施例的显示装置的示意性框图。
参照图2，显示装置100可以使用通信器130或外部输入器160以有线或无线方式与外部装置(未示出)连接。外部装置可以包括移动电话(未示出)、智能电话(未示出)、平板PC(未示出)和服务器(未示出)。
除了显示器170之外，显示装置100可以包括调谐器120、通信器130和外部输入器160中的一个。
除了显示器170之外，显示装置100可以包括调谐器120、通信器130和外部输入器160的组合。并且，包括显示器170的显示装置100可以与具有调谐器的外部装置(未示出)电连接。例如，显示装置100可以通过使用模拟TV、数字TV、3DTV、智能TV、发光二极管(lightemittingdiode，LED)TV、有机LED(organicLED，OLED)TV、等离子体TV、监视器等等来实现。然而，相关领域普通技术人员应当容易理解，这不应被认为是限制性的。
显示装置100包括调谐器120、通信器130、麦克风140、照相机145、光接收器150、外部输入器160、显示器170、音频输出器175、存储装置和电力供应源190。显示装置100可以包括检测显示装置100的内部状态或外部状态的传感器(例如，照度传感器、温度传感器，等等)。
控制器可以包括处理器111、存储用于控制显示装置100的控制程序的只读存储器(readonlymemory，ROM)112和存储从显示装置100外部输入的信号或数据或者被用作与显示装置100中执行的各种操作相对应的存储区的随机存取存储器(randomaccessmemory，RAM)113。
控制器控制显示装置100的总体操作以及显示装置100的内部元件120到190之间的信号流，并且执行数据处理功能。控制器控制将电力从电力供应源190供应到内部元件120到180。当存在用户的输入或者满足预定的存储的条件时，控制器可以执行操作系统(operatingsystem，OS)和存储装置中存储的各种应用。
处理器111可以包括图形处理单元(graphicprocessingunit，GPU)(未示出)以处理与图像或者视频相对应的图形。处理器111可以包括通过使用片上系统(systemonchip，SoC)实现的核(未示出)和GPU(未示出)。处理器111可以包括单核、双核、三核、四核和多核。
处理器111可以包括多个处理器，例如主处理器(未示出)和以睡眠模式操作的副处理器(未示出)。并且，处理器111、ROM112和RAM113可以通过内部总线彼此连接。
此外使用的术语“控制器”包括处理器111、ROM112和RAM113。
根据示例性实施例，控制器可以在显示装置的屏幕上设置其中的动作可识别的有效区域，将显示装置的全部区域动作识别模式改变为部分区域动作识别模式，并且当在有效区域中识别出动作并且识别出的动作是用于禁用部分区域动作识别模式的禁用动作时，进行控制以禁用部分区域动作识别模式。
全部区域动作识别模式指的是通过使用照相机145从照相机145的整个识别范围识别出的动作来控制显示装置100的模式。部分区域动作识别模式指的是仅仅通过在照相机145的识别范围内的由用户输入设置的有效区域中识别出的动作来控制显示装置100的模式。有效区域指的是被设置用于识别动作的区域。有效区域可以被定义为在部分区域动作识别模式下用于在拍摄的图像中识别用户动作的局部区域。
在部分区域动作识别模式下，控制器可以进行控制以仅在有效区域中识别动作。
控制器可以以各种方式设置有效区域。例如，控制器可以进行控制以使用遥控器、语音识别、动作识别和面板键之一来设置有效区域。
控制器可以进行控制以通过使用有效区域设置模板改变有效区域的位置、大小和形状中的至少一个来设置有效区域。
此外，除了有效区域设置模板以外，控制器可以设置具有与通过照相机输入的用户动作相对应的面积的有效区域。
控制器可以预先在存储装置中存储通过照相机输入的用于设置有效区域的用户动作。
控制器可以进行控制以将有效区域的面积设置得小于屏幕的面积。
当最初将电力供应到显示装置100时，控制器可以进行控制以自动地显示有效区域设置屏幕来设置有效区域。
控制器可以设置使用照相机通过照相机的识别范围和有效区域中的至少一个输入的禁用动作。
控制器可以进行控制以将有效区域的面积设置得大于识别出的禁用动作的范围。
控制器可以进行控制以使用遥控器、语音识别、动作识别和面板键之一来将全部区域动作识别模式改变为部分区域动作识别模式。
控制器可以进行控制以响应于从全部区域动作识别模式到部分区域动作识别模式的改变在屏幕的一侧显示与部分区域动作识别模式相对应的对象。
控制器可以进行控制以响应于从全部区域动作识别模式到部分区域动作识别模式的改变与可区别的屏幕一起显示具有透明度的有效区域。
控制器可以进行控制以响应于从全部区域动作识别模式到部分区域动作识别模式的改变通过屏幕和音频输出器提供视觉反馈和音频反馈中的至少一个。
控制器可以进行控制以在全部区域动作识别模式下在照相机的识别范围内识别动作。
当识别出的动作不同于禁用动作时，控制器可以进行控制以保持部分区域动作识别模式。
当识别出的动作不同于禁用动作时，控制器可以进行控制以显示与部分区域动作识别模式的保持相对应的弹出窗口。
控制器可以进行控制以将显示装置的全部区域动作识别模式改变为部分区域动作识别模式，在部分区域动作识别模式下仅在预定的有效区域中识别动作，并且当识别出的动作与所存储的用于禁用部分区域动作识别模式的禁用动作相同时将部分区域动作识别模式改变为全部区域动作识别模式。
控制器可以根据用户输入选择性地在全部区域动作识别模式和部分区域动作识别模式之一下操作。例如，控制器可以使用在全部区域动作识别模式下输入的各种用户动作来控制显示装置100。当全部区域动作识别模式被改变为部分区域动作识别模式时，控制器可以不识别输入到除了有效区域以外的区域的用户动作，并且即使控制器识别出输入到除了有效区域以外的区域的动作，控制器也可以丢弃该用户动作。在部分区域动作识别模式下控制器能够避免由于用户的无意动作可能导致的误操作。
当用户希望在部分区域动作识别模式下使用动作控制显示装置100时，用户可以通过有效区域输入禁用动作。当部分区域动作识别模式响应于禁用动作被禁用并且被改变为全部区域动作识别模式时，控制器可以根据用户动作不同地控制显示装置100。根据示例性实施例，部分区域动作识别模式是在其中控制器屏蔽除了特定区域(例如，有效区域)以外的区域的模式。然而，相关领域普通技术人员将理解，这不应被认为是限制性的。
根据另一示例性实施例，在部分区域动作识别模式下，控制器可以根据输入到有效区域的各种用户动作执行各种控制操作。在这种情况下，控制器不会响应于在除了有效区域以外的区域中识别出的用户动作来执行任何控制操作，因此能够避免误操作。
根据另一示例性实施例，可以选择性地使用部分区域动作识别模式的下述两种模式。部分区域动作识别模式可以包括第一部分区域动作识别模式和第二部分区域动作识别模式，在第一部分区域动作识别模式下，通过在有效区域中识别出的禁用动作禁用部分区域动作识别模式，并且不响应于在其他区域中识别出的动作而执行控制操作，在第二部分区域动作识别模式下，当在有效区域中识别出第一禁用动作之后通过各种动作来执行各种操作，但是不会响应于在其他区域中识别出的动作而执行操作。
控制器可以直接将全部区域动作识别模式改变为第一部分区域动作识别模式或第二部分区域动作识别模式，并且可以将第一部分区域动作识别模式改变为第二部分区域动作识别模式，反之亦然。当在第一部分区域动作识别模式下在有效区域中输入禁用动作时，控制器可以将部分区域动作识别模式改变为全部区域动作识别模式。并且，当在有效区域中输入预定的另一动作(例如，第一禁用动作)时，控制器可以将第一部分区域动作识别模式改变为第二部分区域动作识别模式。
根据另一示例性实施例，控制器可以设置其中动作可识别的有效区域，可以将显示装置的全部区域动作识别模式改变为部分区域动作识别模式，并且当在有效区域中识别出的动作是禁用动作时，可以将部分区域动作识别模式改变为在其中部分区域动作识别模式被保持的第二部分区域动作识别模式，并且可以进行控制以在第二部分区域动作识别模式下的有效区域中识别动作。部分区域动作识别模式可以包括第一部分区域动作识别模式和第二部分区域动作识别模式，在第一部分区域动作识别模式下，当识别出的动作是禁用动作时，部分区域动作识别模式被禁用，并且在第二部分区域动作识别模式下，部分区域动作识别模式被保持。
相关领域普通技术人员将会理解，根据示例性实施例，控制器的配置和操作以各种方式来实现。
调谐器120可以通过放大、混频、谐振等等，通过仅仅调谐到显示装置100打算接收的频道的频率，来从许多传播分量当中选择以有线或无线方式接收的广播信号。广播信号包括视频、声音和数据(例如，电子节目指南(electronicprogramguide，EPG))。
调谐器120可以在与用户输入(例如，遥控器200的频道号的输入、频道向上-向下的输入、EPG屏幕上的频道的输入、面板键14上的频道向上-向下的输入，等等)相对应的频道号(例如，有线电视频道14)所对应的频带中接收视频、声音和数据。
调谐器120可以从诸如陆地广播、有线电视广播、卫星广播、互联网广播等等的各种源接收广播信号。调谐器120可以从诸如模拟广播或者数字广播的源接收广播信号。调谐器120可以与显示装置100一起以一体化的形式实现，或者可以被实现为与显示装置100电连接的具有调谐器的分离的装置(例如，机顶盒(未示出)、与外部输入器160(见图2)连接的调谐器，等等)。
通信器130可以在控制器的控制下将显示装置100与外部装置(例如，服务器)连接。控制器可以从通过通信器130连接的外部装置下载应用或者可以浏览网页。根据显示装置100的性能和配置，通信器130可以包括有线以太网131、无线局域网(wirelesslocalareanetwork，LAN)132和蓝牙133之一。并且，通信器130可以包括以太网181、无线LAN182和蓝牙183的组合。
麦克风140接收由用户说出的语音。麦克风140将接收到的语音转换成电信号并且将电信号输出到控制器。用户语音可以包括例如与显示装置100的菜单或功能相对应的语音。麦克风140的识别范围可以是麦克风140距用户位置4米以内，并且可以根据用户语音和环境的水平(例如，讲话者的声音、环境噪声等等)而变化。
麦克风140可以是与显示装置100一起的一体化类型，或者可以与显示装置100分离。分离的麦克风140可以通过通信器130或外部输入器160与显示装置100电连接。
照相机145接收与照相机识别范围内的包括手势在内的用户动作相对应的视频(例如，连续帧)。例如，照相机145的识别范围可以是照相机145距用户0.5米到5米之内。用户动作可以包括用户身体的一部分或者用户的一部分(例如用户的脸、眼神、手、拳、手指等等)的动作。照相机145在控制器的控制下将接收到的视频转换成电信号并将电信号输出到控制器110。
控制器可以使用动作识别算法分析接收到的视频(例如，用户动作)并将用户动作识别结果输出到显示装置100的屏幕上。控制器可以在与用户动作的位置相对应的屏幕的相对位置上显示用户动作识别结果。该相对位置暗示了由照相机145接收的用户动作的位置(例如，包括从照相机145到用户动作的距离的3维(3D)位置或2D位置)不同于在屏幕上显示的用户动作识别结果的位置(屏幕上显示的2D位置)。控制器可以使用飞行时间(timeofflight，TOF)传感器方法、结构光传感器方法或立体匹配传感器方法来测量到照相机145接收到的用户动作的距离。控制器可以考虑到用户动作的距离来在屏幕上显示用户动作识别结果。
控制器可以使用输出的动作识别结果选择在显示装置100上显示的菜单，或者可以执行与动作识别结果相对应的控制操作。例如，控制器可以改变频道、调节音量或者移动指示器。
照相机145可以包括透镜(未示出)和图像传感器(未示出)。照相机145可以使用多个透镜和图像处理来支持光学变焦或者数字变焦。例如，照相机145可以支持5倍光学变焦或者20倍数字变焦。照相机145的识别范围可以根据照相机的角度和环境条件不同地设置。
当照相机145包括多个照相机时，照相机145可以使用前盖12的第一照相机145和相邻的第二照相机(未示出)(例如，相对于第一照相机145的间隔大于2厘米并小于8厘米)接收3D静止图像或者3D动作。
照相机145可以是与显示装置100一起的一体化类型，或者可以与显示装置100分离。包括分离的照相机145的装置(未示出)可以通过通信器130或外部输入器160与显示装置100电连接。
光接收器150通过光窗口12a接收来自外部遥控器200的光。例如，光接收器150可以接收遥控器200上的键的信号(例如，通过按压或者触摸电源键生成的光信号)(例如，与显示装置100的上电相对应的控制信号)。
外部输入器160可以在控制器的控制下从显示装置100的外部源接收视频(例如，运动图像，等等)、声音(例如，语音、音乐，等等)以及数据(例如，回放命令)。外部输入器160可以包括高清晰度多媒体接口(highdefinitionmultimediainterface，HDMI)输入端口161、组件输入插孔162、PC输入端口163以及通用串行总线(universalserialbus，USB)输入插孔164之一。外部输入器160可以包括HDMI输入端口161、组件输入插孔162、PC输入端口163和USB输入插孔164的组合。
显示器170在控制器的控制下在屏幕上显示通过调谐器120接收的广播信号中包括的视频。显示器170可以显示通过通信器130或外部输入器160输入的视频(例如，运动图像)。显示器170可以在控制器的控制下输出存储装置190中存储的视频。并且，显示器170可以显示用于执行与语音识别相对应的语音识别任务的语音用户界面(userinterface，UI)(例如，包括语音命令指南)或者用于执行与动作识别相对应的动作识别任务的动作UI(例如，包括用于动作识别的用户动作指南)。
根据示例性实施例，显示器170可以在控制器的控制下输出与部分区域动作识别模式的禁用相对应的视觉反馈。
音频输出器175在控制器的控制下输出通过调谐器120接收的广播信号中包括的声音。音频输出器175可以输出通过通信器130或外部输入器160输入的声音(例如，语音)。并且，音频输出器175可以在控制器的控制下输出存储装置190中存储的声音。音频输出器175可以包括扬声器176、头戴式耳机输出端177和S/PDIF输出端178中的至少一个。音频输出器175可以包括扬声器176、头戴式耳机输出端177和S/PDIF输出端178的组合。
根据示例性实施例，音频输出器175可以在控制器的控制下输出与部分区域动作识别模式的禁用相对应的音频反馈。
存储装置180可以存储各种数据、程序或应用，用以在控制器的控制下运行和控制显示装置100。存储装置180可以存储响应于调谐器120、通信器130、麦克风140、照相机145、光接收器150、外部输入器160、显示器170、音频输出器175和电力供应源190的运行而输入/输出的信号或数据。存储装置180可以存储用于控制显示装置100和控制器的控制程序、最初由制造者提供的应用或者从外部源下载的应用、与应用相关的图形用户接口(graphicaluserinterface，GUI)、用于提供GUI的对象(例如，图像、文本、图标、按钮，等等)、用户信息、文档、数据库或者相关数据。
此处使用的术语“存储装置”包括存储装置180、控制器的ROM112和RAM113，或者安装在显示装置100中的存储卡(例如，微SD卡、USB存储器(未示出))。并且，存储装置可以包括非易失性存储器、易失性存储器、硬盘驱动器(harddiskdrive，HDD)或者固态驱动器(solidstatedrive，SSD)。
存储装置可以包括广播接收模块、频道控制模块、音量控制模块、通信控制模块、语音识别模块、动作识别模块、光接收模块、显示控制模块、音频控制模块、外部输入控制模块、电力控制模块、语音数据库(database，DB)或运动DB(未示出)。存储装置的模块和数据库(未示出)可以以执行显示装置100的广播接收控制功能、频道控制功能、音量控制功能、通信控制功能、语音识别功能、动作识别功能、光接收控制功能、显示控制功能、音频控制功能、外部输入控制功能或电力控制功能的软件的形式来实现。控制器可以使用存储装置中存储的软件来执行每个功能。
存储装置可以在控制器的控制下存储关于显示装置100是处于全部区域动作识别模式还是处于部分区域动作识别模式的信息。
存储装置可以在控制器的控制下存储计算的到用户动作的距离。
存储装置可以在控制器的控制下存储关于响应于用户输入设置的有效区域的有效区域信息。有效区域信息可以包括有效区域的每个顶点的位置、有效区域的名称或者有效区域设置时间。
存储装置可以存储具有与通过照相机输入的用户动作相对应的面积的有效区域的有效区域信息。
存储装置可以存储与显示装置100的初始电力供应相对应的参考信息。控制器可以进行控制以利用参考信息自动地显示用于设置有效区域的有效区域设置屏幕。
存储装置可以计算设置的有效区域的面积。并且，存储装置可以计算屏幕的面积。
存储装置可以存储响应于用户动作设置的有效区域的面积。
存储装置可以预存储用于设置有效区域的用户动作或者用户动作的种类。
存储装置可以存储关于用于禁用部分区域动作识别模式的禁用动作的信息。例如，禁用动作可以包括伸展用户的手掌、握紧用户的拳头以及连续伸展用户的手掌并握紧用户的拳头之一。存储装置可以计算禁用动作的面积。
存储装置可以存储与部分区域动作识别模式相对应的部分区域动作识别模式信息。例如，部分区域动作识别模式信息可以包括关于是否设置部分区域动作识别模式的信息、部分区域动作识别模式改变时间，等等。
存储装置可以存储与第一部分区域动作识别模式相对应的第一部分区域动作识别模式信息或者与第二部分区域动作识别模式相对应的第二部分区域动作识别模式信息。存储的第一部分区域动作识别模式信息和/或第二部分区域动作识别模式信息可以与部分区域动作识别模式信息(例如，关于是否设置部分区域动作识别模式的信息、部分区域动作识别模式改变时间，等等)相同。
存储装置可以存储与部分区域动作识别模式相对应的对象。例如，该对象可以包括图像、文本、图标或者按钮。
存储装置可以存储有效区域设置屏幕的透明度、有效区域设置模板的透明度或者有效区域的透明度。
存储装置可以存储与部分区域动作识别模式的禁用相对应的视觉反馈和音频反馈中的至少一个。例如，视觉反馈包括闪光或运动图像。音频反馈包括可输出的声音。
存储单元可以存储与部分区域动作识别模式的保持相对应的弹出窗口。
电力供应源190在控制器的控制下将从外部电源输入的电力供应给显示装置100的内部元件120到180。并且，电力供应源190可以在控制器的控制下向位于显示装置100中的一个或两个或更多个电池(未示出)供电。向其供电的电池可以位于显示器170和后盖13之间。并且，电池可以位于显示装置100的前盖12中。
可以向图1和图2的显示装置100的元件110到190添加或从其删除与显示装置100的性能相对应的至少一个元件。并且，相关领域普通技术人员将理解，可以根据显示装置100的性能或配置改变元件110到190的位置。
图3是图示根据示例性实施例的显示装置的用于识别动作的方法的示意性流程图。
图4a到图7g是图示根据示例性实施例的显示装置的用于识别动作的方法的示例的视图。
参照图3，在操作S301显示视频。
参照图4a，控制器通过显示装置100的屏幕显示视频410(例如，包括图像)。
显示的视频410可以包括通过调谐器120接收的视频、通过通信器130接收的视频、通过外部输入器160接收的视频以及存储在存储装置180中的视频中的至少一个。并且，视频可以包括通过调谐器120接收的图像、通过通信器130接收的图像、通过外部输入器160接收的图像以及存储在存储装置180中的图像中的至少一个。
参照图3，在操作S302设置有效区域。
控制器可以检测通过遥控器200、麦克风140、照相机145以及面板键14之一输入的有效区域设置请求。可以通过遥控器200的键(例如，“有效区域设置键”(未示出))、通过麦克风140输入的声音(例如，说出“设置活动区域”)、通过照相机145输入的动作(例如，用于设置有效区域的动作、“握紧用户的拳头并晃动”)、或者面板键14中包括的一个键(例如，“有效区域设置键”(未示出))来输入有效区域设置请求。
显示装置100可以在全部区域动作识别模式以及部分区域动作识别模式下操作。例如，控制器可以在全部区域动作识别模式下操作，在全部区域动作识别模式下，通过使用照相机145从照相机145的整个识别范围中识别出的动作来控制显示装置100。并且，控制器可以在部分区域动作识别模式下操作，在部分区域动作识别模式下，仅仅通过在照相机145的识别范围内的由用户输入设置的有效区域中识别出的动作来控制显示装置100。
有效区域指的是响应于通过照相机145输入的用户动作在屏幕上显示的相对区域。控制器可以在屏幕中的相对位置上显示使用照相机145在离开显示装置100的位置上检测到的用户动作(例如，2D视频或3D视频)。控制器可以在屏幕中与到用户动作的距离相对应的相对位置上显示通过照相机145输入的用户动作。
在部分区域动作识别模式下控制器可以将除了有效区域以外的区域设置为屏蔽区域。在部分区域动作识别模式下，控制器可不识别通过照相机145的识别范围的屏蔽区域输入的动作。并且，在部分区域动作识别模式下，控制器可以识别通过照相机145的识别范围的屏蔽区域输入的动作，但是可以因为屏蔽区域不是有效区域而不控制显示装置100。
控制器可以仅识别使用照相机通过照相机145的识别范围中的一些区域输入的预定动作(例如，禁用动作)。此外，控制器可以仅识别使用照相机145通过照相机145的识别范围中的一些区域输入的动作。并且，控制器可以仅识别使用光学变焦或数字变焦通过照相机145的识别范围中的一些区域输入的动作。除了照相机145的识别范围中的一些区域以外的区域可以作为屏蔽区域来处理。
当向显示装置供应了初始电力然后设置了初始有效区域时，控制器可以在全部区域动作识别模式下设置有效区域。
根据示例性实施例的“用户输入”包括遥控器200的键(未示出)、通过麦克风140输入的用户语音、通过照相机145接收的用户动作或者面板键14的键(未示出)。
根据另一示例性实施例，当初始电力被供应到显示装置100时，如图4b和图4c中所示，控制器可以显示有效区域设置屏幕420来设置初始有效区域。
控制器可以使用与初始电力是否被供应到显示装置100相对应的参考信息来确认是否供应了初始电力。例如，可以在生产显示装置100时以标志的形式设置参考信息。控制器可以从该标志识别参考信息并且可以识别出初始电力被供应到显示装置100。然而，确定是否供应了初始电力不应局限于参考信息，并且是相关领域普通技术人员可容易理解的。
参照图4b，控制器响应于有效区域设置请求使视频410被有效区域设置屏幕420覆盖以便设置有效区域。与视频410一起显示具有透明度(例如，0到100％)的有效区域设置屏幕420。当显示没有透明度的有效区域设置屏幕420时，可以仅显示没有透明度的有效区域设置屏幕420。视频410被没有透明度的有效区域设置屏幕420所隐藏并不被显示。并且，当经过了预定时间(例如，500毫秒)时，可能不显示有效区域设置屏幕420并且可以仅显示视频410。
参照图4c，控制器可以在有效区域设置屏幕420的一侧上显示有效区域设置模板430。视频410可以被具有透明度的有效区域设置模板430覆盖。有效区域设置模板430可以在视频410的四个侧边之一上形成。有效区域设置屏幕420可以被具有透明度的有效区域设置模板430覆盖。有效区域设置模板430可以在有效区域设置屏幕420的四个侧边之一上形成。
有效区域设置模板430可以包括矩形模板431、圆形模板432、三角形模板433或十字形模板434。并且，相关领域普通技术人员将理解，除了示出的模板431到434之外，有效区域设置模板430包括各种模板(例如，心形模板，等等)。
当通过用户输入(例如，遥控器200的方向键(未示出)、用户语音(例如，说出“移动到矩形模板”)、用户动作(例如，“握紧用户的拳头并移动”)、或者面板键14的方向键(未示出))选择的矩形模板431被拖放到视频410上时，控制器可以在视频410中的拖放位置上显示矩形模板431。
参照图4d，显示了其位置、大小和/或形状根据用户输入而改变的单个矩形模板。矩形模板431的位置可以通过拖放来改变，并且矩形模板431的大小和/或形状可以根据用户输入来改变。控制器可以显示根据用户输入改变了其位置、大小和/或形状的矩形模板。例如，改变的矩形模板可以包括矩形区域440、垂直条区域441和水平条区域442之一或者矩形区域440、垂直条区域441和水平条区域442的组合。然而，相关领域普通技术人员将理解，这不应被认为是限制性的。可以通过用户输入显示单个矩形区域或者多个矩形区域。
通过照相机145接收的用户动作(例如，移动矩形模板的位置或者改变矩形模板的大小的动作)可以对应于照相机145的识别范围并且可以被显示在屏幕中的相对位置上。控制器可以使用通过照相机145识别出的动作控制在屏幕上显示的矩形模板440到442。
控制器可以在屏幕上显示根据用户输入改变了其位置、大小和/或形状的矩形区域440。当在预定时间(例如，1秒)内没有用户输入时，控制器可以将矩形区域440确定为初步有效区域440a。
控制器可以在屏幕上显示根据用户输入改变了其位置、大小和/或形状的各个矩形区域440到442。当在预定时间(例如，1秒)内没有用户输入时，控制器可以将所有矩形区域440到442确定为初步有效区域440a。
参照图4e，控制器显示弹出窗口450和/或指示器450a以用于设置有效区域。指示器450a可以默认位于是451上。当通过用户输入选择了是451时，控制器可以将初步有效区域440a设置为有效区域443。控制器可以在存储装置180中存储与有效区域443相对应的有效区域信息(例如，有效区域的每个顶点的位置、有效区域的名称、有效区域设置时间，等等)。
例如，设置的有效区域可以是矩形有效区域443。设置的有效区域443的面积可以小于显示装置100的屏幕面积。
控制器可以通过用户输入设置与显示的多个初步有效区域(未示出)相对应的多个有效区域。控制器可以在存储装置中存储与多个有效区域中的每一个相对应的有效区域信息。多个有效区域的面积总和可以小于显示装置100的屏幕面积。
根据另一示例性实施例，除了用户输入之外，可以在控制器的控制下使用照相机145自动地设置有效区域。
当检测到有效区域设置请求时，控制器可以根据预定设置通过照相机145检测用户动作。当初始电力被供应到显示装置100时，控制器可以自动地确定有效区域设置请求而无需用户输入。所述预定设置可以是有效区域的自动设置。
用户动作可以包括用户身体的一部分的动作或者用户的一部分的动作，例如用户的脸、眼神、手、拳和手指的动作。用于自动地设置有效区域的与用户身体的一部分(例如，手)相对应的用户身体信息可以预存储在存储装置中。
响应于有效区域的自动设置，控制器可以操作照相机145，使用照相机145识别用户动作，输出动作识别结果，并且在存储装置中存储动作识别结果。所述预定设置可以被存储在存储装置中。该预定设置可以被设置为通过到显示装置的初始电力供应来执行或者在控制器的控制下通过用户输入来执行。
显示装置100可识别的用户动作可以包括用户身体的一部分的动作或者用户的一部分的动作，例如用户的脸、眼神、手、拳和手指的动作。响应于动作识别结果可以在显示装置100上显示单个用户动作或者多个用户动作，并且可以识别多个用户的动作。
控制器可以在有效区域设置屏幕420或者视频410上显示至少一个识别出的用户动作(未示出)。
识别出的并且在显示装置100的屏幕上显示的至少一个用户动作(未示出)之一可以对应于通过用户输入的有效区域设置并且可以被选择。显示的至少一个用户动作中的多个用户动作可以对应于通过用户输入的有效区域设置并且可以被选择。
控制器可以计算确定的用户动作(未示出)的面积。控制器可以根据计算的用户动作的面积计算与用户动作相对应的有效区域(未示出)的面积。控制器可以将有效区域的面积设置为是用户动作的面积的110％到400％。有效区域的面积可以大于用户动作的面积。然而，相关领域普通技术人员将理解，可以考虑到动作识别的识别效率来确定有效区域的面积。
根据另一示例性实施例，与多个用户动作相对应的多个有效区域的面积总和可以小于显示装置100的屏幕面积。
控制器可以根据用户输入改变设置的有效区域(未示出)的大小和/或形状。
参照图3，当在操作S302设置了有效区域时，执行操作S303。
参照图3，在操作S303设置禁用动作。
当设置了有效区域时，控制器将使用照相机145输入的用户动作设置为用于禁用显示装置100的部分区域动作识别模式的禁用动作。在显示装置100的全部区域动作识别模式下照相机145的识别范围可以是照相机145距用户位置1.5到4m之内的距离。照相机145的识别范围可以根据照相机的角度和环境条件而变化。
显示装置100可以包括全部区域动作识别模式和部分区域动作识别模式，在全部区域动作识别模式下，可通过在照相机145的识别范围内识别出的用户动作来控制显示装置100，并且在部分区域动作识别模式下，可通过仅仅在照相机145的识别范围的设置的有效区域中识别出的用户动作来控制显示装置100。
参照图5a到图5c，控制器可以从有效区域443检测通过照相机145输入的用户动作。控制器可以分析输入的用户动作并且可以将该动作设置为仅仅在有效区域443中检测到的禁用动作。例如，设置的禁用动作可以包括伸展用户的手掌510、握紧用户的拳头511以及连续伸展用户的手掌并握紧用户的拳头512之一。并且，可以设置单个禁用动作或者多个禁用动作。例如，可以设置与各个用户相对应的禁用动作。
从照相机145延伸出的两条线仅仅为了二维地表示照相机145的识别范围，并且并不意图限制照相机145的识别范围。
根据另一示例性实施例，除了在操作S302设置的有效区域443之外，控制器可以在照相机145的识别范围内检测禁用动作。在照相机145的识别范围内检测禁用动作可以基本上与在有效区域433中检测禁用动作相同，因此省去冗余的解释。
在有效区域443上显示的禁用动作510到512可以暗示用户动作是在离开显示装置100并且与有效区域433相对应的相对位置处输入的。
当通过照相机145输入的用户动作的一部分被显示在有效区域443上时，用户可以将其用作指南来将用户动作输入到有效区域443。
控制器可以计算与设置的禁用动作510到512相对应的禁用动作的面积。控制器可以使用禁用动作的轮廓(未示出)来计算禁用动作的面积。禁用动作的轮廓可以包括闭合曲线或者开放曲线。并且，该轮廓可以是直线而非曲线。例如，禁用动作510到512的面积可以包括脸部面积、伸展的手掌的面积、握紧的拳头的面积或者伸展的手掌和握紧的拳头的面积。使用轮廓来计算面积是相关领域普通技术人员将容易理解的。
参照图5d，控制器可以使用计算的禁用动作的面积来确定有效区域443的有效性。当设置的有效区域443的面积大于禁用动作(例如，510)的面积时，控制器显示弹出窗口520和/或指示器520a来设置用户的禁用动作。
在弹出窗口520中可以显示像是521和否这样的菜单。指示器520a可以默认位于是521上。当通过用户输入选择了是521时，控制器可以将初步禁用动作(例如，510)设置为禁用动作513。控制器可以在存储装置中存储与禁用动作513相对应的禁用动作信息(例如，禁用动作的形状、大小、面积、名称，或者禁用动作设置时间，等等)。
当有效区域443的面积小于禁用动作(例如，510)的面积时，控制器可以在屏幕上显示与禁用动作设置错误相对应的弹出窗口(未示出)。用户可以响应于禁用动作设置错误重新设置禁用动作。
设置禁用动作(S303)可以早于设置有效区域(S302)执行。例如，当首先设置禁用动作时，控制器可以使用在照相机145的识别范围内输入的用户动作来设置有效区域。
参照图3，当在操作S303设置了禁用动作时，执行操作S304。
参照图3，在操作S304，全部区域动作识别模式被改变为部分区域动作识别模式。
参照图6a，当接收到用于改变为部分区域动作识别模式的用户输入时，控制器在屏幕上显示弹出窗口610和/或指示器610a以便改变到动作识别锁定模式。指示器610a可以默认位于是611上。当通过用户输入选择了是611时，控制器可以将显示装置100的全部区域动作识别模式改变为部分区域动作识别模式。控制器可以在存储装置中存储与动作识别锁定模式相对应的部分区域动作识别模式信息(例如，关于是否设置部分区域动作识别模式的信息、部分区域动作识别模式改变时间，等等)。
参照图6b，控制器在屏幕一侧上显示的频道信息620上显示与改变的部分区域动作识别模式相对应的对象621。显示的对象621例如可以包括图像、文本、图标或者按钮。频道信息620可以包括视频的广播站名称、关于广播是陆地广播还是有线电视广播的信息、频道号、偏好的频道等等。控制器可以在屏幕上显示频道信息620达预定时间(例如，1秒)。控制器可以在除了频道信息620的区域以外的区域上显示对象621，并且可以显示对象621达预定时间(例如，1秒)。
参照图3，当在操作S304全部区域动作识别模式被改变为部分区域动作识别模式时，执行操作S305。
参照图3，在操作S305在有效区域中识别禁用动作。
参照图7a，显示装置100处于部分区域动作识别模式下。控制器可以响应于显示装置100改变为部分区域动作识别模式而在屏幕上显示具有透明度的有效区域433。设置显示的有效区域443的透明度以便在视频和有效区域443之间进行区别。
参照图7b，控制器可以在显示装置100的屏幕中确定通过照相机145输入的用户动作510的相对位置。控制器可以确定通过照相机145输入的用户动作510是否是在有效区域433中可识别的。控制器可以在有效区域中显示用户动作510的相对位置。并且，控制器可以与有效区域一起显示识别出的用户动作510的相对位置。控制器可以响应于动作识别结果显示在有效区域433中识别出的用户动作510的一部分或全部。
参照图3，在操作S306确定识别出的动作是否与禁用动作相同。
控制器可以将在有效区域443中识别出的动作与存储装置中存储的禁用动作信息进行比较。控制器可以根据识别出的动作与禁用动作信息的比较结果来确定识别出的动作是否与禁用动作相同。
参照图3，当在操作S306识别出的动作与禁用动作相同时，执行操作S307。
参照图3，在操作S307，部分区域动作识别模式被禁用。
参照图7c，当识别出的动作与禁用动作相同时，控制器在屏幕上显示用于禁用部分区域动作识别模式的弹出窗口710和/或指示器710a。指示器710a可以默认位于是711上。当通过用户输入选择了是711时，控制器可以禁用显示装置100的部分区域动作识别模式。并且，当显示了弹出窗口710和/或指示器710a并且在预定时间(例如，500毫秒)内未接收到用户输入时，控制器可以禁用显示装置100的部分区域动作识别模式。
根据另一示例性实施例，可以在不显示弹出窗口710和/或指示器710a的情况下禁用部分区域动作识别模式。例如，当识别出的动作与禁用动作相同时，控制器可以不显示与部分区域动作识别模式的禁用相对应的通知(例如，弹出窗口710和/或指示器710a)并且可以禁用部分区域动作识别模式。控制器可以自动地禁用部分区域动作识别模式。
参照图3，在操作S308，部分区域动作识别模式被改变为全部区域动作识别模式。
参照图7d，控制器将显示装置100的部分区域动作识别模式改变为全部区域动作识别模式。控制器可以向用户提供与改变到全部区域动作识别模式相对应的视觉反馈。该视觉反馈可以被表示成好像有效区域433以恒定速度逐渐扩大到屏幕的实际大小(443→443a→443b→443c)。并且，控制器可以在除了有效区域433以外的屏幕上提供与改变到全部区域动作识别模式相对应的视觉反馈，例如单独的闪光或运动图像。
控制器可以通过音频输出器175输出与改变到全部区域动作识别模式相对应的音频反馈(例如，声音)。控制器可以向用户提供与改变到全部区域动作识别模式相对应的视觉反馈和音频反馈之一，或者可以向用户提供视觉反馈和音频反馈的组合。
控制器可以将部分区域动作识别模式改变为全部区域动作识别模式而不提供单独的反馈。
图7e图示了已将部分区域动作识别模式改变为全部区域动作识别模式的显示装置100。控制器可以显示已经被扩展到屏幕的实际大小的有效区域443c。已经将部分区域动作识别模式改变为全部区域动作识别模式的显示装置100可以识别在照相机145的识别范围内输入的用户动作。在全部区域动作识别模式下，控制器可以响应于通过照相机145输入的用户动作控制显示装置100(例如，改变频道，等等)。
根据另一示例性实施例，当识别出的动作与第一禁用动作相同时，控制器可以保持部分区域动作识别模式(例如，第二部分区域动作识别模式)。部分区域动作识别模式可以包括第一部分区域动作识别模式和第二部分区域动作识别模式。当识别出的动作与禁用动作510相同时，第一部分区域动作识别模式指的是在其中部分区域动作识别模式被改变为全部区域动作识别模式的部分区域动作识别模式。当识别出的动作与第一禁用动作(未示出，例如，用手指举出V型标记的手势)相同时，第二部分区域动作识别模式指的是在其中部分区域动作识别模式被保持的部分区域动作识别模式。所述禁用动作和第一禁用动作可以是不同的。
控制器可以根据用户输入将部分区域动作识别模式设置为第一部分区域动作识别模式和第二部分区域动作识别模式之一(例如，第一部分区域动作识别模式被设置为默认)。当识别出的动作与禁用动作或第一禁用动作相同时，控制器可以显示与对第一部分区域动作识别模式和第二部分区域动作识别模式之一的选择相对应的弹出窗口(未示出)和/或指示器(未示出)。当识别出的动作与禁用动作相同时，弹出窗口(未示出)可以显示说明“已识别出禁用动作。您希望改变为第一部分区域动作识别模式吗？”的消息。并且，当识别出的动作与第一禁用动作相同时，弹出窗口(未示出)可以显示说明“已识别出第一禁用动作。您希望改变为第二部分区域动作识别模式吗？”的消息。当选择了第二部分区域动作识别模式时，控制器可以响应于对第二部分区域动作识别模式的选择而保持部分区域动作识别模式。
当选择了第一部分区域动作识别模式时，控制器可以响应于对第一部分区域动作识别模式的选择而禁用部分区域动作识别模式。
控制器可以向用户提供与第二部分区域动作识别模式相对应的视觉反馈。该视觉反馈可以被表示为好像屏幕被以恒定速度逐渐缩小到有效区域433(443c→443b→443a→443)。并且，控制器可以在除了有效区域433以外的屏幕上提供与改变到全部区域动作识别模式相对应的视觉反馈，例如单独的闪光或运动图像。
控制器可以通过音频输出器175输出与第二部分区域动作识别模式相对应的音频反馈(例如，声音)。控制器可以向用户提供与改变到全部区域动作识别模式相对应的视觉反馈和音频反馈之一，或者可以向用户提供视觉反馈和音频反馈的组合。
控制器可以根据第二部分区域动作识别模式保持部分区域动作识别模式而不提供单独的反馈。
在第二部分区域动作识别模式下，控制器可以在有效区域433中识别用户动作。在第二部分区域动作识别模式下，控制器可以响应于使用照相机145在有效区域433中对用户动作的识别来控制显示装置100(例如，调节音量)。
并且，当在第二部分区域动作识别模式下在有效区域中输入禁用动作510时，控制器可以将第二部分区域动作识别模式改变为全部区域动作识别模式。
参照图3，当在操作S308部分区域动作识别模式被改变为全部区域动作识别模式时，显示装置的动作识别方法结束。
当在操作S306识别出的动作不同于禁用动作时，可以执行操作S309。
在操作S309保持部分区域动作识别模式。
参照图7f，当在有效区域443中识别出的动作不同于在存储装置中存储的禁用动作信息(例如，识别出的用户动作511不同于与禁用动作510相对应的禁用动作信息)时，控制器可以在屏幕上显示用于保持部分区域动作识别模式的弹出窗口720和/或指示器720a。指示器720a可以默认位于是721上。当通过用户输入选择了是721时，控制器可以额外地识别有效区域433中的用户动作。
参照图7g，当在有效区域443中识别出的动作不同于在存储装置中存储的禁用动作信息(例如，识别出的用户动作510a的一部分不同于禁用动作510)时，控制器可以在屏幕上显示用于保持部分区域动作识别模式的弹出窗口730和/或指示器730a。弹出窗口730可被用作用于用户向有效区域443输入用户动作的指南。
控制器可以响应于用户动作510a的所述部分来移动有效区域433的位置或者增加有效区域433的面积。可以根据动作510a的所述部分的面积来确定扩大有效区域433。例如，当用户动作510a的所述部分是禁用动作510的50％时，控制器可以向动作510a的其他部分移动有效区域433。并且，当用户动作510a的所述部分是禁用动作510的50％时，控制器可以将有效区域433的面积增加到300％。指示器720a可以默认位于是731上。当通过用户输入选择了是731时，控制器可以额外地识别有效区域433中的用户动作。
在图3中，当在操作S309部分区域动作识别模式被保持时，显示装置的动作识别方法结束。
根据示例性实施例的方法可以以能够通过各种计算手段执行并且可被记录在计算机可读介质上的程序命令的形式来实现。计算机可读介质可以独立地或以组合形式包括程序命令、数据文件、数据结构等等。例如，计算机可读介质可以被存储在诸如ROM、存储器(例如RAM)、存储器芯片和集成电路的易失性或非易失性存储装置中，或者可以被存储在能够以光学方式或磁性方式进行记录并且可被装置(例如，计算机)读取的存储介质(诸如CD、DVD、磁盘或者磁带)中，而不管计算机可读介质是否是可删除的或可重记录的。移动终端中包括的存储器是适配来存储包括用于实现示例性实施例的指示的一个或多个程序的可被装置读取的存储介质的示例。记录在介质上的程序命令是为了本公开而设计或配置的，或者是相关领域普通技术人员熟知并且可用的。
前述示例性实施例和优点仅仅是示例性的，并不被解释为限制本发明构思。示例性实施例可以容易地应用于其他类型的装置。并且，对示例性实施例的描述意图是说明性的，不是为了限制权利要求的范围，并且许多替换、修改和变化对于本领域技术人员将是明显的。

Claims (15)

1.一种显示装置的用于识别动作的方法，该方法包括：
在显示装置的屏幕上设置有效区域，在该有效区域中从外部输入的动作是可识别的；
将所述显示装置的全部区域动作识别模式改变为部分区域动作识别模式；
在所述有效区域中识别动作；以及
当识别出的动作是用于禁用所述部分区域动作识别模式的禁用动作时，禁用所述部分区域动作识别模式，并且
其中，所述部分区域动作识别模式是仅仅在所述有效区域中识别动作的模式。
2.如权利要求1所述的方法，其中，所述有效区域是通过遥控器、语音识别、动作识别和面板键中的至少一个设置的。
3.如权利要求1所述的方法，其中，所述有效区域的位置、大小和形状之一是通过在所述屏幕上显示的有效区域设置模板设置的。
4.如权利要求1所述的方法，其中，所述有效区域被自动设置为所具有的面积大于通过照相机输入的用户身体的一部分的面积。
5.如权利要求4所述的方法，还包括存储与用户身体的一部分相对应的用户身体信息以便自动设置所述有效区域。
6.如权利要求1所述的方法，其中，所述有效区域的面积小于所述屏幕的面积。
7.如权利要求1所述的方法，还包括，当向所述显示装置供应初始电力时，自动显示用于设置有效区域的有效区域设置屏幕。
8.如权利要求1所述的方法，还包括设置所述禁用动作，
其中，所述禁用动作包括使用照相机在所述有效区域中设置的禁用动作和在所述照相机的识别范围内设置的禁用动作之一。
9.如权利要求1所述的方法，其中，所述有效区域的面积大于识别出的禁用动作的识别区域的面积。
10.如权利要求1所述的方法，其中，将全部区域动作识别模式改变为部分区域动作识别模式包括响应于从全部区域动作识别模式到部分区域动作识别模式的改变在所述屏幕的一侧上显示与所述部分区域动作识别模式相对应的对象。
11.如权利要求1所述的方法，其中，将全部区域动作识别模式改变为部分区域动作识别模式包括响应于从全部区域动作识别模式到部分区域动作识别模式的改变，能够与所述屏幕相区分地显示具有透明度的有效区域。
12.如权利要求1所述的方法，其中，将全部区域动作识别模式改变为部分区域动作识别模式包括响应于从全部区域动作识别模式到部分区域动作识别模式的改变提供视觉反馈和音频反馈中的至少一个。
13.如权利要求1所述的方法，其中，所述有效区域是屏幕中用于识别通过照相机接收的禁用动作的相对区域。
14.如权利要求1所述的方法，还包括，当识别出的动作不同于所述禁用动作时，保持所述部分区域动作识别模式。
15.如权利要求14所述的方法，其中，保持所述部分区域动作识别模式包括，当识别出的动作不同于所述禁用动作时，在所述屏幕上显示与所述部分区域动作识别模式的保持相对应的弹出窗口。
CN201480020619.7A 2013-09-23 2014-07-31 显示装置及其动作识别方法 Pending CN105122824A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0112831 2013-09-23
KR1020130112831A KR101641091B1 (ko) 2013-09-23 2013-09-23 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
PCT/KR2014/007032 WO2015041405A1 (en) 2013-09-23 2014-07-31 Display apparatus and method for motion recognition thereof

Publications (1)

Publication Number Publication Date
CN105122824A true CN105122824A (zh) 2015-12-02

Family

ID=52689037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020619.7A Pending CN105122824A (zh) 2013-09-23 2014-07-31 显示装置及其动作识别方法

Country Status (9)

Country Link
US (1) US9557808B2 (zh)
EP (1) EP2946562A4 (zh)
JP (1) JP2016540322A (zh)
KR (1) KR101641091B1 (zh)
CN (1) CN105122824A (zh)
BR (1) BR112015020318A2 (zh)
MX (1) MX347766B (zh)
RU (1) RU2015144902A (zh)
WO (1) WO2015041405A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733905B2 (en) * 2014-06-09 2020-08-04 Lingozing Holding Ltd Method and system for learning languages through a general user interface
KR102080045B1 (ko) * 2015-07-21 2020-02-25 삼성전자주식회사 롤러블 디스플레이 장치 및 그 제어 방법
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
KR20190019527A (ko) 2017-08-18 2019-02-27 조선대학교산학협력단 레이더를 이용한 모션 인식 방법
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
FR3074938B1 (fr) * 2017-12-08 2019-12-27 Sagemcom Broadband Sas Procede d'interaction avec un sous-titre affiche sur un ecran de television, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en œuvre d'un tel procede
JP6817350B2 (ja) * 2019-02-07 2021-01-20 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Ｉｍｕおよびレーダーを介した認証管理
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
CN113874812A (zh) 2019-08-30 2021-12-31 谷歌有限责任公司 用于多输入模式的输入模式通知
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US20210103337A1 (en) * 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566914A (zh) * 2008-04-22 2009-10-28 株式会社日立制作所 输入装置
CN102025913A (zh) * 2009-09-14 2011-04-20 三星电子株式会社 数字摄影设备及控制该数字摄影设备的方法
US20130107026A1 (en) * 2011-11-01 2013-05-02 Samsung Electro-Mechanics Co., Ltd. Remote control apparatus and gesture recognition method for remote control apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173666B1 (en) * 2002-08-22 2007-02-06 Smal Camera Technologies System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
JP4929109B2 (ja) 2007-09-25 2012-05-09 株式会社東芝 ジェスチャ認識装置及びその方法
US8270669B2 (en) * 2008-02-06 2012-09-18 Denso Corporation Apparatus for extracting operating object and apparatus for projecting operating hand
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
JP5427385B2 (ja) * 2008-09-29 2014-02-26 日立コンシューマエレクトロニクス株式会社 操作制御装置及び操作表示方法
US8766926B2 (en) * 2009-10-14 2014-07-01 Blackberry Limited Touch-sensitive display and method of controlling same
JP2011095985A (ja) * 2009-10-29 2011-05-12 Nikon Corp 画像表示装置
EP2421252A1 (en) 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9213890B2 (en) 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
JP5793900B2 (ja) * 2011-03-14 2015-10-14 株式会社リコー 画像投影装置、機能設定方法、および機能設定プログラム
KR101803574B1 (ko) * 2011-07-06 2017-12-28 엘지디스플레이 주식회사 비젼 기반의 제스쳐 인식 시스템
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
US9164589B2 (en) 2011-11-01 2015-10-20 Intel Corporation Dynamic gesture based short-range human-machine interaction
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US9164779B2 (en) 2012-02-10 2015-10-20 Nokia Technologies Oy Apparatus and method for providing for remote user interaction
US9176528B2 (en) * 2012-12-28 2015-11-03 Intel Corporation Display device having multi-mode virtual bezel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566914A (zh) * 2008-04-22 2009-10-28 株式会社日立制作所 输入装置
CN102025913A (zh) * 2009-09-14 2011-04-20 三星电子株式会社 数字摄影设备及控制该数字摄影设备的方法
US20130107026A1 (en) * 2011-11-01 2013-05-02 Samsung Electro-Mechanics Co., Ltd. Remote control apparatus and gesture recognition method for remote control apparatus

Also Published As

Publication number Publication date
MX2015011188A (es) 2015-11-13
EP2946562A1 (en) 2015-11-25
EP2946562A4 (en) 2016-09-14
US20150084852A1 (en) 2015-03-26
JP2016540322A (ja) 2016-12-22
WO2015041405A1 (en) 2015-03-26
US9557808B2 (en) 2017-01-31
BR112015020318A2 (pt) 2018-05-15
KR20150033182A (ko) 2015-04-01
RU2015144902A (ru) 2017-04-25
KR101641091B1 (ko) 2016-07-20
MX347766B (es) 2017-05-12

Similar Documents

Publication Publication Date Title
CN105122824A (zh) 显示装置及其动作识别方法
US10848704B2 (en) Remote controller and method for controlling screen thereof
US10939065B2 (en) Display apparatus and method for controlling display of display apparatus
KR102266901B1 (ko) 디스플레이 장치 및 디스플레이 방법
KR20160109304A (ko) 원격 조정 장치 및 원격 조정 장치의 화면 제어방법
US10110843B2 (en) Image display device and operating method of the same
KR102337216B1 (ko) 영상 표시 장치 및 영상 표시 방법
KR20160060846A (ko) 디스플레이 장치 및 디스플레이 방법
EP2835733A1 (en) Display apparatus, the method thereof and item providing method
KR20150018127A (ko) 디스플레이 장치 및 그 방법
CN107820630A (zh) 显示装置和显示方法
US10310709B2 (en) Image display apparatus and method of displaying image for determining a candidate item to select
US11012739B2 (en) Method and device for recognizing content
US20170185246A1 (en) Image display apparatus and method of displaying image
CN107667342B (zh) 电子装置和用于控制电子装置的声音的方法
KR20150020756A (ko) 디스플레이 장치, 그 방법 및 아이템 제공 방법
KR20240087477A (ko) 화자별 음량 조절을 위한 전자 장치, 그 동작 방법 및 저장 매체
CN108810593A (zh) 显示装置及其操作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190301