CN103916689A - 电子装置及控制电子装置的方法 - Google Patents
电子装置及控制电子装置的方法 Download PDFInfo
- Publication number
- CN103916689A CN103916689A CN201410006863.XA CN201410006863A CN103916689A CN 103916689 A CN103916689 A CN 103916689A CN 201410006863 A CN201410006863 A CN 201410006863A CN 103916689 A CN103916689 A CN 103916689A
- Authority
- CN
- China
- Prior art keywords
- action
- scope
- display
- user action
- electronic installation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000004044 response Effects 0.000 claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 23
- 230000009471 action Effects 0.000 claims description 201
- 238000009434 installation Methods 0.000 claims description 60
- 230000004043 responsiveness Effects 0.000 claims description 16
- 238000013459 approach Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 241000288673 Chiroptera Species 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Abstract
提供了一种电子装置。该电子装置包括:动作输入单元,其被配置为接收用户动作;显示器,其被配置为显示由通过所述动作输入单元接收到的用户动作控制的对象;以及控制器,其被配置为响应于所述输入的用户动作满足相对于动作识别范围的预定条件,改变所述对象的显示状态。
Description
相关申请的交叉引用
本申请要求2013年1月7日向韩国知识产权局提交的第10-2013-0001799号韩国专利申请的优先权,其公开通过引用整体并入本文。
技术领域
与示例性实施例相一致的装置和方法涉及电子装置及控制电子装置的方法,更具体地,涉及由输入的用户动作控制的电子装置以及控制电子装置的方法。
背景技术
随着电子技术的发展,已经开发了各种类型的显示装置。而且,在一般家庭中已经使用了包括电视在内的各种类型的显示装置。根据用户不断增长的需求,这样的显示装置提供了越来越多的功能。例如,电视可以连接到因特网,而且甚至可以提供因特网服务。此外,用户可以通过电视观看多个数字广播频道。
因此,实现了各种输入方法以有效地使用显示装置的各种功能。例如,各种输入方法可以包括使用可通信地耦合到电子装置的遥控器、鼠标或触摸垫。
然而,当通过简单的输入方法使用显示装置的各种功能时,存在许多可以料想到的担忧的问题。
例如,当显示装置的所有功能都由遥控器控制时,这会导致遥控器上按钮的数目的增加。在这种情况下,一般用户可能不容易熟悉使用这样的遥控器来执行所请求的功能的方法。类似地,当各种不同的菜单被在屏幕上显示供用户之后通过每一个菜单进行搜索和选择时,用户可能面临需要检查所有复杂的菜单树以找到期望的菜单以便执行所请求的功能的负担,这给用户造成不便。
为了解决上面所讨论的担忧的问题,已经开发了动作识别技术,该技术允许用户更方便和直观地控制电子装置。也就是说,通过识别用户动作来控制电子装置的技术最近已经成为焦点。
然而,根据相关的动作识别技术,用户可能不知道由于事先识别用户动作的传感器的限制而可能出现的各种问题。
发明内容
一个或多个示例性实施例提供了电子装置和用于控制该电子装置的方法,该电子装置可以事先向用户通知由于识别用户动作的传感器的识别范围的限制而可能出现的可能的问题。
根据示例性实施例的一方面,提供了一种电子装置,包括:动作输入单元,其被配置为接收用户动作;显示器,其被配置为显示由所述动作输入单元接收到的用户动作控制的对象;以及控制器,其被配置为响应于所述输入的用户动作满足相对于动作识别范围的预定条件,改变所述对象的显示状态。
控制器还可以被配置为响应于所述用户动作进入识别界限的范围内的区域中,改变由所述显示器显示的所述对象的颜色、透明度和形状中的至少一个,而且该区域被预先确定为相对于所述动作识别范围的边界在所述动作识别范围之内。
控制器还可以被配置为响应于所述输入的用户动作在所述识别界限的范围内沿更接近所述动作识别范围的边界的方向移动,增加由所述显示器显示的所述对象的透明度。
控制器还可以被配置为响应于所述输入的用户动作移出所述动作识别范围,从所述显示器的显示中移除所述对象。
电子装置还可以包括音频输出单元,而且控制器还可以被配置为响应于所述用户动作位于识别界限的范围内,控制所述音频输出单元输出报警声音,所述识别界限的范围被预先确定为相对于动作识别范围在动作识别范围内部的区域。
控制器还可以被配置为响应于所述对象根据所述用户动作在所述显示器的预定区域中移动,改变由所述显示器显示的所述对象的动作速度。
控制器还可以被配置为在所述显示器的预定周边区域上,降低由所述显示器显示的所述对象的动作速度。
动作输入单元可以包括拍摄所述用户动作的相机,而且动作输入单元的动作识别范围可以根据所述相机的角度而改变。
根据另一示例性实施例的一方面,提供了一种控制电子装置的方法,该方法包括:在显示器上显示由用户动作控制的对象;以及响应于所述用户动作满足相对于动作识别范围的预定空间条件,改变在所述显示器上显示的所述对象的显示状态。
改变所述对象的显示状态可以包括响应于所述用户动作进入识别界限的范围内的区域中,改变在所述显示器上显示的所述对象的颜色、透明度和形状中的至少一个,所述区域被预先确定为是相对于所述动作识别范围的边界在所述动作识别范围之内的区域。
改变所述对象的显示状态可以包括响应于所述输入的用户动作在所述识别界限的范围内沿更接近所述动作识别范围的边界的方向移动,增加在所述显示器上显示的所述对象的透明度。
该方法还可以包括,响应于所述用户动作移出所述动作识别范围,从所述显示器上的显示移除所述对象。
该方法还可以包括,响应于所述用户动作在识别界限的范围内输入,输出报警声音,所述识别界限的范围被预先确定为所述动作识别范围内的区域。
该方法还可以包括,响应于所述对象根据所述用户动作在所述显示器的预定区域中移动,改变在所述显示器上显示的所述对象的动作速度。
改变所述对象的动作速度还可以包括在所述显示器的预定周边区域上降低在所述显示器上显示的所述对象的动作速度。
这里,动作识别范围可以是根据拍摄用户动作的相机的角度而改变的拍摄范围。
附图说明
通过参照附图描述某些示例性实施例,以上和其他方面将变得更加清楚,在附图中:
图1是示出根据示例性实施例的电子装置的示意性视图;
图2是示出根据示例性实施例的电子装置的配置的框图;
图3是示出根据示例性实施例的电子装置的配置的框图;
图4是示出根据示例性实施例的存储在存储装置中的软件的配置的框图;
图5A至图5D是示出根据示例性实施例的提供用户接口(UI)的方法的视图;
图6A和图6B是示出根据示例性实施例的提供UI的方法的视图;以及
图7是根据示例性实施例的控制电子装置的方法的流程图。
具体实施方式
下面参照附图更详细地描述某些示例性实施例。
在下面的描述中,即使在不同的附图中,相同的参照标记也被用于相同的元件。描述中定义的、诸如详细结构和元件的事项被提供以便帮助全面理解示例性实施例。然而,示例性实施例可以在没有这些具体定义的事项的情况下实践。此外,没有详细描述公知的功能或结构,因为它们会以不必要的细节模糊本申请。
图1是示出根据示例性实施例的电子装置的示意性视图。
电子装置100可以感测用户动作,并且可以被实现为可由感测到的动作控制的数字电视。然而,电子装置100可以被实现为能够识别用户动作的任何装置,诸如PC监视器。
一旦感测到用户动作,电子装置100就可以根据感测到的动作生成动作信息,将所生成的动作信息改变为控制信号以控制电子装置100,然后基于控制信号执行功能。
特别是,电子装置100可以显示可以由用户动作控制的对象,例如,指针(pointer)10,并可以基于输入的用户动作来控制指针10的动作状态。
此外,电子装置100可以基于识别用户动作的传感器的识别范围来改变所显示的指针10的显示状态。例如,可以响应于在传感器的识别范围的边界处识别的用户动作而改变指针的显示状态。此外,响应于传感器被实现为相机,传感器的识别范围可以是由相机的角度所确定的拍摄范围。
电子装置100的特定操作可以参照附图进行解释。
图2是示出根据示例性实施例的电子装置100的配置的框图。此外,具体参照图2的框图,可以理解的是,电子装置100可以包括显示器110、动作输入单元120、存储装置130(即,存储器)和控制器140。电子装置100可以是智能电视,但是这仅仅是例子。电子装置100可以被实现为各种电子装置,诸如智能电话、平板PC、笔记本PC等。
显示器110显示可以从不同源输入的图像信号。例如,显示器110可以显示与通过广播接收器接收的广播信号相对应的图像。此外,显示器110可以通过外部端子输入单元(未示出)输入的图像数据(例如,视频)。
此外,显示器110可以显示与动作任务模式相对应的UI屏幕。例如,显示器110可以显示包括在动作任务模式中由动作控制的对象(例如,指针)的屏幕。这里,指针可以是圆形GUI。
动作输入单元120接收拍摄用户动作的图像信号(例如,连续帧),并提供图像信号到控制器140。例如,动作输入单元120可以被实现为包括镜头和图像传感器的相机单元。可替换地,根据一个或多个示例性实施例,动作输入单元可以被实现为声学、惯性、LED、磁、或反射型动作跟踪系统,或者它们的组合。此外,动作输入单元具体可以是以下光学动作跟踪系统之一,这样的光学动作跟踪系统包括但不限于利用图像传感器的光学系统,诸如使用涂有后向反射材料(retro reflective material)的标记(marker)以反射光的无源光学系统,使用照明LED的有源光学系统,利用随时跟踪(over-timetracking)和频闪光学标记(strobing optical marker)的时间调制的有源系统,和诸如反射红外图案系统的半无源标记系统。此外,动作输入单元可以是诸如使用惯性传感器的惯性系统的非光学系统、诸如外骨骼(exo-skeleton)动作捕捉系统的机械动作捕捉系统、以及磁捕捉系统或其组合。此外,动作输入单元120可以与电子装置100一体地形成,或者与电子装置100分离地形成。当动作输入单元120与电子装置100分离地提供时,动作输入单元120可以经由电缆或无线地与电子装置100可通信地连接。
存储装置130,即,存储器,存储用于驱动和控制电子装置100的各种数据和程序。存储装置130存储用于识别通过动作输入单元120输入的动作的动作识别模块。
此外,存储装置130可以包括动作数据库。在这种情况下,动作数据库是指其中记录了预定动作和与预定动作相关联的动作任务的数据库。
控制器140控制显示器110、动作输入单元120和存储装置130。控制器可以包括中央处理单元(CPU)、以及存储用于控制电子装置100的模块和数据的只读存储器(ROM)和随机存取存储器(RAM)。
一旦电子装置100接收到的动作被转换为动作任务模式,控制器140就可以在显示屏幕的特定位置(例如,在屏幕的中心)显示用于执行动作任务功能的指针。
此外,如果通过动作输入单元120输入了动作,则控制器140使用动作感测模块和动作数据库来识别动作。通过将与通过动作输入单元120输入的用户动作相对应的图像(例如,连续帧)划分为背景区域和手区域(例如,手张开或握紧的区域)并且使用动作识别模块来识别手的连续移动,可以执行动作识别。如果输入了用户的动作,则控制器140以帧为单位存储接收到的图像,并使用所存储的帧来感测用户动作的对象(例如,用户的手)。控制器140通过感测对象的形状、颜色和移动中的至少一个来检测对象。控制器140可以使用包括在多个帧中的每个对象的位置来跟踪检测到的对象的移动。
控制器140根据所跟踪的对象的形状和移动来确定用户动作。例如,控制器140使用对象的形状、对象的速度、对象的位置和对象的方向的变化中的至少一个来确定用户动作。具体地,用户动作可以包括作为握紧手的动作的“抓”动作(grab motion)、作为使用手移动所显示的光标的动作的“定点移动”动作(pointing move motion)、作为在一个方向上以高于一定阈值速度的速度移动手的动作的“拍”动作(slap motion)、作为左/右或者上/下摇动手的动作的“摇动”动作(shake motion)、和作为旋转手的动作的“旋转”动作。然而,一个或多个示例性实施例的技术特征还可以应用于除了上述动作以外的其他动作。例如,用户动作还可以包括作为展开握紧的手的动作的“展开”动作(spread motion)。
为了确定用户动作是“定点移动(pointing move)”还是“拍”,控制器140确定对象在预定时间(例如,800毫秒)内是否移动出了预定区域(例如,40厘米×40厘米的正方形)。如果对象在预定时间内没有移出预定区域,则控制器140可以确定用户动作是“定点移动”动作。可替换地,如果对象在预定时间内移出预定区域,则控制器140可以确定用户动作是“拍”动作。在另一例子中,如果确定对象的速度低于预定速度(例如,30厘米/秒),则控制器140可以确定用户动作是“定点移动”动作。如果确定对象的速度超过预定速度,则控制器140确定用户动作是“拍”动作。
响应于用户动作满足基于动作输入单元120的动作识别范围的预定条件,控制器140可以改变在屏幕上显示的指针的显示状态。指针的显示状态可以包括指针的颜色、透明度和形状中的至少一个,但不限于此。
响应于动作输入单元120(包括相机)如上所述拍摄用户动作,动作输入单元120的动作识别范围可以是由相机的角度所确定的拍摄范围。因此,动作识别范围可以根据相机的角度而变化。
具体来说,当用户动作进入识别界限的范围(scope of recognition limit)内的区域(该区域被预先确定为相对于动作识别范围的边界在动作识别范围内部的区域)中时,控制器140可以改变指针的显示状态。例如,当用户动作进入相机的角度范围的边界附近的预定范围内的区域中时,控制器140可以增加指针的透明度并显示调整后的指针。
此外,当输入的用户动作在识别界限的范围内沿更接近动作识别范围的边界的方向移动时,控制器140可以增加指针的透明度并显示调整后的指针。例如,控制器140可以显示指针,使得用户动作在相机的角度范围附近的预定范围内,越接近角度范围的边界,指针的透明度越高。
此外,当输入的用户动作移出动作识别范围时,控制器140可以从屏幕上移除指针。例如,当用户动作移出相机的角度范围时,控制器140可以从屏幕上移除指针。
此外,控制器140可以根据显示指针的位置,改变与用户动作相对应的指针的动作速度。
例如,当指针位于屏幕的周边时,控制器140可以降低与用户动作相对应的指针的动作速度。也就是说,即使用户的手移动相同的距离,在边界区域处指针移动的距离可以小于在屏幕中心处指针移动的距离,这是因为可能需要更准确的操纵来选择屏幕的边界区域上的项目。具体来说,如果指针在屏幕的边界区域处的移动速度与指针在屏幕中心处的移动速度相同,则用户可能难以选择相应的项目。因此,当指针位于屏幕边界附近的预定区域中时,可以减小指针移动的距离从而允许用户准确地选择项目。
然而,这仅仅是一个示例性实施例。根据一个或多个示例性实施例,指针移动的距离可以在除了屏幕的边界区域以外的任何需要准确定点的区域中变化。
具体来说,根据指针位于其上的项目的特性,并且根据在该项目中是否需要准确定点,指针移动的距离可以变化。
此外,当指针移动到参照动作识别范围的边界线的预定范围中时,控制器140可以改变指针的速度(例如,降低速度)并显示指针。这里,预定范围可以不同于上述识别界限的范围,尽管根据另一示例性实施例,根据情况它们可以相同。因此,可以以与改变指针的显示状态的方式类似的方式将反馈提供给用户。
图3是示出根据另一示例性实施例的电子装置100的配置的框图。参照图3,电子装置100至少包括显示器110、动作输入单元120、存储装置130、控制器140、广播接收器150、外部端子输入单元160、遥控信号接收器170、通信单元180、语音输入单元190和音频输出单元195。
为了努力避免类似元件的不必要的重复说明,将不提供关于与图2中的组件相类似的组件的详细描述。
控制器140可以包括RAM141、ROM142、主CPU143、图形处理器144、第一接口145-1至第n接口145-n、和总线146。
RAM141、ROM142、主CPU143、图形处理器144、第一接口145-1至第n接口145-n可以通过总线146彼此可通信地连接。
第一接口145-1至第n接口145-n可以可通信地连接到上述组件。接口之一可以是经由网络可通信地连接到外部装置的网络接口。
主CPU143访问存储装置130,并使用存储在存储装置130中的OS执行引导。此外,主CPU143使用存储在存储装置130中的各种程序、内容和数据来执行各种操作。
ROM142存储用于系统引导的命令集。当输入开启命令并且供应电力时,主CPU143根据存储在ROM142中的命令将存储在存储装置130中的OS复制到RAM131,并运行O/S以引导系统。当系统引导完成时,主CPU143将存储在存储装置130中的各种应用程序复制到RAM131中,并通过运行复制到RAM141中的应用程序来执行各种操作。
图形处理器144使用运算器(未示出)和绘制器(未示出)生成包括诸如图标、图像和文本等的各种对象的屏幕。运算器(未示出)根据屏幕的布局计算属性值,诸如显示每个对象的屏幕的坐标值、形状、大小、颜色等。绘制器(未示出)基于根据由运算器计算的属性值,生成包括对象的各种布局的屏幕。由绘制器(未示出)生成的屏幕被显示在显示器110的显示区域内。
广播接收器150经由线缆或无线地从外部源接收广播信号。广播信号可以包括视频、音频和附加数据(例如,EPG)。广播接收器150可以从各种源,例如地面广播、有线广播、卫星广播、因特网广播等接收广播信号。
外部端子输入单元160从电子装置100的外部接收图像数据(例如,视频、图片等)和音频数据(例如,音乐等)。外部端子输入单元160可以包括高清晰度多媒体接口(HDMI)输入端子161、分量输入端子162、PC输入端子163以及USB输入端子164中的至少一个。遥控信号接收器170接收从外部遥控器输入的遥控信号。即使当电子装置100处于音频任务模式或动作任务模式中时,遥控信号接收器170也可以接收遥控信号。
通信单元180可以在控制器140的控制下,将电子装置100连接到外部装置(例如,服务器)。控制器140可以从通过通信单元180可通信地连接的外部装置下载应用,或者执行网络浏览。通信单元180可以提供以太网181、无线LAN182和蓝牙183中的至少一个。
语音输入单元190接收由用户发出的语音信号。语音输入单元190将输入语音信号转换为电信号并将电信号输出到控制器140。在这种情况下,语音输入单元190可以被实现为麦克风。此外,语音输入单元190可以按一体化地设计与电子装置100一体地提供,或者与电子装置100分离提供。与电子装置100分离提供的语音输入单元190可以通过有线或无线网络连接。
当从语音输入单元190输入用户语音信号时,控制器140使用语音识别模块和语音数据库识别语音信号。具体地,控制器140通过检测输入语音信号内由用户发出的语音信号的开始和结束来确定语音部分(voice section),并且通过基于声学模型在所检测的语音部分内的语音信号中检测作为最小的语音单位的音素(phoneme)来生成音素数据。控制器140通过将隐马尔可夫模型(HMM)应用到已生成的音素数据来生成文本信息。然而,用于识别用户语音的以上方法仅仅是示例性实施例,而且还可以使用其他方法来识别用户语音信号。因此,控制器140可以识别包含在语音信号中的用户语音。
音频输出单元195在控制器140的控制下,输出各种音频信号。音频输出单元195可以包括扬声器195A、耳机输出端子195B和索尼/飞利浦数字接口(S/PDIF)输出端子195C中的至少一个。
具体地,当通过动作输入单元120在识别界限的范围(它是被预先确定为动作识别范围的边界线内的区域)内输入用户动作时,音频输出单元195可以在控制器140的控制下输出警报声。因此,在用户动作超出动作识别范围的情况下,可以向用户提供警告该情况的音频反馈。
图4是示出根据示例性实施例的存储在存储装置中的软件的配置的框图。
参照图4,存储装置130(即,存储器)可以包括电力控制模块130A、频道控制模块130B、音量控制模块130C、外部输入控制模块130D、屏幕控制模块130E、音频控制模块130F、因特网控制模块130G、应用模块130H、搜索控制模块130I、UI处理模块130J、语音识别模块130K、动作识别模块130L、语音数据库130M和动作数据库130N。模块130A到130N中的每一个可以被实现为能够通过执行电力控制功能、频道控制功能、音量控制功能、外部输入控制功能、屏幕控制功能、音频控制功能、因特网控制功能、应用运行功能、搜索控制功能和UI处理功能的软件。控制器140可以通过运行存储在存储装置130中的软件来执行相应的功能。例如,控制器140可以使用动作识别模块130L和动作数据库130N来识别用户动作。
下面将参照图5至图7描述根据各种示例性实施例的提供UI的方法。
图5A至图5D是示出根据示例性实施例的提供UI的方法的视图。
根据图5A的上部,当根据预定事件激活动作任务模式时,可以显示由动作控制的指针10。
在这种情况下,如图5A的下部所示,在相机的角度范围510(即,动作识别范围)内,可以识别控制指针10的动作的用户的手20。
随后,当用户的手20移动到右侧时,如图5B的下部所示,在屏幕上显示的指针10的位置可以基于用户的手20移动的方向和距离来移动,如图5B的上部所示。在这种情况下,用户的手20越接近相机的角度范围510的边界,指针10的透明度越高。
此外,如图5C的下部所示,当用户的手20更接近地移向相机的角度范围510或者部分移出角度范围510时,指针10的透明度可以进一步增加,如图5C的上部所示。
此外,如图5D的右下部所示,当用户的手20完全移出相机的角度范围510时,指针10可以从屏幕上移除。
因此,用户可以在他或她的动作脱离传感器识别范围之前在传感器识别范围内识别他们的姿势的空间位置。
在以上示例性实施例中,在屏幕上显示的指针的透明度根据动作识别范围而改变,但是这仅仅是例子。在另一示例性实施例中,指针的颜色或形状中的至少一个可以改变。
图6A和图6B是示出根据另一示例性实施例的提供UI的方法的视图。
如图6A所示,当在屏幕的中心显示指针10时,假定指针10与根据用户的手20移动的距离移动同样的距离‘a’。
随后,如图6B所示,当在预定屏幕的周边区域610处显示指针10时,即使由用户手20移动的距离与图6B中所示的距离(它与图6A所示的距离相同)相同,指针10也可以仅移动小于距离‘a’的距离‘b’。
也就是说,依赖于指针10在屏幕上显示的位置,指针10根据相同的用户动作移动的速度以及移动的距离可以改变。
提供上述功能以允许用户在选择屏幕的周边区域上的项目时通过降低指针的动作速度来更准确地执行定点操纵。
同时,在以上示例性实施例中,在屏幕的周边区域上,指针的动作速度被改变,但是这仅仅是例子。以上特征可以应用于需要用户的精确定点操纵的任何区域。例如,当屏幕的中心处的特定项目需要精确定点操纵时,也可以降低指针的动作速度。
图7是根据另一示例性实施例的、被提供以解释用于控制电子装置的方法的流程图。
根据图7中所示的用于控制电子装置的方法,在屏幕上显示由用户动作控制的对象(S710)。
随后,确定输入的用户动作是否满足关于动作识别范围的预定条件(S720)。本文中,动作识别范围可以是由拍摄用户动作的相机的角度确定的拍摄范围。
当输入的用户动作满足关于动作识别范围的预定条件(S720:是)时,可以改变和显示对象的显示状态(S730)。
在操作S730中,响应于输入的用户动作进入识别界限的范围内的区域(该区域被预先确定为动作识别范围内部的、需要改变所显示的对象的属性区域),改变和在屏幕上显示显示的对象的显示状态。在具体的例子中,当用户动作接近该范围的边界时会发生这种确定,从而触发对象的颜色、透明度和形状中的至少一个被改变并显示。
在操作S730中,在屏幕上显示的对象的显示状态被改变和显示。具体地,响应于输入的用户动作在识别界限的范围内沿更接近动作识别范围的边界的方向移动,指针的透明度可以被增加并显示。
此外,如果输入的用户动作移出动作识别范围,则对象可以从屏幕上消失。
此外,当对象通过用户动作在相对于动作识别范围的边界的预定范围内移动时,对象的速度可以被改变并显示。在这种情况下,在相对于动作识别范围的边界的预定范围内,对象的动作速度可以被降低并显示。
进一步地,当在识别界限的范围(它被预先确定为相对于动作识别范围的边界线的、动作识别范围内部的区域)内输入用户动作时,警报声音可以响起。
如上所述,示例性实施例可以防止由于分离的屏幕上的用于识别用户操纵的位置和操纵结果的传感器的限制所导致的不便。
根据各种示例性实施例的用于控制电子装置的方法可以被实现为程序并在电子装置中提供。
例如,可以提供存储程序的非临时性计算机可读介质,该程序显示由用户动作控制的对象,并且响应于输入的用户动作满足相对于动作识别范围的预定条件而改变和显示对象的显示状态。
本文中,非临时性计算机可读介质指的是可以半永久地存储数据而不是不像寄存器、高速缓存和存储器一样短时间存储数据的介质,并且可以由装置读取。更具体地,上述各种应用或程序可以被存储在非临时性计算机可读介质中,诸如CD、DVD、硬盘、蓝光盘、USB、存储卡和ROM,并且在其中被提供。
前述示例性实施例和优点仅仅是示例性的,并且不被解释为限制本发明。本教导可以容易地应用于其它类型的装置。此外,示例性实施例的描述旨在是说明性的,而不是限制权利要求的范围,而且许多替换、修改和变化将对本领域技术人员显而易见。
Claims (15)
1.一种电子装置,包括:
动作输入单元,其被配置为接收用户动作;
显示器,其被配置为显示由所述动作输入单元接收到的用户动作控制的对象;以及
控制器,其被配置为响应于所述输入的用户动作满足相对于动作识别范围的预定条件,改变所述对象的显示状态。
2.如权利要求1所述的电子装置,
其中,所述控制器还被配置为响应于所述用户动作进入识别界限的范围内的区域中,改变由所述显示器显示的所述对象的颜色、透明度和形状中的至少一个,
其中,所述区域还被配置为:被预先确定为相对于所述动作识别范围的边界,在所述动作识别范围之内。
3.如权利要求2所述的电子装置,其中,所述控制器还被配置为:响应于所述输入的用户动作在所述识别界限的范围内沿更接近所述动作识别范围的边界的方向移动,增加由所述显示器显示的所述对象的透明度。
4.如权利要求1所述的电子装置,其中,所述控制器还被配置为:响应于所述输入的用户动作移出所述动作识别范围,从所述显示器的显示中移除所述对象。
5.如权利要求1所述的电子装置,还包括:
音频输出单元,
其中,所述控制器还被配置为:响应于所述用户动作位于识别界限的范围内,控制所述音频输出单元输出报警声音,所述识别界限的范围被预先确定为所述动作识别范围内部的区域。
6.如权利要求1所述的电子装置,其中,所述控制器还被配置为:响应于所述对象根据所述用户动作在所述显示器的预定区域中移动,改变由所述显示器显示的所述对象的动作速度。
7.如权利要求6所述的电子装置,其中,所述控制器还被配置为:在所述显示器的预定周边区域上,降低由所述显示器显示的所述对象的动作速度。
8.如权利要求1所述的电子装置,其中,所述动作输入单元包括拍摄所述用户动作的相机,
其中,所述动作输入单元的动作识别范围根据所述相机的角度而改变。
9.一种用于控制电子装置的方法,该方法包括:
在显示器上显示由用户动作控制的对象;以及
响应于所述用户动作满足相对于动作识别范围的预定空间条件,改变在所述显示器上显示的所述对象的显示状态。
10.如权利要求9所述的方法,其中,改变所述对象的显示状态包括:响应于所述用户动作进入识别界限的范围内的区域中,改变在所述显示器上显示的所述对象的颜色、透明度和形状中的至少一个,所述区域被预先确定为相对于所述动作识别范围的边界的、所述动作识别范围内部的区域。
11.如权利要求10所述的方法,其中,改变所述对象的显示状态包括:响应于所述输入的用户动作在所述识别界限的范围内沿更接近所述动作识别范围的边界的方向移动,增加在所述显示器上显示的所述对象的透明度。
12.如权利要求9所述的方法,还包括:
响应于所述用户动作移出所述动作识别范围,从所述显示器上的显示移除所述对象。
13.如权利要求9所述的方法,还包括:
响应于所述用户动作在识别界限的范围内输入,输出报警声音,所述识别界限的范围被预先确定为所述动作识别范围内部的区域。
14.如权利要求9所述的方法,还包括:
响应于所述对象根据所述用户动作在所述显示器的预定区域中移动,改变在所述显示器上显示的所述对象的动作速度。
15.如权利要求14所述的方法,其中,改变所述对象的动作速度包括:在所述显示器的预定周边区域上降低在所述显示器上显示的所述对象的动作速度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130001799A KR20140089858A (ko) | 2013-01-07 | 2013-01-07 | 전자 장치 및 그의 제어 방법 |
KR10-2013-0001799 | 2013-01-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103916689A true CN103916689A (zh) | 2014-07-09 |
Family
ID=51042028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410006863.XA Pending CN103916689A (zh) | 2013-01-07 | 2014-01-07 | 电子装置及控制电子装置的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140191943A1 (zh) |
KR (1) | KR20140089858A (zh) |
CN (1) | CN103916689A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107390448A (zh) * | 2017-09-06 | 2017-11-24 | 成都豪宇韬鹰科技有限公司 | 一种主动式光学动作捕捉系统 |
CN110517594A (zh) * | 2019-08-26 | 2019-11-29 | 北京星际元会展有限公司 | 一种体感互动led屏 |
CN111093301A (zh) * | 2019-12-14 | 2020-05-01 | 安琦道尔(上海)环境规划建筑设计咨询有限公司 | 一种灯光控制方法及其系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102261141B1 (ko) * | 2014-07-25 | 2021-06-04 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
KR20170054866A (ko) * | 2015-11-10 | 2017-05-18 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
KR101721514B1 (ko) | 2016-08-02 | 2017-03-30 | 부산대학교 산학협력단 | 아가로스, 탈세포화된 세포외기질 및 콜라겐을 포함하는 3차원 세포 배양용 세포 지지체 |
KR20210138923A (ko) * | 2020-05-13 | 2021-11-22 | 삼성전자주식회사 | 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100306710A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Living cursor control mechanics |
CN102279670A (zh) * | 2010-06-09 | 2011-12-14 | 波音公司 | 基于手势的人机界面 |
US20120139907A1 (en) * | 2010-12-06 | 2012-06-07 | Samsung Electronics Co., Ltd. | 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system |
CN102566902A (zh) * | 2010-11-22 | 2012-07-11 | 三星电子株式会社 | 使用对象的移动来选择项的装置和方法 |
US20120268372A1 (en) * | 2011-04-19 | 2012-10-25 | Jong Soon Park | Method and electronic device for gesture recognition |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0204652D0 (en) * | 2002-02-28 | 2002-04-10 | Koninkl Philips Electronics Nv | A method of providing a display gor a gui |
FR2917196B1 (fr) * | 2007-06-05 | 2010-08-20 | Thales Sa | Dispositif de visualisation comprenant au moins une zone interdite et un pointeur |
EP2421251A1 (en) * | 2010-08-17 | 2012-02-22 | LG Electronics | Display device and control method thereof |
US9152244B2 (en) * | 2011-01-30 | 2015-10-06 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
US9588604B2 (en) * | 2011-11-07 | 2017-03-07 | Microsoft Technology Licensing, Llc | Shared edge for a display environment |
US10503373B2 (en) * | 2012-03-14 | 2019-12-10 | Sony Interactive Entertainment LLC | Visual feedback for highlight-driven gesture user interfaces |
-
2013
- 2013-01-07 KR KR1020130001799A patent/KR20140089858A/ko not_active Application Discontinuation
- 2013-12-19 US US14/133,769 patent/US20140191943A1/en not_active Abandoned
-
2014
- 2014-01-07 CN CN201410006863.XA patent/CN103916689A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100306710A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Living cursor control mechanics |
CN102279670A (zh) * | 2010-06-09 | 2011-12-14 | 波音公司 | 基于手势的人机界面 |
CN102566902A (zh) * | 2010-11-22 | 2012-07-11 | 三星电子株式会社 | 使用对象的移动来选择项的装置和方法 |
US20120139907A1 (en) * | 2010-12-06 | 2012-06-07 | Samsung Electronics Co., Ltd. | 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system |
US20120268372A1 (en) * | 2011-04-19 | 2012-10-25 | Jong Soon Park | Method and electronic device for gesture recognition |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107390448A (zh) * | 2017-09-06 | 2017-11-24 | 成都豪宇韬鹰科技有限公司 | 一种主动式光学动作捕捉系统 |
CN110517594A (zh) * | 2019-08-26 | 2019-11-29 | 北京星际元会展有限公司 | 一种体感互动led屏 |
CN110517594B (zh) * | 2019-08-26 | 2021-08-17 | 北京星际元会展有限公司 | 一种体感互动led屏 |
CN111093301A (zh) * | 2019-12-14 | 2020-05-01 | 安琦道尔(上海)环境规划建筑设计咨询有限公司 | 一种灯光控制方法及其系统 |
CN111093301B (zh) * | 2019-12-14 | 2022-02-25 | 安琦道尔(上海)环境规划建筑设计咨询有限公司 | 一种灯光控制方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
KR20140089858A (ko) | 2014-07-16 |
US20140191943A1 (en) | 2014-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11404067B2 (en) | Electronic device and method of operating the same | |
US9557808B2 (en) | Display apparatus and method for motion recognition thereof | |
CN103916689A (zh) | 电子装置及控制电子装置的方法 | |
US10453246B2 (en) | Image display apparatus and method of operating the same | |
KR102354328B1 (ko) | 영상 표시 장치 및 그 동작 방법 | |
KR102414806B1 (ko) | 영상 표시 장치 및 영상 표시 방법 | |
US11500509B2 (en) | Image display apparatus and image display method | |
KR20140019630A (ko) | 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체 | |
EP3024220A2 (en) | Display apparatus and display method | |
KR20160133305A (ko) | 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치 | |
CN103914144A (zh) | 电子装置及其控制方法 | |
KR102428375B1 (ko) | 영상 표시 장치 및 그 동작방법 | |
EP3009919A1 (en) | Electronic apparatus and method for controlling thereof | |
US10719147B2 (en) | Display apparatus and control method thereof | |
CN107967915A (zh) | 显示装置及其控制方法 | |
CN103905869A (zh) | 电子装置以及通过动作输入控制电子装置的方法 | |
CN107239204A (zh) | 显示设备和显示方法 | |
KR20130080380A (ko) | 전자 장치 및 그의 제어 방법 | |
US20130174101A1 (en) | Electronic apparatus and method of controlling the same | |
US20140195014A1 (en) | Electronic apparatus and method for controlling electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140709 |
|
WD01 | Invention patent application deemed withdrawn after publication |