CN103914144A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN103914144A
CN103914144A CN201410006813.1A CN201410006813A CN103914144A CN 103914144 A CN103914144 A CN 103914144A CN 201410006813 A CN201410006813 A CN 201410006813A CN 103914144 A CN103914144 A CN 103914144A
Authority
CN
China
Prior art keywords
directions
gui
button
fixed point
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410006813.1A
Other languages
English (en)
Inventor
李东宪
金正根
张星炫
金在权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103914144A publication Critical patent/CN103914144A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection

Abstract

提供了电子装置的控制方法，该控制方法包括：在所述定点控制模式中显示执行定点功能的定点图形用户接口（GUI）；当预定事件发生时，将所述定点GUI转换为控制预定对象的四方向移动的四方向GUI，并且改变为四方向控制模式；以及根据对所述四方向GUI的操纵控制所述预定对象的四方向移动。

Description

电子装置及其控制方法
相关申请的交叉引用
本申请要求2013年1月7日向韩国知识产权局提交的第10-2013-0001771号韩国专利申请的优先权，其公开通过引用整体并入本文。
技术领域
与示例性实施例相一致的装置和方法涉及电子装置及其控制方法，更具体地，涉及提供多个操作模式的电子装置及其控制方法。
背景技术
由于电子技术的发展，已经开发并分发了各种类型的电子装置。特别地，在家中已经使用包括电视（TV）在内的各种类型的电子装置。电子装置的功能由于用户的需求而增加。例如，TV现在能够提供因特网服务。特别地，TV通过提供对因特网的接入来支持因特网服务。此外，用户可以通过TV观看大量的数字广播频道。
因此，需要各种输入方法以有效地使用电子装置的各种功能。例如，使用遥控器、鼠标或触摸垫的输入方法被用于电子装置。
然而，仅使用简单的输入方法可能难以有效地利用电子装置的各种功能。例如，如果电子装置的所有功能仅由遥控器控制，则遥控器上的按钮的数目将增加。随着遥控器上的按钮的数目的增加，一般用户难以习惯操作遥控器。此外，如果各种不同的菜单被显示在屏幕上，则不方便用户查找和选择所需的菜单。此外，不方便用户在复杂的菜单树中选择所需的菜单。
为了克服这种不便，最近已经开发了动作识别技术，以使得电子装置能够被更方便地控制而且可以基于用户的直觉来控制。也就是说，已经越来越多地使用通过识别由用户做出的动作来控制电子装置的技术。
在相关技术的动作识别技术中，在屏幕上显示的指针根据动作而移动，但是在这种情况下，很难使用控制器的四个方向按钮来支持操作。
发明内容
示例性实施例克服以上缺点和以上没有描述的其他缺点。此外，示例性实施例不需要克服以上描述的缺点，而且示例性实施例可以不克服以上描述的任何问题。
示例性实施例提供了能够容易地将定点控制模式（pointing control mode）改变为四方向控制模式（four-directional control mode）的电子装置及其控制方法。
根据示例性实施例的一方面，一种支持定点控制模式和四方向控制模式的电子装置的控制方法包括：在定点控制模式中在显示器上显示执行定点功能的定点图形用户接口（GUI）；当预定事件发生时，将定点GUI转换为控制预定对象的四方向移动的四方向GUI，并且改变为四方向控制模式；以及根据对四方向GUI的操纵控制预定对象的四方向移动。
预定对象可以是在四方向控制模式中根据对四方向GUI的操纵选择项目的对象。
预定事件可以是根据用户命令选择模式转换菜单的事件、和显示包括所述预定对象的屏幕的事件中的至少一个。
该方法还可以包括：当所述四方向GUI位于在所述定点控制模式中可控制的项目上时，将所述四方向GUI转换为所述定点GUI并且改变为所述定点控制模式。
四方向GUI可以包括向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮。
该方法还可以包括：当虚拟指针被定位在所述四方向GUI上的所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一上时，突出显示所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一。
该方法还可以包括：当所述虚拟指针被定位在所述显示器上显示的所述四方向GUI的外部时，将所述四方向GUI移动到所述虚拟指针的位置。
定点GUI和四方向GUI可以根据用户的动作命令来控制。
根据示例性实施例的另一方面，一种支持定点控制模式和四方向控制模式的电子装置包括：显示器，其在定点控制模式中显示执行定点功能的定点图形用户接口（GUI）；用户接口，其接收命令；以及控制器，其当预定事件发生时将定点GUI转换为控制预定对象的四方向移动的四方向GUI并且改变为四方向控制模式，并且根据对四方向GUI的操纵来控制预定对象的四方向移动。
在四方向控制模式中预定对象根据对四方向GUI的操纵来选择在显示器上显示的项目。
预定事件可以是根据用户命令选择模式转换菜单的事件、和显示包括所述预定对象的屏幕的事件中的至少一个。
当所述四方向GUI位于在所述定点控制模式中可控制的项目上时，所述控制器可以改变为所述定点控制模式，并且将所述四方向GUI转换为所述定点GUI。
四方向GUI可以包括向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮，而且当虚拟指针被定位在所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一上时，所述控制器可以突出显示所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一。
当所述虚拟指针被定位在所述四方向GUI的外部时，所述控制器可以将所述四方向GUI移动到所述虚拟指针的位置。
定点GUI和四方向GUI可以根据用户的动作命令来控制。
根据各种示例性实施例，定点控制模式可以容易地改变为四方向控制模式。
以上和/或其他方面和优点将在以下描述中部分地阐述，并将从该描述中部分地显而易见，或者可以通过对示例性实施例的实践来习得。
附图说明
通过参照附图描述某些示例性实施例，以上和/或其他方面将变得更加清楚，在附图中：
图1是示出根据示例性实施例的电子装置的示意性示图；
图2是根据示例性实施例的电子装置的配置的示意性框图；
图3是根据另一示例性实施例的电子装置的配置的框图；
图4示出了根据示例性实施例的存储在存储装置中的软件的配置；
图5示出了根据示例性实施例的提供用户接口（UI）的方法；
图6A至图6C示出了根据示例性实施例的操纵四方向图形用户接口（GUI）的方法；
图7A和图7B示出了根据另一示例性实施例的提供UI的方法；以及
图8是示出根据示例性实施例的电子装置的控制方法的流程图。
具体实施方式
现在将参照附图更详细地描述某些示例性实施例。
在下面的描述中，即使在不同的附图中，相同的参照标记被用于相同的元件。描述中定义的、诸如详细结构和元件的事项被提供以便帮助全面理解。因此，显而易见的是，示例性实施例可以在没有这些具体定义的事项的情况下实现。此外，没有详细描述公知的功能或结构，因为它们会以不必要的细节模糊示例性实施例。
图1是示出根据示例性实施例的电子装置的示意性示图。
根据示例性实施例的电子装置100可以被实现为数字TV，或实现为可显示的设备，诸如个人计算机（PC）监视器。
电子装置100可以支持定点控制模式和四方向控制模式。在定点控制模式中，通过移动显示在屏幕上的指针来选择或运行项目。在四方向控制模式中，通过根据控制器的四方向控制移动位于屏幕上的项目上的对象10（例如，突出显示（highlight）或焦点（focus））来选择或运行项目。
特别地，电子装置100可以控制在定点控制模式中显示的指针的移动状态或者在四方向控制模式中显示的对象的移动状态。
因此，电子装置100可以在感测用户的动作的设备中实现，并根据感测到的动作被控制。更具体地，电子装置100感测用户的动作，生成关于感测到的动作的动作信息，将动作信息转换为控制电子装置100的控制信号，并且基于该控制信号执行功能。
下面将参照附图描述电子装置100的特定操作。
图2是根据示例性实施例的电子装置100的配置的示意性框图。参照图2，电子装置100可以包括显示器110、用户接口120和控制器130。
电子装置100可以是智能TV，但是这仅仅是一个例子。电子装置100可以被实现为各种类型的电子设备，诸如智能电话、平板PC和笔记本计算机。
显示器110显示从各种源输入的图像信号。例如，显示器110可以显示与通过广播接收器接收的广播信号相对应的图像、通过外部端子输入器（未示出）输入的图像数据（例如，运动图像）。
此外，显示器110可以显示定点图形用户接口（GUI），其在定点控制模式中执行定点功能。例如，显示器110可以显示用于定点的、圆形形状的GUI，但是用于定点的GUI的形式不限于此。用于定点的GUI或定点GUI可以是各种形式，诸如箭头和手。
此外，显示器110可以显示四方向GUI，用于在四方向控制模式中控制预定对象的四方向移动。例如，显示器110可以显示四方向GUI，其包括向上、向下、向左、向右按钮以及选择或进入按钮。
用于定点的GUI或定点GUI以及四方向GUI可以以屏上显示（OSD）的格式显示。
显示器110可以利用液晶显示器（LCD）面板或有机发光二极管（OLED）来实现，但不限于此。特别地，显示器110可以被实现为触摸屏，其与触摸垫构成层结构。在这种情况下，显示器110可以用作用户接口120，其将在下面描述，以及输出设备。触摸屏可以感测触摸输入压力以及触摸输入位置和区域。然而，用户接口120也可以与显示器110分离。
用户接口120接收各种用户命令。
特别地，用户接口120可以接收将定点控制模式改变成四方向控制模式的用户命令。例如，用户接口120可以接收用于选择模式转换的预定菜单项的用户命令。
此外，用户接口120可以接收移动定点GUI的命令、在定点控制模式中选择定点GUI所在的项目的命令、选择四方向GUI上的按钮的命令、操纵所选择的按钮的命令、以及在四方向控制模式中通过操纵四方向GUI选择对象所在的项目的命令。例如，这样的用户命令可以通过用户的动作输入。
在这种情况下，用户接口120可以利用动作输入器111来实现，该动作输入器111通过拍摄用户动作的照片来接收图像信号（例如，连续帧）并将该图像信号提供给控制器130。例如，动作输入器111可以利用相机来实现，该相机包括镜头和图像传感器以拍摄用户动作。此外，动作输入器111可以与电子装置100被一体地形成或者可以与电子装置100分离地形成。分离的动作输入器可以通过有线或无线网络连接到电子装置100。
控制器130控制显示器110和用户接口120。控制器130可以包括中央处理单元（CPU）、用于控制电子装置100的模块、用于存储数据的只读存储器（ROM）、以及随机存取存储器（RAM）。
特别地，在定点控制模式中，当预定事件发生时，控制器130将定点GUI转换为用于控制预定对象的四方向移动的四方向GUI，并显示四方向GUI。预定对象可以是位于显示器上的项目上的突出显示或焦点。根据用户的操纵，突出显示或焦点被移动到另一项目上并选择该项目，但不限于此。
预定事件可以是根据用户命令选择模式转换菜单的事件、以及显示包括预定对象的屏幕以便在四方向控制模式中选择项目的事件。例如，后者是显示用于将焦点定位在电子装置上的项目上的应用屏幕并根据四方向操纵控制焦点的情况。
此外，控制器130可以根据用户的命令基于四方向GUI的操纵来控制预定对象的四方向移动。例如，在根据四方向GUI的操纵移动的焦点位于项目上的状态下，当选择四方向GUI的向上按钮时，控制器130将该焦点移动到位于该焦点当前所在的项目上方的另一项目上。
此外，控制器130可以在四方向控制模式中根据用户命令选择预定对象位于其上的项目。例如，在焦点位于特定项目上的状态下，当选择四方向GUI的选择按钮时，控制器130可以选择并运行该特定项目。
更具体地，当选择包括在四方向GUI上的按钮之一时，控制器130可以突出显示所选择的按钮。
四方向GUI可以包括用于选择包括在四方向GUI上的按钮之一的虚拟指针。在示例性实施例中，虚拟指针不一定显示在屏幕上。
在这种情况下，控制器130可以根据四方向GUI内虚拟指针的移动来选择向上、向下、向左、向右按钮和选择按钮之一，并且可以突出显示所选择的按钮。例如，当四方向GUI上的虚拟指针根据用户的命令移动到向上按钮时，控制器130突出显示向上按钮。
此外，当虚拟指针移动到四方向GUI之外时，控制器130可以移动四方向GUI。例如，当四方向GUI上的虚拟指针根据用户的命令移动到四方向GUI之外时，控制器130将四方向GUI移动到已移动的虚拟指针的位置。
此外，当四方向GUI位于在定点控制模式中能够控制的项目上时，控制器130可以将四方向GUI转换为定点GUI，并显示该定点GUI。例如，当四方向GUI移动到在四方向控制模式中根据用户命令可控制的应用屏幕之外显示的且能够由指针选择的菜单项时，则控制器130可以将四方向GUI转换为定点GUI，并显示该定点GUI。
定点GUI和四方向GUI可以如上所述通过用户的动作来控制。
当通过动作输入器111输入用户的动作时，控制器130使用动作感测模块和动作数据库来识别动作。在动作识别时，动作识别模块将背景和手区域（例如，张开手、将手掬成环形（cup a hand）或握拳）与通过动作输入器111输入的用户的动作所对应的图像（例如，连续帧）分离，并且识别手的连续移动。如果输入了用户的动作，则控制器130按帧存储接收到的图像，并使用所存储的帧来感测作为用户动作的主体的对象（例如，用户的手）。控制器130通过感测对象的形状、颜色和动作中的至少一个来检测对象。控制器130可以使用包括在多个帧中的对象的位置来跟踪检测到的对象的移动。
控制器130根据所跟踪的对象的形状和移动来确定动作。例如，控制器130使用对象的形状、速度、位置和方向的变化中的至少一个来确定用户的动作。用户的动作可以包括作为攥用户的手的动作的抓动作（grab motion）、作为利用手移动所显示的指针的动作的定点移动动作（pointing movemotion）、作为在一个方向上以预定的速度或更快的速度移动手的动作的拍动作（slap motion）、作为从一边到另一边或者上下摇动手的动作的摇动动作（shake motion）和旋转手的动作的旋转动作。示例性实施例的技术想法可以应用于上面没有提及的其他动作。例如，还可以包括作为张开用户原本握成拳的手的动作的展开动作（spread motion）。
控制器130可以根据识别出的用户动作移动定点GUI或运行由定点GUI所选择的项目。例如，控制器130可以基于用户将他的用于控制定点GUI的右手或左手向左移动的动作来将定点GUI向左移动，
此外，控制器130可以根据识别出的用户动作选择四方向GUI上的特定按钮，或根据对所选择的按钮的操纵来运行焦点所选择的项目。例如，控制器130通过根据向上移动手的用户动作来移动四方向GUI上的虚拟指针，来选择向上按钮，并且当向上按钮被突出显示时根据攥手的抓动作运行向上按钮，以使特定项目上的焦点可以移动到位于特定项目上方的项目。
图3是根据另一示例性实施例的电子装置100的配置的框图。参照图3，电子装置100可以包括显示器110、用户接口120、控制器130、存储装置140、广播接收机150、外部端子输入器160、遥控信号接收器170、通信器180、声音输入器190和音频输出器195。
在图3所示的组件当中，与图2所示的部件重叠的部分的详细描述不再重复。
控制器130可以包括RAM131、ROM132、主CPU133、图形处理器134、第一接口135-1至第n接口135–n、和总线136。
RAM131、ROM132、主CPU133、图形处理器134、第一接口135-1至第n接口135–n可以通过总线136彼此连接。
第一接口135-1至第n接口135–n连接到上述组件。接口之一可以是通过网络连接到外部设备的网络接口。
主CPU133访问存储装置140，并使用存储在存储装置140中的操作系统（OS）来引导系统。此外，主CPU133使用存储在存储装置140中的各种不同的程序、内容和数据来执行不同的操作。
ROM132存储用于引导系统的命令集。当输入开启命令并且供应电力时，主CPU133将存储在存储装置140中的操作系统（OS）复制到RAM131，并根据存储在ROM132中的命令运行OS，以使得系统能够被引导。当系统引导完成时，主CPU133将存储在存储装置140中的各种应用程序复制到RAM131，并运行所复制的应用程序，以使得可以执行各种操作。
图形处理器134使用运算器（未示出）和绘制器（未示出）生成包括诸如图标、图像和文本的各种不同对象的屏幕。运算器根据屏幕的布局运算每个对象的属性值，诸如坐标值、形状、大小和颜色。绘制器基于运算器运算出的属性值，生成包括对象的具有各种不同的布局的屏幕。由绘制器生成的屏幕被显示在显示器110的显示区域上。
存储装置140存储各种不同的数据和程序以驱动和控制电子装置100。存储装置140存储用于识别通过动作输入器输入的动作的动作识别模块。
此外，存储装置140可以包括动作数据库。动作数据库是用于记录诸如用户手的动作的预定动作、以及动作任务的数据库，所述动作任务是与动作相关联的操作，并且与预定的手的动作相匹配。
广播接收器150经由线缆或无线地从外部接收广播信号。广播信号包括视频、音频和附加数据（例如，电子节目指南（EPG））。广播接收器150可以从不同的源，例如地面广播、有线广播、卫星广播、和因特网广播，接收广播信号。
外部端子输入器160从电子装置100之外或外部接收视频数据（例如，运动图像和画面）和音频数据（例如，音乐）。外部端子输入器160可以包括高清晰度多媒体接口（HDMI）输入端子161、分量输入端子162、PC输入端子163以及通用串行总线（USB）输入端子164中的至少一个。遥控信号接收器170从外部遥控器接收遥控信号。即使当电子装置100处于语音任务模式或动作任务模式中时，遥控信号接收器170也可以接收遥控信号。
通信器180可以通过控制器130的控制，连接电子装置100与外部设备（例如，服务器）。控制器130可以从通过通信器180连接的外部装置下载应用，或者可以执行网络浏览。通信器180可以提供以太网181、无线局域网络（LAN）182和蓝牙183中的至少一个。
语音输入器190接收由用户发出的语音输入。语音输入器190将输入语音信号转换为电信号并将电信号输出到控制器130。语音输入器190可以利用麦克风来实现。语音输入器190可以与电子装置100一体地形成，或者可以与电子装置100分离。分离的语音输入器190可以通过有线或无线网络连接到电子装置100。
音频输出器195根据控制器130的控制，输出与广播信号相对应的声音。音频输出器195可以包括扬声器195a、耳机输出端子195b和索尼飞利浦数字接口（S/PDIF）输出端子195c中的至少一个。
当控制器130从语音输入器190接收用户的语音时，控制器130使用语音识别模块和语音数据库来识别语音。语音识别被划分为孤立词识别（isolatedword recognition）、连续语音识别（continuous speech recognition）和关键词检出（keyword spotting），孤立词识别用于通过划分词语来识别发出的语音，连续语音识别用于识别连续的词语、句子和对话声音，关键词检出是孤立词识别和连续语音识别的中间形式，用于检测和识别预定的关键词。
如果输入了用户语音，则控制器130通过在输入语音信号中检测用户发出的语音的开始和结束来确定语音段（voice section）。控制器130计算输入语音信号的能量、按照计算出的能量对语音信号的能量水平进行分类、并通过动态编程来检测语音段。控制器130基于声学模型从检测到的语音段内的语音信号中检测作为最小的声音单位的音素（phoneme），并且生成音素数据。控制器130通过将隐马尔可夫模型（HMM）应用到已生成的音素数据来生成文本信息。然而，用于识别用户的语音的这个方法仅仅是示例。还可以使用其他方法来识别用户的语音。因此，控制器识别包含在语音信号中的用户的语音。
图4示出了根据示例性实施例的存储在存储装置140中的软件的配置。参照图4，存储装置140可以包括电力控制模块140a、频道控制模块140b、音量控制模块140c、外部输入控制模块140d、屏幕控制模块140e、音频控制模块140f、因特网控制模块140g、应用模块140h、搜索控制模块140i、用户接口（UI）处理模块140j、语音识别模块140k、动作识别模块140l、语音数据库140m和动作数据库140n。这些模块140a到140n可以分别通过执行电力控制功能、频道控制功能、音量控制功能、外部输入控制功能、屏幕控制功能、音频控制功能、因特网控制功能、应用运行功能、搜索控制功能和UI处理功能的软件来实现。控制器130通过运行存储在存储装置140中的软件来执行相应的功能。
下面参照图5至图7描述根据各种不同示例性实施例的提供UI的方法。
图5示出了根据示例性实施例的提供UI的方法。在定点控制模式中，当如图中的50A所示显示需要四方向控制的屏幕时，用户可以选择模式转换菜单520以使得所显示的定点GUI510可以改变为四方向GUI540。在这里，需要四方向控制的屏幕是在其上的焦点10通过四方向控制移动和选择项目的屏幕，如图5所示。例如，需要四方向控制的屏幕可以是在四方向控制模式中控制的应用运行屏幕，但不限于此。
当如图中的50B所示指针10位于第一项目530上时，用户可以使用四方向GUI540移动指针10，并选择用户想要的项目。例如，当用户通过操纵被聚焦的向下按钮541将位于第一项目530上的指针10向下移动时，指针10移动到位于第一项目530下面的特定项目（未示出）。显示器上的项目可以是用户正在观看的节目或应用上的不同的项目。
如图中的50C所示，当根据用户的命令，诸如用户手的动作，选择和操纵四方向UI540上的向上按钮542时，位于第一项目530上的指针10移动到位于第一项目530上方的第二项目550，如图中50D所示。例如，当用户输入向上移动他或她的手的动作时，位于向下按钮541上的焦点移到向上按钮542。当向上按钮542被聚焦并被操纵时，位于第一项目530上的指针10移动到位于第一项目530上方的第二项目550
图6A至图6C示出了根据示例性实施例的操作四方向GUI的方法。
如图6A所示，虚拟指针610可以存在于四方向GUI540上。可以根据虚拟指针610的移动来选择四方向GUI540上的按钮。例如，当如图6A所示虚拟指针610移动到与四方向GUI540上的向上按钮541相对应的区域时，向上按钮541被突出显示。
当如图6B所示虚拟指针610根据用户的命令移出四方向GUI540时，四方向GUI540可以根据虚拟指针610的移动而移动。
例如，当如图6C所示虚拟指针610移出四方向GUI540并且向上移动时，四方向GUI540相应地向上移动。
在图6A和图6B中，为了便于说明显示了虚拟指针610，但是虚拟指针可以不必显示。然而，在某些情况下，也可以在四方向GUI540中显示虚拟指针610，以使得用户可以识别出虚拟指针610。
图7A和图7B示出了根据另一示例性实施例的提供UI的方法。
如图7A和图7B所示，当四方向GUI540根据用户的命令移动到在定点控制模式中可控制的项目710上时，四方向GUI540被转换为定点GUI510。也就是说，四方向控制模式自动转换为定点控制模式。
图7A和图7B中所示的示例性实施例仅仅是例子。四方向GUI540和定点GUI510之间的切换可以通过用户的特定动作或通过对屏幕上显示的预定菜单（未示出）的选择来执行。
图8是示出根据示例性实施例的电子装置的控制方法的流程图。
首先，在操作S810中，在定点控制模式中显示用于执行定点功能的定点GUI。
其后，当预定事件发生（操作S820中：是）时，在操作S830中，定点控制模式转换为四方向控制模式，定点GUI转换为用于控制预定对象的四方向移动的四方向GUI，并且显示四方向GUI。预定对象可以是在四方向控制模式中选择项目的对象。预定事件可以是根据用户的命令选择模式转换菜单的事件、和显示包括预定对象的屏幕的事件中的至少一个。
在操作S840中，根据对四方向GUI的操纵，控制预定对象的四方向移动。
此外，当四方向GUI位于在定点控制模式中可控制的项目上时，四方向GUI被转换为定点GUI，而且四方向控制模式改变为定点控制模式。
四方向GUI可以包括向上、向下、向左、向右按钮以及选择按钮。在这种情况下，在向上、向下、向左、向右按钮以及选择按钮当中，根据四方向GUI内虚拟指针的移动，虚拟指针位于其上的按钮可以被聚焦并被显示。另外，当虚拟指针移出四方向GUI时，四方向GUI移动到虚拟指针的位置。
定点GUI和四方向GUI可以通过用户的动作来控制。
鉴于上述情况，定点控制模式的操作方法被保持，并且支持对四方向控制模式中的移动的操纵。
根据各种不同的示例性实施例的电子装置的控制方法可以在程序中实现，并且被提供给电子装置。
例如，在非临时性计算机可读介质中可以存储执行方法的程序，所述方法包括：当输入用户的动作命令时，在定点控制模式中显示执行定点功能的定点GUI，当预定事件发生时，将定点GUI转换为用于控制预定对象的四方向移动的四方向GUI，转换为四方向控制模式，并且根据对四方向GUI的操纵来控制预定对象的四方向移动。
非临时性计算机可读存储介质是不像诸如寄存器、高速缓存和存储器一样临时地存储数据，而是半永久地存储数据并且由设备可读的介质。更具体地，上述各种应用或程序可以被存储和提供在非临时性计算机可读存储介质中，诸如致密盘（CD）、数字视频盘（DVD）、硬盘、蓝光盘、通用串行总线（USB）、存储卡和只读存储器（ROM）。
前述示例性实施例和优点仅仅是示例性的，并且不被解释为限制。前述示例性实施例可以容易地应用于其它类型的装置。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，而且许多替换、修改和变化将对本领域技术人员显而易见。

Claims (15)

1.一种支持定点控制模式和四方向控制模式的电子装置的控制方法，该控制方法包括：
在所述定点控制模式中在显示器上显示执行定点功能的定点图形用户接口（GUI）；
当预定事件发生时，将所述定点GUI转换为控制预定对象的四方向移动的四方向GUI并且改变为所述四方向控制模式；以及
根据对所述四方向GUI的操纵控制所述预定对象的四方向移动。
2.如权利要求1所述的方法，其中在所述四方向控制模式中，所述预定对象根据对所述四方向GUI的操纵选择在所述显示器上显示的项目。
3.如权利要求1所述的方法，其中，所述预定事件是根据用户命令选择模式转换菜单的事件、和显示包括所述预定对象的屏幕的事件中的至少一个。
4.如权利要求1所述的方法，还包括：
当所述四方向GUI位于所述显示器上显示的、在所述定点控制模式中能够控制的项目上时，将所述四方向GUI转换为所述定点GUI并且将所述四方向控制模式改变为所述定点控制模式。
5.如权利要求1所述的方法，其中，所述四方向GUI包括向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮。
6.如权利要求5所述的方法，还包括：
当虚拟指针被定位在所述四方向GUI上的所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一上时，突出显示所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一。
7.如权利要求6所述的方法，还包括：
当所述虚拟指针被定位在所述显示器上显示的所述四方向GUI的外部时，将所述四方向GUI移动到所述虚拟指针的位置。
8.如权利要求1所述的方法，其中，所述定点GUI和所述四方向GUI根据用户的动作命令来控制。
9.一种支持定点控制模式和四方向控制模式的电子装置，该电子装置包括：
显示器，其在所述定点控制模式中显示执行定点功能的定点图形用户接口（GUI）；
用户接口，其接收命令；以及
控制器，其当预定事件发生时将所述定点GUI转换为控制预定对象的四方向移动的四方向GUI并且改变为所述四方向控制模式，并且根据对所述四方向GUI的操纵控制所述预定对象的四方向移动。
10.如权利要求9所述的电子装置，其中，在所述四方向控制模式中所述预定对象根据对所述四方向GUI的操纵选择在所述显示器上显示的项目。
11.如权利要求9所述的电子装置，其中，所述预定事件是根据用户命令选择模式转换菜单的事件、和显示包括所述预定对象的屏幕的事件中的至少一个。
12.如权利要求9所述的电子装置，其中，当所述四方向GUI位于所述显示器上显示的、在所述定点控制模式中能够控制的项目上时，所述控制器改变为所述定点控制模式，并且将所述四方向GUI转换为所述定点GUI。
13.如权利要求9所述的电子装置，其中，所述四方向GUI包括向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮，而且当虚拟指针被定位在所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一上时，所述控制器突出显示所述向上按钮、向下按钮、向左按钮、向右按钮以及选择按钮之一。
14.如权利要求13所述的电子装置，其中，当所述虚拟指针被定位在所述显示器上的所述四方向GUI的外部时，所述控制器将所述四方向GUI移动到所述虚拟指针的位置。
15.如权利要求9所述的电子装置，其中，所述定点GUI和所述四方向GUI根据用户的动作命令来控制。
CN201410006813.1A 2013-01-07 2014-01-07 电子装置及其控制方法 Pending CN103914144A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0001771 2013-01-07
KR1020130001771A KR101713784B1 (ko) 2013-01-07 2013-01-07 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN103914144A true CN103914144A (zh) 2014-07-09

Family

ID=49712953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410006813.1A Pending CN103914144A (zh) 2013-01-07 2014-01-07 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US20140195981A1 (zh)
EP (1) EP2752732A3 (zh)
JP (1) JP2014132442A (zh)
KR (1) KR101713784B1 (zh)
CN (1) CN103914144A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867726A (zh) * 2015-02-11 2016-08-17 三星电子株式会社 显示设备和方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018078488A1 (en) * 2016-10-25 2018-05-03 Semiconductor Energy Laboratory Co., Ltd. Display device, display module, electronic device, and touch panel input system
FR3063821B1 (fr) * 2017-03-10 2021-07-30 Inst Mines Telecom Interface homme machine
US10311874B2 (en) 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
KR102444066B1 (ko) 2017-12-19 2022-09-19 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652065A (zh) * 2004-02-06 2005-08-10 三星电子株式会社 可通过使用遥控器选择对象的显示装置及其方法
CN101382438A (zh) * 2007-07-19 2009-03-11 三星电子株式会社 地图滚动方法和导航终端
CN101655765A (zh) * 2008-08-22 2010-02-24 深圳富泰宏精密工业有限公司 利用虚拟方向键进行操作的电子装置及相应的操作方法
CN101860695A (zh) * 2009-04-08 2010-10-13 晨星软件研发(深圳)有限公司 移动光标的方法及应用其的显示装置
CN102224483A (zh) * 2008-12-22 2011-10-19 帕姆公司 具有绝对及相对输入模式的触敏显示屏幕
WO2012011263A1 (ja) * 2010-07-20 2012-01-26 パナソニック株式会社 ジェスチャ入力装置およびジェスチャ入力方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3020851B2 (ja) * 1995-10-23 2000-03-15 シャープ株式会社 情報検索装置および情報検索制御方法
US8044932B2 (en) * 2004-06-08 2011-10-25 Samsung Electronics Co., Ltd. Method of controlling pointer in mobile terminal having pointing device
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
KR101488725B1 (ko) * 2008-01-07 2015-02-03 삼성전자주식회사 Ｕｉ 제공을 위한 영상기기 및 이를 이용한 ｕｉ 제공방법
US20090244006A1 (en) * 2008-03-26 2009-10-01 Kabushiki Kaisha Photron Information processing apparatus, image display control method thereof, and image display control program thereof
JP2009265696A (ja) * 2008-04-21 2009-11-12 Toshiba Corp 情報処理装置、操作パネル制御プログラム
JP5370374B2 (ja) * 2009-02-13 2013-12-18 富士通モバイルコミュニケーションズ株式会社 情報処理装置
KR101666995B1 (ko) * 2009-03-23 2016-10-17 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
KR20110025520A (ko) * 2009-09-04 2011-03-10 삼성전자주식회사 휴대단말기의 제어 장치 및 방법
US20120266069A1 (en) * 2009-12-28 2012-10-18 Hillcrest Laboratories, Inc. TV Internet Browser
KR20110080013A (ko) * 2010-01-04 2011-07-12 엘지전자 주식회사 제스쳐를 이용한 평판형 3ｄ그래픽 오브젝트 제어 방법
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
KR20110093097A (ko) * 2010-02-11 2011-08-18 삼성전자주식회사 휴대 단말기의 리스트 편집 방법 및 장치
US20110248959A1 (en) * 2010-04-08 2011-10-13 Cisco Technology, Inc. Virtual keyboard entry
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
JP5569271B2 (ja) * 2010-09-07 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5654330B2 (ja) * 2010-11-26 2015-01-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9513787B2 (en) * 2010-12-29 2016-12-06 Telecom Italia S.P.A. Magnetic-like user interface for combining objects
US9411509B2 (en) * 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
CN102760049A (zh) * 2011-04-26 2012-10-31 蓝云科技股份有限公司 行动装置及其与具有显示功能的电子装置互动的方法
US8972844B2 (en) * 2011-10-28 2015-03-03 International Business Machines Corporation Dynamic digital document fields behavior
CN111176516B (zh) * 2012-05-18 2023-10-20 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US20140096018A1 (en) * 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Recognizing Digital Images of Persons known to a Customer Creating an Image-Based Project through an Electronic Interface
US20140115701A1 (en) * 2012-10-18 2014-04-24 Microsoft Corporation Defending against clickjacking attacks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652065A (zh) * 2004-02-06 2005-08-10 三星电子株式会社 可通过使用遥控器选择对象的显示装置及其方法
CN101382438A (zh) * 2007-07-19 2009-03-11 三星电子株式会社 地图滚动方法和导航终端
CN101655765A (zh) * 2008-08-22 2010-02-24 深圳富泰宏精密工业有限公司 利用虚拟方向键进行操作的电子装置及相应的操作方法
CN102224483A (zh) * 2008-12-22 2011-10-19 帕姆公司 具有绝对及相对输入模式的触敏显示屏幕
CN101860695A (zh) * 2009-04-08 2010-10-13 晨星软件研发(深圳)有限公司 移动光标的方法及应用其的显示装置
WO2012011263A1 (ja) * 2010-07-20 2012-01-26 パナソニック株式会社 ジェスチャ入力装置およびジェスチャ入力方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867726A (zh) * 2015-02-11 2016-08-17 三星电子株式会社 显示设备和方法
CN105867726B (zh) * 2015-02-11 2019-06-25 三星电子株式会社 显示设备和方法

Also Published As

Publication number Publication date
KR101713784B1 (ko) 2017-03-08
EP2752732A2 (en) 2014-07-09
KR20140089845A (ko) 2014-07-16
EP2752732A3 (en) 2017-01-25
US20140195981A1 (en) 2014-07-10
JP2014132442A (ja) 2014-07-17

Similar Documents

Publication Publication Date Title
US9733895B2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
CA2825827C (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP5746111B2 (ja) 電子装置及びその制御方法
EP2555537B1 (en) Electronic apparatus and method for providing user interface thereof
US10250935B2 (en) Electronic apparatus controlled by a user's voice and control method thereof
EP2555538A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130169524A1 (en) Electronic apparatus and method for controlling the same
CN104620593A (zh) 显示装置及用于控制该显示装置的方法
JP2014532933A (ja) 電子装置及びその制御方法
CN103914144A (zh) 电子装置及其控制方法
US20130174036A1 (en) Electronic apparatus and method for controlling thereof
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
KR20130078483A (ko) 전자 장치 및 그의 제어 방법
US20130174101A1 (en) Electronic apparatus and method of controlling the same
US20140195014A1 (en) Electronic apparatus and method for controlling electronic apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140709