CN103513894A - 显示设备、远程控制设备及其控制方法 - Google Patents

显示设备、远程控制设备及其控制方法 Download PDF

Info

Publication number
CN103513894A
CN103513894A CN201310043832.7A CN201310043832A CN103513894A CN 103513894 A CN103513894 A CN 103513894A CN 201310043832 A CN201310043832 A CN 201310043832A CN 103513894 A CN103513894 A CN 103513894A
Authority
CN
China
Prior art keywords
remote control
mode
control equipment
display device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310043832.7A
Other languages
English (en)
Other versions
CN103513894B (zh
Inventor
崔恩硕
崔相彦
吴政烨
禹淑荣
郑汉哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120120740A external-priority patent/KR101339985B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103513894A publication Critical patent/CN103513894A/zh
Application granted granted Critical
Publication of CN103513894B publication Critical patent/CN103513894B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)

Abstract

提供一种远程控制设备、显示设备和控制方法。该远程控制设备用于选择可以与远程控制设备关联的、在指向模式和手势模式之间进行操作的外部装置的多种操作模式的其中之一,所述远程控制设备包括:用于将关于远程控制设备的信息输出到外部装置的输出单元、用于检测远程控制设备的运动的检测单元、用于基于检测到的远程控制设备的运动来生成运动信息的运动信息生成单元、用于提供关于操作模式的信息以改变可以在指向模式与手势模式之间进行操作的外部装置的操作模式的操作模式改变单元,并且其中,关于远程控制设备的信息包括关于操作模式的信息和由运动信息生成单元生成的运动信息。

Description

显示设备、远程控制设备及其控制方法
本申请要求在韩国知识产权局于2012年6月20日提交的韩国专利申请No.2012-0066369和于2012年10月29日提交的韩国专利申请No.2012-0120740的权益,其全部公开以引用的方式并入本文。
技术领域
本发明总体构思构思通常涉及一种远程控制设备、显示设备及其控制方法。更具体地说,本发明总体构思涉及用于检测运动的远程控制设备、显示设备及其控制方法。
背景技术
随着电子技术的进步,用于以各种方式控制电子装置的方法也处于发展中。现有技术使用电子装置的按钮或者作为与电子装置分开的装置的远程控制器来控制电子装置。
但是,当现有技术使用作为与电子装置分开的装置的远程控制器来控制电子装置时,用户需要针对他/她试图进行的操纵逐个地识别并按下远程控制器的按钮。
例如,为了选择电子装置屏幕上的特定内容,使用显示在屏幕上的指针,通过交替地多次选择远程控制器的四个方向按钮来将指针移动到对应内容区域,然后在对应内容区域中按下远程控制器的选择按钮,用户可选择特定内容。也就是说,用户可通过多次识别远程控制器的按钮并多次按下按钮来选择对应内容。
因此,需要一种方法,能够使用户在较长的范围更容易地发现显示在电子装置的屏幕上的信息。
发明内容
将在以下描述中部分地说明其它方面和/或优点,部分地通过描述将是明显的,或者可通过本发明的实践而得知。
本发明解决在传统布置中发生的上述和其它问题。本发明的一方面提供一种远程控制设备、显示设备及其控制方法,该远程控制设备用于直观地控制从显示设备的每种模式提供的界面屏幕(UI屏幕),该显示设备可在多种操作模式中被操作。
根据本发明的一个方面,一种用于为具有多种操作模式(包括指向模式和手势模式)的外部显示设备提供远程控制信号的远程控制设备包括:信号输出单元,将远程控制信号输出到提供用户界面屏幕的外部显示设备;检测单元,检测远程控制设备的运动;输入单元,包括第一按钮单元和第二按钮单元,所述第一按钮单元用于在外部显示设备的操作模式中选择指向模式和手势模式的其中之一,并且所述第二按钮单元用于接收用于选择显示在用户界面屏幕上的指向对象的用户命令;以及控制单元,用于控制信号输出单元以输出关于检测到的运动的信息以及当用户命令经由第一按钮单元输入时,输出关于选择指向模式和手势模式的其中之一的用户命令的信息,并且,指向模式是这样一种模式,其用于根据由检测单元检测到的远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
在没有从远程控制设备收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,外部显示设备可以保持在作为默认模式的指示模式下。并且,在从远程控制设备连续地收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,外部显示设备可以转变为并保持在作为非默认模式的手势模式下。
控制单元可以控制信号输出单元在第一按钮单元被按下时连续地输出关于选择指向模式和手势模式的其中之一的用户命令的信息,并且在按下的第一按钮单元被释放时,不输出关于选择指向模式和手势模式的其中之一的用户命令的信息。
检测单元可以包括加速仪、角速度传感器和磁力仪中的至少一个。
一种具有包括指向模式和手势模式的多种操作模式的显示设备,由提供远程控制信号的远程控制设备来控制,该显示设备包括:接收单元,从远程控制设备接收远程控制信号,所述远程控制信号包括:关于远程控制设备的运动的信息、关于选择指向模式和手势模式的其中之一的用户命令的信息以及关于项目选择的信息;显示单元,显示用户界面屏幕,所述用户界面屏幕具有在用户界面屏幕上执行指示功能的指向对象;控制单元,基于从远程控制设备接收的关于选择指向模式和手势模式的其中之一的用户命令的信息来控制对指向模式和手势模式的其中之一的选择,并且,指向模式是这样一种模式,其用于根据由检测单元检测到的远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
显示单元可以显示其形状根据操作模式而改变的指向对象。
当接收单元没有接收到关于选择指向模式和手势模式的其中之一的用户命令时,控制单元可以将显示设备的操作模式确定为指向模式,并且当接收单元接收到关于选择指向模式和手势模式的其中之一的用户命令时,控制单元可以将显示设备的操作模式确定为手势模式。
当显示设备的操作模式是指向模式时,基于关于远程控制设备的运动的信息和关于从远程控制设备接收到的项目选择的信息,可以来选择包括用户界面屏幕的菜单项。
通过根据在用户界面屏幕上的输入操纵状态改变形状、颜色、大小、位置和方向中的至少一个,控制单元可以控制对指向对象的显示。
在用户界面屏幕上,指向对象可以是手状指针,并且基于拨动、缩小/放大和摇动的可能操纵,控制单元可以通过将手状指针改变为指向型、手掌型或抓握型来显示手状指针。
一种包括提供远程控制信号的远程控制设备和由远程控制设备控制的显示设备的显示系统,所述显示设备具有包括指向模式和手势模式的多种操作模式,该显示系统包括:远程控制设备,输出远程控制信号,所述远程控制信号包括:关于远程控制设备的运动的信息、关于选择指向模式和手势模式的其中之一的用户命令的信息以及关于项目选择的信息;以及显示设备,包括:接收单元,从远程控制设备接收远程控制信号,所述远程控制信号包括:关于远程控制设备的运动的信息、关于选择指向模式和手势模式的其中之一的用户命令的信息、以及关于项目选择的信息;显示单元,显示用户界面屏幕,所述用户界面屏幕具有在用户界面屏幕上执行指示功能的指向对象;以及控制单元,基于从远程控制设备接收的关于选择指向模式和手势模式的其中之一的用户命令的信息来控制对指向模式和手势模式的其中之一的选择,并且,指向模式是这样一种模式,其用于根据由检测单元检测到的远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
在没有从远程控制设备收到关于用于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,该显示设备可以被配置为保持在作为默认模式的指示模式下,并且,在从远程控制设备连续地收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,该显示设备可以被配置为转变为并保持在作为非默认模式的手势模式下。
远程控制设备可以包括:信号输出单元,将远程控制信号输出到显示设备;输入单元,具有用于接收选择指向模式和手势模式的其中之一的用户命令的第一按钮;以及控制单元,被配置为控制信号输出单元在第一按钮单元被按下时连续地输出关于选择指向模式和手势模式的其中之一的用户命令的信息,并且在按下的第一按钮单元被释放时,不输出关于选择指向模式和手势模式的其中之一的用户命令的信息。一种远程控制设备的控制方法,用于为外部显示设备提供远程控制信号,该外部显示设备具有包括指向模式和手势模式的多种操作模式,该方法包括:当输入选择外部显示设备的操作模式中的指向模式和手势模式的其中之一的用户命令时,检测远程控制设备的运动并输出关于检测到的运动的信息和关于选择指向模式和手势模式的其中之一的用户命令的信息,并且,指向模式是这样一种模式,其用于根据远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
一种用于为外部显示设备提供远程控制信号的远程控制设备的控制方法,该外部显示设备具有包括指向模式和手势模式的多种操作模式,该方法包括:检测远程控制设备的运动;当输入选择外部显示设备的操作模式中的指向模式和手势模式的其中之一的用户命令时,输出关于检测到的运动的信息和关于选择指向模式和手势模式的其中之一的用户命令的信息,其中,指向模式是这样一种模式,其用于根据远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
一种具有包括指向模式和手势模式的多种操作模式的显示设备的控制方法,所述显示设备由提供远程控制信号的远程控制设备来控制,该控制方法包括:显示用户界面屏幕,该用户界面屏幕具有用于执行指示功能的指向对象;从远程控制设备接收远程控制信号,所述远程控制信号包括关于远程控制设备的运动的信息以及关于选择指向模式和手势模式的其中之一的用户命令的信息;并且基于从远程控制设备接收的关于选择指向模式和手势模式的其中之一的用户命令的信息来选择指向模式和手势模式的其中之一。
在用于根据远程控制设备的运动来控制由显示设备提供的在用户界面屏幕上显示的指针的移动的指向模式中,如果输入用户命令,那么远程控制设备可以被切换到用于根据远程控制设备的预定手势来控制用户界面屏幕的显示状态的手势模式。
附图说明
结合附图,根据下面对实施例的描述,本发明的这些和/或其它方面以及发明优点将变得明显并且更容易理解,其中:
图1示出根据本发明实施例的显示系统;
图2示出根据本发明实施例的显示系统的示例性操作;
图3A-图3B示出根据本发明实施例的显示设备;
图4示出根据本发明实施例的控制单元;
图5示出根据本发明实施例的用于支持控制单元的操作的存储单元的软件架构的示图;
图6示出根据本发明实施例的远程控制设备;
图7示出远程控制设备;
图8示出根据本发明实施例的信号处理算法;
图9A、图9B和图9C示出远程控制设备的外部;
图10示出远程控制设备的多个模式改变按钮单元;
图11A、图11B和图11C示出根据本发明的各种实施例的远程控制设备的操纵;
图12示出根据本发明实施例的指向模式的操作;
图13示出根据本发明实施例的模式改变中的操作;
图14示出根据本发明实施例的手势模式的操作;
图15示出根据本发明另一个实施例的手势模式的操作;
图16示出根据本发明实施例的手势模式的操作;
图17示出根据本发明实施例的远程控制设备的控制方法;
图18示出根据本发明实施例的显示设备的控制方法。
具体实施方式
现在将详细参考本发明总体构思的各实施例,实施例的例子在附图中示出,其中,从始至终,相同的附图标号指示相同的元件。在下面描述这些实施例,以通过参考附图来解释本发明的总体构思。
图1示出根据本发明总体构思的实施例的显示系统。
如图1所示,根据本发明发明总体构思的实施例的显示系统包括显示设备100和远程控制设备200。
显示设备100由远程控制设备200来控制。虽然显示设备100可以使用(但不限于)数字TV来实现,但是其也可以采用诸如PC的允许远程控制的任何装置。
远程控制设备200远程控制显示设备100。远程控制设备200可接收用户命令,并向显示设备100发送对应于输入的用户命令的信号。
远程控制设备200可检测远程控制设备200在XYZ空间中的运动,并将检测到的3D运动的信号发送到显示设备100。这里,3D运动可对应于用于控制显示设备100的命令。也就是说,用户可通过在空间中移动远程控制设备200来向显示设备100发送命令。
远程控制设备200可发送对应于检测到的运动的运动信息本身(第一示例性实施例),或者可将对应于检测到的运动的运动信息转换为用于控制显示设备100的控制信号并发送该控制信号(第二示例性实施例)。这涉及用于控制来自检测到的运动信息的控制信号的操作是由显示设备100执行还是由远程控制设备200执行,将根据示例性实施例对其进行解释。
显示设备100可提供多种不同的操作模式。
显示设备100可在指向模式和手势模式下操作,其中,指向模式用于根据远程控制设备200的运动来控制在通过显示设备100提供的用户界面屏幕(在下文中,称为UI屏幕)上显示的指向对象的运动,手势模式用来根据远程控制设备200的预定手势来控制UI屏幕的显示状态。这里,在手势模式下控制的UI屏幕的显示状态的改变根据预设的事件来改变屏幕显示状态,诸如,执行诸如菜单屏幕显示的特定功能的屏幕改变或者诸如用于改变在屏幕上显示的内容的页面改变的屏幕改变。手势模式可不同于仅仅控制指向对象的运动的指向模式。
可基于绝对坐标方案(scheme)来提供指向模式,其中,远程控制设备200的运动区域与显示设备100的屏幕匹配。
可预设对应于显示设备100的整个屏幕区域的远程控制设备200的运动区域。例如,在预设参考状态中,在左手旋转30°与右手旋转30°之间的运动区域可以对应于整个显示屏幕。这里,可通过用户命令来设置预设参考状态。例如,当开启远程控制设备200并且输入用于设置参考状态的用户命令(例如,远程控制设备200的中心按钮(未示出))时,远程控制设备200的当前状态可被设置为参考状态,并且对应于远程控制设备200的当前状态的指向对象可显示在显示设备100的预设区域中的预设位置(例如,在屏幕的中心)处。
可基于预设参考点来计算对应于由用户移动的远程控制设备200的旋转状态的指向对象的坐标值。例如,可使用作为绝对参考点的显示屏幕的中心来计算对应于由用户移动的远程控制设备200的旋转状态的X和Y坐标值。
例如,当远程控制设备200在空间中向右旋转10度时,对应于远程控制设备200的旋转状态的指向对象可从匹配点(x1,y1)(例如,中心指针)移动到(x2,y2)。
可以采用相对坐标方案,这在本领域中是众所周知的,将省略对其的详细描述。
远程控制设备200可包括模式改变按钮,其用于接收改变显示设备100的显示模式的用户命令。在这种情况中,当模式改变按钮被按下时,可维持改变的模式,将对此进行解释。
显示设备100和远程控制设备200可使用诸如蓝牙(BT)、Zigbee、无线保真(Wi-Fi)、红外(IR)、串行接口和通用串行接口(USB)的各种通信方案进行通信。例如,当显示设备100和远程控制设备200使用BT进行通信时,它们可以通过BT配对来相互作用。BT配对对本领域技术人员是众所周知的,将省略对其的详细解释。
公开了示例性实施例的操作。
[第一示例性实施例]
图2A示出根据本发明第一示例性实施例的显示系统的操作。
如图2A所示,从远程控制设备200接收模式改变命令(S11)。例如,如果显示设备100在指向模式下操作,则显示设备100可接收将指向模式改变为手势模式的模式改变命令,或者如果显示设备100在手势模式下操作,则显示设备100可接收将手势模式改变为指向模式的模式改变命令。显示设备100可提供包括指向对象的UI屏幕。在指向模式下,在UI屏幕中显示的指向对象可指向至少一个内容,并且指针可根据远程控制设备200的旋转方向和旋转度而移动。例如,当指向对象是手的形状时,可使用手状的指向型指针。当在指向模式中使用绝对坐标方案时,可移动在屏幕上显示的指向对象的显示位置。
在手势模式下,显示设备100可将手状指向型指针改变并显示为手掌型手指针。
显示设备100可将用于指导手势输入的指导GUI与手掌型手指针一同显示在屏幕上。这里,根据UI屏幕的类型,指导GUI可具有不同的形状。例如,指导GUI可使用箭头,以引导可以应用于当前UI屏幕的手势方向。
如果远程控制设备200检测到运动(S12),则远程控制设备200生成对应于检测到的运动的运动信息(S13)。例如,远程控制设备200可生成对应于“向右旋转5°角”的运动信息。
根据在S11中接收到的模式改变命令和在S13的操作中生成的运动信息,远程控制设备200向显示设备100发送关于显示设备100的操作模式的信息(S14)。关于操作模式的信息可以是指示指向模式或手势模式的信息。
显示设备100基于接收到的关于操作模式的信息和接收到的运动信息来生成用于控制显示设备100的操作的控制信号(S15)。
如果接收到的模式信息指示指向模式,则接收到的运动信息可被转换并生成为对应于指向模式的控制信号,或者,如果接收到的模式信息指示手势模式,则接收到的运动信息可被转换并生成为对应于手势模式的控制信号。例如,如果接收到的关于操作模式的信息指示指向模式并且如果接收到的运动信息指示“向右旋转10°角”,则可生成控制信号以将显示在屏幕上的指向对象移动到对应坐标。或者,如果接收到的模式信息指示手势模式,如果接收到的运动信息指示“向右旋转10°角”,并且,如果对应于运动信息的手势映射到屏幕改变命令,则可生成控制信号以将显示在屏幕上的UI屏幕页面改变为后续UI屏幕页面。
显示设备100执行对应于生成的控制信号的操作(S16)。
图2B示出根据本发明第二示例性实施例的显示系统的示例性操作。
在图2B中示出的操作S21到S23与图2A中示出的对应操作相同,因此对其的详细描述不再重复。
基于在S21的操作中接收到的模式改变命令中包括的模式信息和在S23的操作中生成的运动信息,远程控制设备200生成控制信号。也就是说,如果接收到的模式信息指示指向模式,则接收到的运动信息可被转换并生成为对应于指向模式的控制信号,或者,如果接收到的模式信息指示手势模式,则接收到的运动信息可被转换并生成为对应于手势模式的控制信号。因此,可使用基于接收到的模式信息和运动信息生成控制信号的算术操作功能来实现远程控制设备200。
远程控制设备200将生成的控制信号发送到显示设备100(S25)。
显示设备100执行对应于接收到的控制信号的操作(S26)。也就是说,不同于在图2A中示出的示例性实施例,显示设备100可在不进行算术操作的情况下执行它的操作。
例如,如果显示设备100接收到对应于将当前显示UI页面改变为后续UI页面的运动的控制信号,则显示设备100执行对应于接收到的控制信号的操作。
图3A和图3B示出根据本发明实施例的显示设备。
参考图3A,显示设备100可包括:接收单元110、显示单元120和控制单元130。在下文中,将根据第一示例性实施例和第二示例性实施例分开解释显示设备100的操作。
[根据第一示例性实施例的显示设备的操作]
虽然可使用(但不限于)数字TV、PC、笔记本电脑来实现显示设备100,但是显示设备100也可采用具有显示功能并且允许远程控制的任何装置。
接收单元110可以与远程控制设备200进行通信。具体地说,接收单元110可以使用诸如BT、Zigbee、Wi-Fi、IR、串行接口和USB的各种通信方案来与远程控制设备200进行通信。
接收单元110可从远程控制设备200接收关于显示设备100的操作模式的信息以及包括远程控制设备200的运动信息的远程控制信号。关于显示设备100的操作模式的信息可以是关于选择指向模式和手势模式的其中之一的用户命令的信息,并且可以以不同的形式来实现。例如,可以以标志的形式来实现模式信息。在指向模式的情况中,标志可指示“0”,或者在手势模式的情况中,标志可指示“1”。也就是说,远程控制设备200可根据用来改变模式的用户命令来生成指示“0”或“1”的标志信息。在这种情况中,可通过在远程控制设备200上形成的第一按钮单元(未示出)来输入用于模式选择的用户命令。
关于操作模式的信息不仅可在每当发送了运动信息时被发送到显示设备100,也可仅在存在模式改变命令时才被发送。在后一种情况中,直到关于操作模式的信息被发送后关于改变的操作模式的信息被重新发送,显示设备100才将接收到的运动信息识别为用于相同操作模式的运动信息。
接收单元110可从远程控制设备200接收关于项目选择的信息。例如,接收单元110可在指向模式下接收选择信号以选择指向对象所在的项目,并且可通过远程控制设备200的第二按钮单元(未示出)来输入该选择信号。
接收单元110可被配置为执行发送功能,以将信息发送到远程控制设备200。例如,当显示设备100被关闭时,通过向远程控制设备200发送关闭电源信号,远程控制设备200可自动地关闭。
显示单元120可通过显示设备100提供各种显示屏幕。
显示单元120可显示具有执行指示功能的指向对象的UI屏幕。
显示单元120可在控制单元130的控制下显示对应于显示设备100的操作模式的GUI。
在指向模式下,显示单元120可在显示的UI屏幕上显示指向对象,诸如:光标、鼠标光标或高亮显示。此外,在指向模式下,显示单元120可根据从远程控制设备200接收到的运动信息来移动和显示指向对象的位置。
显示单元120可显示形状根据操作模式而改变的指向对象。
当显示设备100从指向模式切换到手势模式时,显示单元120可显示用于指导在显示的UI屏幕上的手势输入的指导GUI。这里,指导GUI可以是但不限于指示手势方向的箭头型提示。
可使用各种显示器来实现显示单元120,诸如:液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器、以及3D显示器。
控制单元130控制显示设备100的操作。
控制单元130可基于从远程控制设备200接收到的关于操作模式的信息来控制操作模式的选择。
基于关于选择指向模式和手势模式的其中之一的用户命令的信息,控制单元130可控制对指向模式和手势模式的其中之一的选择。
在没有接收到关于选择指向模式和手势模式的其中之一的用户命令的信息时,控制单元130可将显示设备100的操作模式确定为指向模式,并且在接收到关于选择指向模式和手势模式的其中之一的用户命令的信息时,控制单元130可将显示设备100的操作模式确定为手势模式。
控制单元130可将从远程控制设备200接收到的运动信息转换为控制显示设备100的控制信号,并根据转换的控制信号来控制显示设备100的操作。
控制单元130可使用控制信号映射表将接收到的运动信息转换为应用于显示设备100的功能的控制信号,并使用转换的控制信号来控制显示设备100的功能。
控制单元130可控制显示单元120以根据显示设备100的显示模式来提供对应类型的GUI。
例如,当在显示单元120中显示UI屏幕时,显示设备100可基本在指向模式下操作并且显示对应的GUI。当显示设备100根据接收到的信息在手势模式下操作时,显示单元120可被控制用来显示对应的GUI。这里,GUI是用于在UI屏幕上的各种指示功能的指向对象,并且可采用上面提到的指针、光标、鼠标光标。
如果显示设备100的操作模式是指向模式,则可基于从远程控制设备200接收到的关于远程控制设备200的运动的信息和关于项目选择的信息,来选择包括在UI屏幕中的菜单项。
当显示设备100从远程控制设备200接收对应于手势模式的模式信息时,控制单元130可显示在屏幕上显示的指向对象的类型。例如,当指向对象是手状指针时,可在指向模式中显示只有食指展开的手指向形状,可在手势模式中显示所有五根手指都展开的手掌型手。
根据在手势模式中在UI屏幕上显示的输入操纵,控制单元130可改变并显示指向对象的形状、颜色、大小、位置和方向的其中的至少一种。例如,当指向对象是手状指针并且在手势模式下屏幕放大/缩小操作可用时,手状指针可在放大状态中被放大并且在缩小状态中被缩小。
在手势模式下,控制单元130可控制显示单元120显示指导GUI,该指导GUI具有指导通过远程控制设备200进行手势输入的方向。例如,当在手势模式下可进行左右拨动操作时,可显示左右箭头方向的指导GUI。
根据在指向模式下的远程控制设备200的旋转方向和旋转程度的其中之一,控制单元130可控制显示单元120来改变和显示在UI屏幕上显示的指向对象的移动方向和运动程度。在这种情况中,可使用绝对坐标方案。
当在手势模式下输入用于在平行于显示单元120的屏幕的XY轴上旋转远程控制设备200的手势时,控制单元130可控制显示单元120来将UI屏幕改变为与XY轴方向系统性地匹配的其它UI屏幕并显示该其它屏幕。
当在手势模式下输入用于在垂直于显示单元120的屏幕的Z轴上旋转远程控制设备200的手势时,控制单元130可根据远程控制设备200的旋转来控制UI屏幕上的选择内容的放大和缩小。
[根据第二示例性实施例的显示设备的示例性操作]
在根据第二示例性实施例的显示设备的操作中,对与根据第一示例性实施例的显示设备的部件类似的部件的详细描述将不再重复。
接收单元110可与远程控制设备200进行通信。具体地说,接收单元110可使用诸如BT、Zigbee、Wi-Fi、IR、串行接口和USB的各种通信方案来与远程控制设备200进行通信。
接收单元110可接收基于由远程控制设备200输入的模式信息生成的控制信号和远程控制设备200的运动信息。也就是说,与第一示例性实施例不同,不需要分开的算术操作,接收单元110可从远程控制设备200接收能够控制显示设备100的形式的控制信号。
显示单元120可提供可由显示设备100提供的不同的显示屏幕。由于由显示单元120显示的内容与第一示例性实施例相同,因此对其的详细描述不再重复。
控制单元130可基于从远程控制设备200接收到的控制信号来控制显示设备100的操作。具体地说,在指向模式下,控制单元130可根据接收到的控制信号来控制指向对象的移动,在手势模式下,可根据接收到的控制信号来改变屏幕。由于由控制单元130进行的显示单元120的控制已经在第一示例性实施例中进行了描述,因此对其的详细描述不再重复。
图3B示出图3A的示例性显示设备。
为了便于描述,优先解释根据第一示例性实施例的显示设备的详细部件。由于根据第二示例性实施例的显示设备根据从远程控制设备发送的控制信号来操作,因此对其的详细描述不再重复。
参考图3B,显示设备1000包括:接收单元110、显示单元120、控制单元130、存储单元140、图像接收单元150、图像处理单元160、用户接口单元170和UI处理单元180。在图3B中,假定使用数字TV来实现图3A的显示设备100。在图3B中,与图3A的部件重叠的部件将在这里省略。
存储单元140是存储各种用于操作显示设备1000的程序和数据的存储介质,并且可使用存储器或硬盘驱动器(HDD)来实现存储介质140。
在手势模式下,存储器单元140可存储对应于从远程控制设备200接收到的运动信息的控制消息。更具体地说,在手势模式下,存储器单元140可以以表格形式来存储对应于从远程控制设备200接收到的运动信息的控制消息。例如,当从远程控制设备200接收到对应于从左向右的拨动的手势(例如,远程控制设备200的左右旋转)的运动信息时,对应于UI屏幕改变命令的控制信号可被匹配和存储,并且当从远程控制设备200接收到对应于向前和向后运动手势(例如,远程控制设备200的向前和向后旋转)的运动信息时,对应于内容放大/缩小命令的控制信号可被匹配和存储。
图像接收单元150通过天线或电缆接收广播内容,或者从外部装置或外部通信网络接收图像内容。
图像接收单元150可通过网络或无线地接收各种图像内容。这里,内容可以是诸如产生的内容的工作内容,诸如VOD内容或广播内容。
图像接收单元150可以以各种形式来接收。例如,当使用数字TV来实现显示设备100时,图像接收单元150可使用机顶盒、调谐器、外部输入端口和网络通信模块来实现。
图像处理单元160处理通过图像接收单元150接收的各种信号。因此,图像处理单元160可包括诸如解调器、解码器、A/D转换器和定标器(scaler)的信号处理部件。
用户接口单元170接收各种用户信号。
可根据显示设备100的类型以各种方式来实现用户接口单元170。例如,当使用数字TV来实现显示设备100时,用户接口单元170可实现为用于接收远程控制信号的接收单元110。
可使用包括多个键的输入面板或包括显示器和触摸板的层状结构的触摸屏来实现用户接口单元170。
UI处理单元180在控制单元130的控制下生成在显示单元120上输出的图像上叠加的各种UI元素。这里,UI处理单元(未示出)可以生成2D或3DUI元素。
UI处理单元180在控制单元130的控制下可处理UI元素的2D/3D转换、透明、颜色、大小、形状和位置调整、高亮、以及动画效果。
图4示出根据本发明实施例的控制单元130。
参考图4,控制单元130包括:系统存储器131、主CPU 132、图像处理器133、网络接口134、存储接口135、第一接口136-1到第n接口136-n、音频处理器137、以及系统总线138。
系统存储器131、主CPU 132、图像处理器133、网络接口134、存储接口135、第一接口136-1到第n接口136-n、音频处理器137通过系统总线138互连,以发送和接收各种数据和信号。
第一接口136-1到第n接口136-n支持包括显示单元120和控制单元130的部件的各种部件之间通过接口连接。可使用显示设备100的主体的按钮或者用于从经由第一到第n外部输入端口连接的外部装置接收各种信号的输入接口来实现第一接口136-1到第n接口136-n中的至少一个。
系统存储器131包括ROM 131-1和RAM 131-2。ROM 131-1存储用于启动系统的指令集。当开启指令被输入并且电源被供应时,主CPU 132将存储于存储单元140的操作系统(O/S)拷贝到RAM 131-2,并根据存储于ROM 131-1的指令通过执行O/S来启动系统。当启动完成时,主CPU 132将存储于存储单元140的各种应用程序拷贝到RAM 131-2,并通过运行拷贝至RAM 131-2的应用程序来执行各种操作。
主CPU 132可根据存储于存储单元140的各种应用程序的执行来执行各种操作。
存储接口135被连接到存储单元140,并且发送和接收各种程序、内容和数据。
例如,当从远程控制设备200接收到控制信号时,主CPU 132可通过经由存储接口135访问存储单元140来读取映射到控制信号的控制消息,然后使用读取的控制消息来控制显示设备100。
图像处理器133可以包括:解码器、渲染器(renderer)、定标器等。图像处理器133对存储的内容进行解码,通过渲染解码的内容数据来构建帧,并且,根据显示单元120的屏幕大小,按照比例调节构建的帧的大小。图像处理器133将处理的帧提供给显示单元120,以显示该帧。
音频处理器137处理音频数据并将其提供给诸如扬声器(未示出)的声音输出部件。音频处理器137可对存储在存储单元140的音频数据或从外部接收到的音频数据进行解码,过滤噪声,然后处理音频信号,例如,将音频放大到足够的分贝。例如,当播放内容是视频内容时,音频处理器137可处理从视频内容解复用出的音频数据,并将处理的音频数据提供给扬声器(未示出),以将音频与图像处理器133同步输出。
网络接口134通过网络连接到外部装置。例如,当用于提供信息供应服务的应用被驱动时,主CPU 132可经由网络接口134与远程控制设备200进行通信。
通过运行存储于存储单元140的各种程序,可执行上面提到的控制单元130的操作。
图5示出了根据本发明的各种实施例的用于支持控制单元130的操作的存储单元140的软件架构。参考图5,存储单元140包括:基本模块510、装置管理模块520、通信模块530、呈现模块540、网络浏览器模块550、以及服务模块560。
基本模块510是用于处理从显示设备100的硬件接收的信号并将处理的信号发送的更高层的模块的基本模块。
基本模块510包括:存储模块511、基于位置的模块512、安全模块513、以及网络模块514。
存储模块511是用于管理数据库(DB)或注册(registry)的程序模块。基于位置的模块512是用于支持与诸如GPS芯片的硬件相关联的基于位置的服务的程序模块。安全模块513是用于支持硬件验证、许可和安全存储的程序模块。网络模块514支持网络连接并包括DNET模块和UPnP模块。例如,网络模块514可通过网络访问外部服务器(未示出)。
装置管理模块520管理和利用外部输入的信息和外部装置。装置管理模块520可包括:感测模块521、装置信息管理模块522、以及远程控制模块523。例如,可通过装置管理模块520来管理远程控制设备200的信息。
感测模块521分析各种传感器数据。例如,感测模块521可包括:面部识别模块、语音识别模块、运动识别模块和NFC识别模块。
装置信息管理模块522提供关于各种装置的信息,并且远程控制模块523是用于远程控制诸如电话、打印机、照相机和空调的外围装置的程序模块。
通信模块530是用于与外部进行通信的模块。通信模块530可包括:诸如信使程序、短信服务(SMS)和多媒体消息服务(MMS)程序、以及Email程序的消息模块531,以及包括呼叫信息聚合器程序模块和VoIP模块的电话模块532。
呈现模块540是用于生成显示屏幕的模块。呈现模块540包括:用于播放和输出多媒体内容的多媒体模块541、以及用于处理UI和图形的UI&图形模块542。多媒体模块541可包括:播放器模块、摄像机模块、以及声音处理模块。因此,多媒体模块541播放各种多媒体内容,并生成和播放屏幕与声音。UI&图形模块542可包括:用于组合图像的图像组合器模块524-1、用于组合并生成用于显示图像的屏幕上的坐标的坐标合成模块542-2、用于从硬件接收事件的X11模块542-3、以及用于提供创建2D或3D UI的工具的2D/3D UI工具箱542-4。例如,可通过呈现模块540来生成对应于指向模式和手势模式的UI屏幕。
网络浏览器模块550通过网络浏览来访问网络服务器。网络浏览器模块550可包括:用于创建网页的诸如网络视图模块的各种模块、用于下载的下载代理模块、书签模块、以及webkit模块。
服务模块560指用于提供各种服务的应用模块。例如,服务模块560可包括各种模块,诸如用于提供地图、当前位置、地标和路线信息的导航服务模块、游戏模块、以及广告应用模块。
控制单元130的主CPU 132通过存储接口135访问存储单元140,将存储于存储单元140的各种模块复制到RAM 131-2,并根据复制模块的操作进行操作。
例如,当GUI显示对应于指向模式或手势模式时,主CPU 132使用呈现模块540的图像组合模块542-1来生成GUI屏幕。主CPU 132使用坐标合成模块542-2来确定GUI屏幕的显示位置,并控制显示单元120将GUI屏幕显示在该位置。
当用户操纵对应于消息接收时,主CPU 132访问消息管理服务器,然后通过运行消息模块531来接收存储于用户帐户的消息。主CPU 132使用呈现模块540生成对应于接收到的消息的屏幕,并将该屏幕显示在显示单元120上。
对于电话呼叫操作,主CPU 132可驱动电话模块532。
存储单元140可存储不同结构的程序,并且控制单元130可根据本发明总体构思的各种实施例使用存储于存储单元140的不同程序来进行操作。
图6是根据本发明总体构思的实施例的远程控制设备的框图。
[根据第一示例性实施例的远程控制设备的示例性操作]
参考图6,远程控制设备200包括:检测单元210、输入单元220、信号输出单元230、以及控制单元240。
远程控制设备200提供关于外部显示设备100的远程控制信号,该外部显示设备100具有包括指向模式和手势模式的多种操作模式。
检测单元210检测远程控制设备200的3D运动。具体地说,检测单元210可包括加速仪、陀螺仪传感器和磁力仪中的至少一个。检测单元210的一个或两个或更多传感器的组合可检测远程控制设备200的3D运动。在本文中,3D运动可以是远程控制设备200的旋转。
加速仪测量远程控制设备200的空间运动。也就是说,加速仪可感测当用户移动远程控制设备200时的加速度改变或角度加速度改变的其中的至少一个。这里,可使用三轴加速仪来实现加速仪,该三轴加速仪用于针对三条正交轴来测量直线速度的增加或降低。因此,使用与远程控制设备200的运动加速度有关的信息和静态的重力加速度分量,可从加速仪获得与倾斜有关的信息。
陀螺仪传感器是用于测量远程控制设备200的角旋转速度的惯性传感器,即,指使用旋转物体的惯性力来测量旋转的方向和速度的传感器。可使用三轴角速度传感器来实现陀螺传感器,该三轴角速度传感器用于针对三条正交轴来测量旋转角度的增加或减小。
磁力仪是用来测量方位角的传感器。即,磁力仪指通过检测围绕地球的南北产生的磁场来测量方位角的传感器。这里,可使用三轴磁力仪来实现磁力仪,该三轴磁力仪用于针对三条正交轴来测量磁力的强度和方向。由磁力仪测量的北方向可以是磁北。即使在磁力仪测量磁北时,也可使用内部的计算来输出真正的北。
检测单元210还可可选地包括距离传感器。这里,距离检测器测量远程控制设备200与显示设备100之间的距离。也就是说,距离传感器可检测远程控制设备200的用户使用位置与显示设备100之间的距离。
输入单元220接收各种用户命令。
输入单元220可包括第一按钮单元(未示出)和第二按钮单元(未示出),其中,第一按钮单元用于接收用户命令,以选择显示设备100的操作模式中的指向模式和手势模式的其中之一,第二按钮单元用于接收用户命令,以选择显示在UI屏幕上的对象。
如果第一按钮单元(未示出)被按下,则关于操作模式的信息可包括指示外部装置处于手势模式的信息,或者,如果按下的第一按钮单元(未示出)被释放,则关于操作模式的信息可包括指示外部装置处于指向模式的信息。
例如,模式信息是指示指向模式或手势模式的信息,并且可以以不同的形式来实现。例如,模式信息可以以标志的形式来实现。在指向模式的情况中,标志可指示“0”,或者在手势模式的情况中,标志可指示“1”。也就是说,可根据第一按钮单元(未示出)是否被操纵来生成指示“0”或“1”的标志信息。
信号输出单元230将远程控制信号输出到显示设备100。
信号输出单元230可使用诸如BT、Zigbee、Wi-Fi、IR、串行接口和USB的各种通信方案将关于远程控制设备200的信息发送到显示设备100。
信号输出单元230可向显示设备100输出对应于通过将在下面解释的输入单元220输入的各种用户命令的信号。
控制单元240控制显示设备200的全部操作。例如,控制单元240可实现为中央处理单元(CPU)或微控制器单元(MCU)。
控制单元240可控制上述检测单元210、输入单元220和信号输出单元230的操作。
如果用户命令是通过上述第一按钮单元(未示出)输入的,则控制单元240可控制信号输出单元230输出关于选择指向模式和手势模式的其中之一的用户命令的信息以及关于检测到的运动的信息。
控制单元可控制信号输出单元230在第一按钮单元(未示出)被按下时连续地输出关于选择指向模式和手势模式的其中之一的用户命令的信息,并且在按下的第一按钮单元(未示出)被释放时,不输出关于选择指向模式和手势模式的其中之一的用户命令的信息。
在没有从远程控制设备200接收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时期期间,外部显示设备100可将指向模式保持为默认。
外部显示设备100可将操作模式转换为作为非默认模式的手势模式,并在从远程控制设备200连续地接收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时期期间,保持转换的模式。
[根据第二示例性实施例的远程控制设备的示例性操作]
由于在第二示例性实施例中的检测单元210、输入单元220和信号输出单元230的操作与在第一示例性实施例中的这些单元的操作类似,因此对其的详细描述不再重复。
从输入单元220输入的关于选择指向模式和手势模式的其中之一的用户命令的信息可用来生成在远程控制设备200内部的控制信号,而不是被发送到显示设备100。因此,与第一示例性实施例不同,通过输入单元220输入的关于选择指向模式和手势模式的其中之一的用户命令的信息,即,关于操作模式的信息可不以标记的形式来实现,而可以以能够识别用于改变模式的用户命令的输入的不同形式来实现。在某些情况中,关于操作模式的信息可以以与第一示例性实施例相同的标记形式来实现。
使用通过输入单元220输入的关于选择指向模式和手势模式的其中之一的用户命令的信息和通过检测单元210检测到的运动信息,远程控制设备200可生成控制显示设备100的控制信号。参考示出详细配置的图7,在下面对其详细描述进行解释。
通过使用预定义的信号处理算法来分析对应信息,控制单元240可生成控制外部显示设备100的控制信号。
例如,控制单元240可控制信号输出单元230来基于关于选择手势模式的用户命令通过手势识别算法来分析运动信息,并将对应于分析的手势的控制信号输出到显示设备100。
通过基于关于选择指向模式的用户命令的信息使用信号处理算法来分析运动信息、计算绝对坐标值以控制指向对象的位置、以及将计算的绝对坐标值发送到显示设备100,控制单元240可控制指向对象的运动状态。
如果选择按钮单元222被选择,则控制单元240可将对应信号发送到显示设备100,从而使得在选择按钮单元222被选择时指向对象所处的位置处的项目可在显示设备100上被选择。也就是说,在第二示例性实施例中,基于关于选择指向模式和手势模式的其中之一的用户命令的信息,通过将使用检测单元210检测到的运动信息转换为与对应描述相一致,远程控制设备200可生成控制显示设备100的控制信号。因此,不同于第一示例性实施例,远程控制设备200在指向控制模式下或手势控制模式下操作。
图7示出示例性的远程控制设备。
检测单元210是用于感测远程控制设备200的运动的部件。检测单元210可包括诸如加速仪211、角速度传感器212、磁力仪213和触摸传感器214的各种传感器。
加速仪211测量当运动发生时的加速度和加速度方向。具体地说,加速仪211输出对应于传感器所附接的远程控制设备200的运动加速度的感测值,以及对应于根据倾斜而变化的重力加速度的感测值。基于加速仪211的输出值,控制单元240可使用远程控制设备200的运动加速度和静止状态的重力加速度分量来确定倾斜。
当发生旋转运动时,角速度传感器212通过测量在速度方向上起作用的科氏力来检测角速度。控制单元240可使用角速度传感器212的测量值来检测远程控制设备200的旋转。
磁力仪213使用2轴或3轴磁通门来检测地球或者磁性物体的磁。控制单元240可使用由磁力仪213检测的磁力值来测量磁的方向和强度,并基于该测量来计算方位角。因此,控制单元240可确定远程控制设备200以哪个方向旋转。
触摸传感器214可检测用户的触摸。触摸传感器214可采用电容型或电阻型。当用户的身体部位触摸远程控制设备200的表面时,电容触摸传感器检测用户身体激发的电,并使用涂覆在远程控制设备200的表面上的电介质来计算触摸坐标。电阻触摸传感器包括嵌入到远程控制设备200中的两块电极板。当用户触摸时,电阻触摸传感器检测在触摸点处接触的上下板的电流,并计算触摸坐标。此外,IR检测型、表面声波型、集成应变计(integral staingauge)型和压电型可以被用于检测触摸,这里省略对其的详细描述。
输入单元220接收不同的用户命令。
具体地说,输入单元220可包括:模式改变按钮单元221、选择按钮单元222、4方向输入单元223、触摸输入单元224和电源按钮单元225。
模式改变按钮单元221可接收选择指向模式和手势模式的其中之一的用户命令。将参考附图在以后解释模式改变按钮单元221的配置。
选择按钮单元222可接收选择命令。
在指向模式下,选择按钮单元222可接收用于选择显示在显示设备100的屏幕上的指向对象所位于的位置处的项目的用户命令。也就是说,当显示在显示设备100的屏幕上的指向对象位于特定项目上时,按下选择按钮单元251,那么对应对象可以被选择以执行对应功能。例如,当对应内容是特定应用的图标界面时,可显示对应的应用执行屏幕。
根据提供的UI屏幕的特性,选择按钮单元222可充当回车键或OK键。
4方向输入单元223被置于选择按钮单元222的外部框架中,并接收用于4方向操纵的用户命令。
选择按钮单元222和4方向输入单元223可包括触摸传感器和采用光学技术的光学操纵杆(OJ)中的至少一个。
触摸输入单元224可包括映射到不同功能的多个触摸区域。具体地说,触摸输入单元224可包括映射到诸如频道改变功能、声音控制功能和菜单功能的不同功能的多个触摸区域。
电源按钮单元225接收用于电源开/关的用户命令。
远程控制设备200可包括中心按钮单元(未示出),其用于在电源开被输入到电源按钮单元225时映射远程控制设备200的参考状态和指向对象的显示位置。或者,前面提到的各种按钮可充当中心按钮单元(未示出)。例如,当远程控制设备200被开启时,远程控制设备200可与显示设备100配对。当配对完成并且用户按下中心按钮单元(未示出)时,指向对象可被显示在显示设备100的显示屏幕的中心,并且远程控制设备200的当前状态可与显示在显示屏幕的中心的指向对象的位置匹配。特别地,举例来说参考点可以是屏幕的中心,参考点也可设置为显示屏幕的其它位置。
通过存储于存储单元(250)的程序,可执行控制单元240的操作。
存储单元(250)可存储各种数据,诸如用于确定远程控制设备200的O/S软件,以及用于处理由检测单元210检测到的检测信号的信号处理算法(如在第二示例性实施例中)。使用存储于存储单元(250)的各种程序,控制单元240控制远程控制设备200的操作。
控制单元240包括:RAM 241、ROM 242、主CPU 243、第一接口224-1到第n接口224-n、以及总线245。
RAM 241、ROM 242、主CPU 243、以及第一接口224-1到第n接口224-n可以经由总线245连接,以发送和接收各种数据和信号。
第一接口224-1到第n接口224-n不仅连接到图7的部件而且还连接到其它部件,从而使得主CPU 243可进行访问。
主CPU 243访问存储单元(250)并使用存储于存储单元(250)的O/S来执行启动。主CPU 243使用存储于存储单元(250)的各种程序和数据来执行各种操作。
ROM 242存储用于系统启动的指令集。当开启命令被输入并且电源被供应时,主CPU 243根据存储于ROM 242的指令将存储于存储单元250的O/S拷贝到RAM 241,并通过执行O/S来启动系统。当启动完成时,主CPU 243将存储于存储单元(250)的各种程序拷贝到RAM241,并通过运行拷贝至RAM241的程序来执行各种操作。
通过将存储于存储单元(250)的程序拷贝到RAM241并运行,控制单元240可执行各种操作。
图8示出根据本发明总体构思的实施例的信号处理算法。
如图8所示,信号处理算法包括:用于接收传感器测量值的第一块711、第二处理块712、第三姿势估计块713、第四运动分类块714、第五校准块715、第六用户意图分析块716、第七增益功能应用块717、以及第八手势识别块718。可通过CPU或MCU来执行图7的信号处理算法。
第一块711从检测单元220接收各种传感器值。例如,第一块711可接收由加速仪、陀螺传感器和磁力仪中的至少一个感测的传感器值。
第二块712处理接收到的传感器值。具体地说,第二块712执行物理量转换、传感器轴变换、以及针对传感器值的低通滤波。
例如,转换为数字值的传感器值被转换为可应用于信号处理算法的实际物理量(物理量转换)。加速仪、角速度传感器和磁力仪的轴可设置为一个定义轴(传感器轴变换)。低通滤波可去除传感器的电噪声和不期望的高频。
第三块713从每个传感器值来估计姿势或者姿势角(欧拉角(滚动、俯仰、偏航(朝向)))。在这种情况中,可采用使用Kalman滤波器进行的估计。
第四块714使用传感器信号来对运动状态进行分类,并且可确定远程控制设备200是没有移动、缓慢地移动还是快速移动。
第五块715执行校准。当第四块714确定远程控制设备200没有移动,即,确定零速率时,第五块715可计算角速度传感器的输出值的平均值,从角速度传感器的输出值减去平均值,从而对角速度传感器的偏移值进行补偿。
第六块716分析并确定用户是否试图移动、停止或拨动远程控制设备200。
第七块717将从第三块713输出的偏航角和俯仰角转换为显示设备100的X和Y坐标。使用转换的坐标,可设置鼠标光标的位置。
第八块718可使用第二块712的信号输出形式来识别指定的手势。
通过将从第七块717输出的X和Y坐标映射到指向对象的X和Y坐标,可在显示设备100的UI屏幕上设置指向对象的坐标。
使用从第八块718输出的欧拉角(滚动、俯仰、偏航)或从第七块717输出的X和Y坐标,可在UI屏幕上生成预设事件,以执行对应操作。
可由远程控制设备200的控制单元240或显示设备100的控制单元130来处理根据信号处理算法的计算。
图9A、图9B和图9C示出远程控制设备200的外部。图9A是远程控制设备200的透视图,图9B是在图9A的方向b上获得的视图,图9C是在图9A的方向c上获得的视图。图10是远程控制设备200的多个模式改变按钮单元231的示图。
参考图9A,优选地,通过考虑手自然地成握杯状的姿势以最小化手在使用中的疲劳,远程控制设备200的前上部比前下部突出,并且顶侧以小的弧度逐渐向后倾斜。
如图9C所示,远程控制设备200的前部和左/右侧呈凹陷圆形,以增强抓握。因此,用户可舒服地用手把持并使用远程控制设备200,而不会使手或手腕扭伤。
当用户用手把持远程控制设备200时,模式改变按钮单元231可以被置于五根手指的中指F2和无名指F3所放置的远程控制设备200的前侧或者前侧和两侧,并且选择按钮单元251可被置于拇指F1所放置的远程控制设备200的顶侧或前顶侧(图11)。
通过考虑在用手把持远程控制设备200的同时用于自然地按下模式改变按钮单元221和选择按钮单元222的手指F1到F3的位置,可设置改变按钮单元221和选择按钮单元222的放置。
虽然通过举例的方式形成单个的模式改变按钮单元221,但是,如图10所示,远程控制设备2000可包括多个模式改变按钮单元2210和2211。在这种情况中,优选地将模式改变按钮单元2210和2211上下放置,从而使得五根手指的中指和无名指可以操纵模式改变按钮单元2210和2211。
当提供多个模式改变按钮单元2210和2211时,模式改变按钮单元2210和2211可单独被操纵或一同被操纵,以生成不同的信号。
4方向输入单元223和触摸输入单元224可在远程控制设备200的顶侧上形成。优选地,4方向输入单元223可围绕选择按钮单元222,并且触摸输入单元224可围绕选择按钮单元222。也就是说,选择按钮单元222被置于最内侧部分,并且范围从选择按钮单元222向外扩展,以放置4方向输入单元223和触摸输入单元224。
4方向输入单元223和触摸输入单元224的布置考虑了使用拇指进行容易的操纵,当握住远程控制设备200时,在五根手指中拇指可相对自由地移动。
触摸输入单元224可包括在右边的频道控制区域、左边的音量控制区域、以及在上侧上映射到诸如菜单区域的不同功能的多个触摸区域。
与如上所述的按钮单元相比较,电源按钮单元225可布置于远程控制设备200的上后侧,以阻止手指的相对容易的访问。电源按钮单元225的布置可最小化在远程控制设备200的使用中由于失误而按下电源按钮单元225时造成的电源关闭。
虽然在本实施例中远程控制设备200的使用是基于用户能够使用所有的五根手指来解释的,但并不仅限于此,用户也可使用最适合的手指来操纵远程控制设备200的按钮单元。
图11A到图11C示出根据本发明的各种实施例的远程控制设备的操纵示图。
如图11A所示,通过释放按下的模式改变按钮单元221,用户可选择显示设备100的指向模式。这样,当显示设备100处于指向模式时,由显示设备100提供的UI屏幕可显示指向型指针。
如图11B所示,通过一直按下模式改变按钮单元221,用户可选择显示设备100的手势模式。当显示设备100处于手势模式时,由显示设备100提供的UI屏幕可显示手掌型指针。
通过远程控制设备200的手势可在对应UI屏幕中控制拨动和放大/缩小。例如,用于将显示的UI屏幕切换为不同的UI屏幕的拨动、用于显示新的菜单屏幕的拨动、以及用于放大和缩小显示内容的放大/缩小是可行的。
显示设备100基本上可在指向模式下操作,并且,如果存在一直按下模式改变按钮单元221的抓握,则可在手势模式下操作。
如图11C所示,用户可通过一直按下模式改变按钮单元221和选择按钮单元222来控制摇动。在这种情况中,从显示设备100提供的UI屏幕可显示抓握型指针。例如,当远程控制设备200在特定方向上旋转时,在屏幕上放大并显示的内容图像可在对应方向上移动。也就是说,当特定内容被选择并且远程控制设备200垂着地或水平地旋转时,显示的内容图像可在对应于远程控制设备200的旋转方向的方向上移动。因此,抓握型指针可以提供给用户好似持有该内容的直观感受。
图12示出根据本发明总体构思的实施例的指向模式的操作。
如图12所示,当显示设备100处于指向模式时,显示设备100可显示对应于指向模式的GUI。也就是说,在屏幕上可显示指向类型的手状指针10。
当指向型指针被置于内容A121上,并且用户向右旋转远程控制设备200时,显示在屏幕上的指向型指针10可移动到在内容A121右侧的内容B122。
显示在屏幕上的指向型指针10可基于绝对坐标方案,根据远程控制设备200的旋转方向和旋转程度来移动。这里,绝对坐标方案在绝对坐标区域中移动指针并且显示在屏幕上的指针基于预设的参考值移动,这与基于之前的指针位置来移动指针的相对坐标方案不同。
图13示出根据本发明实施例的模式改变中的操作。
当如图13的第一幅图片所示显示设备100处于指向模式时,显示设备100的屏幕可显示指示指向模式的指向型指针10。
当显示设备100被切换到手势模式时,在显示设备100的屏幕上显示的指针10被改变为指示手势模式的手掌型指针11,并且可显示指导手势输入方向的指导GUI 21-1和21-2。例如,当如图所示新的系统UI页面被布置在左侧和右侧时,可显示指示左右拨动手势的左右箭头的指导GUI 21-1和21-2。
当远程控制设备200向左旋转时,手掌型指针11被改变并以与实际的用户向左拨动的手相同的方式显示为改变角度的指针12,并且指导向左方向的指导GUI 21-1可被高亮显示。例如,当拨动被施加到触摸屏上时,用户的手的角度通常会改变。类似地,指针的类型可以以相同的方式改变和显示。因此,可为用户提供类似于在触摸屏上拨动的直观感受。
可根据远程控制设备200的旋转方向来控制显示在屏幕上的UI屏幕的移动方向。例如,当如图所示远程控制设备200向左旋转时,UI屏幕可向左移动并被显示。也就是说,显示在中心的内容被移动到左侧,并且在右侧的未被见到的内容可被显示。
图14示出根据本发明实施例的手势模式的操作。
如图14所示,当特定内容显示在屏幕上并且用户按下远程控制设备200的第一按钮单元(例如,图4B的模式改变按钮单元221)时,显示设备100在手势模式下操作,并且在屏幕上显示指导GUI 22-1到22-4以指导可行的手势输入。
当用户在按下模式改变按钮单元221的同时,在特定方向上旋转远程控制设备200时,在对应于旋转方向的区域中可显示预设菜单。例如,当如图所示远程控制设备200向右旋转时,在左侧可显示内容列表。
当用户释放按下的模式改变按钮时,显示设备100在指向模式下操作。在这种情况中,指向型指针14可根据远程控制设备200的旋转而移动。例如,指向型指针14被置于特定内容C 123上,并且用户向下旋转远程控制设备200,指向型指针14可根据旋转程度移动到下面的内容D 124。
当指向型指针14被置于内容D 124上并且用户按下远程控制设备200的选择按钮时,所选内容D 124被执行并且显示在屏幕上。
图15示出根据本发明实施例的手势模式的操作。
如图15所示,当在指向模式下指向型指针15被置于内容E 125上并且用户按下远程控制设备200的选择按钮(例如,图9B的选择按钮单元232)时,所选内容E 125被显示在显示设备100的屏幕上。
当用户按下远程控制设备200的模式改变按钮(例如,图9B的模式改变按钮单元)时,显示在屏幕上的指向型指针15被改变为指示手势模式的手掌型指针16,并且可显示指导可行的手势输入的指导GUI 23-1到23-2。
当用户在按下模式改变按钮的同时使远程控制设备200远离用户时,显示在屏幕上的内容可被缩小并显示。这里,从用户离开可使远程控制设备200向着显示设备100旋转。
当用户在按下模式改变按钮的同时使远程控制设备200靠近用户时,显示在屏幕上的内容可被放大并显示。这里,向用户靠近可使远程控制设备200向着远离显示设备100的方向旋转。
图16示出根据本发明实施例的手势模式的操作。
如图16所示,当在指向模式下指向型指针15被放置在内容E 125上并且用户按下远程控制设备200的第二按钮单元(例如,图9B的选择按钮单元222)时,所选内容E 125被显示在显示设备100的屏幕上。
当按下模式改变按钮(例如,图9B的模式改变按钮单元231)的同时用户一直按着选择按钮时,指向型指针15改变为指示摇动垂直的抓握型指针17,并且可显示指导可行的手势输入的指导GUI 24-1到24-4。
当在按下模式改变按钮和选择按钮的同时用户垂直地和水平地旋转远程控制设备200时,显示在屏幕上的内容可以被摇动。例如,当在按下模式改变按钮和选择按钮的同时用户向右旋转远程控制设备200时,显示在屏幕上的内容也可被移动到右侧。
但是,当在本实施例中同时按下模式改变按钮和选择按钮时用户进行摇动操纵时,也可在按下选择按钮而不按下模式改变按钮的同时来执行摇动操纵。
图17示出根据本发明实施例的远程控制设备的控制方法。
参考图17,远程控制设备200与显示设备100进行通信(S1710)。例如,当远程控制设备200使用BT与显示设备100进行通信并且远程控制设备200被开启时,远程控制设备200可以发现显示设备100并与其配对。
配对后,显示设备100可以在指向模式下操作。具体地说,当通过远程控制设备200输入用户命令时,指向对象可以被显示在显示设备100的屏幕上,并且显示的指向对象位置可以被映射到远程控制设备200的当前状态。
远程控制设备200的运动被检测(S1720)。
如果选择指向模式和手势模式的其中之一的用户命令被输入(S1730:是),则在S1720中检测到的运动信息和关于在S1730输入的用户命令的信息被输出到显示设备100(S1740)。
指向模式可以是根据检测到的远程控制设备的运动来控制显示在显示设备100的UI屏幕上的指向对象的运动的模式,手势模式可以是根据远程控制设备200的预定义手势来控制UI屏幕的显示状态的模式。
在指向模式下,显示在显示设备100的屏幕上的指向对象的运动状态可以根据远程控制设备200的运动状态来控制。这里,运动状态可以是上面提到的远程控制设备200的旋转状态。
在手势模式下,可以根据远程控制设备200的运动来控制显示设备100的屏幕显示状态。例如,屏幕可以改变为菜单屏幕或其它UI屏幕。
当输入不是用于模式改变的用户命令时,远程控制设备200可以将对应于输入的命令的控制信号发送到显示设备100。例如,当输入内容选择命令或指向对象移动命令时,远程控制设备200可以将对应的控制信号发送到显示设备100。
图18示出本发明实施例的显示设备的控制方法。
参考图18,显示设备100显示具有用于执行显示的指示功能的指向对象的UI屏幕(S1810)。预设事件可以是显示设备100连接到远程控制设备200的事件,或者连接远程控制设备200的预定按钮被按下的事件。
随后,从远程控制设备200接收远程控制信号,该远程控制信号包括远程控制设备的运动信息以及关于选择指向模式和手势模式的其中之一的用户命令的信息(S1820)。
接下来,根据从远程控制设备200接收到的关于选择指向模式和手势模式的其中之一的用户命令的信息,指向模式和手势模式的其中之一被选择,并且显示设备100据此被操作(S1830)。
当从远程控制设备200接收到关于选择指向模式的用户命令的信息时,显示设备100可以在UI屏幕上显示手状指向型指针并在指向模式下操作,并且当从远程控制设备200接收到关于选择手势模式的用户命令的信息时,显示手掌型的手状指针并在手势模式下操作。
当在手势模式下通过远程控制设备200输入拨动操纵时,显示设备100可以显示对应于拨动的手的手势的手状指针。
当在手势模式下可以进行摇动操纵时,显示设备100可以将手状指针改变为抓握型并显示。手状指针已经在较早前进行了描述,因此不必进行进一步地解释。
显示设备100可以在手势模式下显示用于指导手势输入的指导GUI。
例如,当可以进行拨动操纵时,用于指导左右手势输入的左右箭头的指导GUI可以被显示。当可以进行放大/缩小时,用于指导上下手势输入的上下箭头的指导GUI可以被显示。当可以进行摇动操纵时,用于指导上下左右手势输入的上下左右箭头的指导GUI可以被显示。
根据本发明的各种实施例,可以为用户提供直观的远程控制方法。
通过升级已有显示装置或用户终端的软件,可以实现根据本发明各种实施例的方法。
非暂态计算机可读介质可以存储用于顺序地实现这些控制方法的程序。
非暂态计算机可读介质指用于半永久地存储数据并运行装置读取的介质,而不是用于短期存储数据的介质,诸如:寄存器、高速缓冲存储器和存储器。更具体地说,上述各种应用和程序可以存储于非暂态计算机可读介质(诸如:CD、DVD、硬盘、蓝光盘、USP、存储卡和ROM)并由其提供。
尽管在显示设备和远程控制设备的框图中描绘了总线,但是也可以经由总线来实现显示设备的部件与远程控制设备的部件之间的通信。每个设备例如还可以包括诸如CPU或微处理器的处理器,以用于进行之前提到的操作。
尽管已经示出并描述了少量本发明的实施例,但是,本领域的技术人员将会认识到,在不脱离本发明原理和精神的情况下可以在这些实施例中进行改变,本发明的范围由权利要求或其等同物限定。

Claims (15)

1.一种用于为外部显示设备提供远程控制信号的远程控制设备,所述外部显示设备具有包括指向模式和手势模式的多种操作模式,所述远程控制设备包括:
信号输出单元,将远程控制信号输出到提供用户界面屏幕的外部显示设备;
检测单元,检测远程控制设备的运动;
输入单元,包括第一按钮单元和第二按钮单元,所述第一按钮单元用于接收选择外部显示设备的操作模式中的指向模式和手势模式的其中之一的用户命令,所述第二按钮单元用于接收选择显示在用户界面屏幕上的指向对象的用户命令;以及
控制单元,控制信号输出单元以输出关于检测到的运动的信息以及当用户命令经由第一按钮单元输入时输出关于选择指向模式和手势模式的其中之一的用户命令的信息,
其中,指向模式是这样一种模式,其用于根据由检测单元检测到的远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的移动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
2.如权利要求1所述的远程控制设备,其中,外部显示设备在没有从远程控制设备收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,保持在作为默认模式的指向模式下,并且
外部显示设备在从远程控制设备连续地收到关于用于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,转变为作为非默认模式的手势模式并保持在手势模式。
3.如权利要求2所述的远程控制设备,其中,控制单元控制信号输出单元在第一按钮单元被按下时连续地输出关于选择指向模式和手势模式的其中之一的用户命令的信息,并且在按下的第一按钮单元被释放时,不输出关于选择指向模式和手势模式的其中之一的用户命令的信息。
4.如权利要求1到3中的任意一个所述的远程控制设备,其中,检测单元包括加速仪、角速度传感器和磁力仪中的至少一个。
5.一种具有包括指向模式和手势模式的多种操作模式的显示设备,由提供远程控制信号的远程控制设备来控制,所述显示装置包括:
接收单元,从远程控制设备接收远程控制信号,所述远程控制信号包括:关于远程控制设备的运动的信息、关于选择指向模式和手势模式的其中之一的用户命令的信息、以及关于项目选择的信息;
显示单元,显示具有在用户界面屏幕上执行指示功能的指向对象的用户界面屏幕;以及
控制单元,基于从远程控制设备接收的关于选择指向模式和手势模式的其中之一的用户命令的信息来控制对指向模式和手势模式的其中之一的选择,
其中,指向模式是这样一种模式,其用于根据由检测单元检测到的远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
6.如权利要求5所述的显示设备,其中,所述显示单元显示根据操作模式其形状发生改变的指向对象。
7.如权利要求5或6所述的显示设备,其中,控制单元在接收单元没有接收到关于选择指向模式和手势模式的其中之一的用户命令的信息时,将显示设备的操作模式确定为指向模式,并且
当接收单元接收到关于选择指向模式和手势模式的其中之一的用户命令的信息时,所述控制单元将显示设备的操作模式确定为手势模式。
8.如权利要求5或6所述的显示设备,其中,控制单元在显示设备的操作模式是指向模式时,基于从远程控制设备接收到的关于远程控制设备的运动的信息和关于项目选择的信息,来选择包括用户界面屏幕的菜单项。
9.如权利要求6所述的显示设备,其中,控制单元通过根据在用户界面屏幕上的输入操纵状态改变形状、颜色、大小、位置和方向的至少一个,控制对指向对象的显示。
10.如权利要求6所述的显示设备,其中,指向对象是手状指针,并且
控制单元基于拨动、缩小/放大和摇动的可能操纵,通过将手状指针改变为指向型、手掌型或抓握型来在用户界面屏幕上进行显示。
11.一种包括提供远程控制信号的远程控制设备和由远程控制设备控制的显示设备的显示系统,所述显示设备具有包括指向模式和手势模式的多种操作模式,所述显示系统包括:
远程控制设备,用于输出远程控制信号,所述远程控制信号包括:关于远程控制设备的运动的信息、关于选择指向模式和手势模式的其中之一的用户命令的信息、以及关于项目选择的信息,
所述显示设备包括:
接收单元,从远程控制设备接收远程控制信号,所述远程控制信号包括:关于远程控制设备的运动的信息、关于选择指向模式和手势模式的其中之一的用户命令的信息、以及关于项目选择的信息;
显示单元,显示具有在用户界面屏幕上执行指示功能的指向对象的用户界面屏幕;
控制单元,基于从从远程控制设备接收的关于选择指向模式和手势模式的其中之一的用户命令的信息来控制对指向模式和手势模式的其中之一的选择,
其中,指向模式是这样一种模式,其用于根据由检测单元检测到的远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
12.如权利要求11所述的显示系统,其中,所述显示设备被配置为在没有从远程控制设备收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,保持在作为默认模式的指向模式下,并且
所述显示设备被配置为在从远程控制设备连续地收到关于选择指向模式和手势模式的其中之一的用户命令的信息的时间间隔期间,转变为非默认模式的手势模式并保持在手势模式。
13.如权利要求12所述的信息系统,其中,远程控制设备包括:
信号输出单元,将远程控制信号输出到显示设备;
输入单元,具有用于接收选择指向模式和手势模式的其中之一的用户命令的第一按钮;以及
控制单元,被配置为控制信号输出单元在第一按钮单元被按下时连续地输出关于选择指向模式和手势模式的其中之一的用户命令的信息,并且在按下的第一按钮单元被释放时,不输出关于用于选择指向模式和手势模式的其中之一的用户命令的信息。
14.一种远程控制设备的控制方法,用于为外部显示设备提供远程控制信号,该外部显示设备具有包括指向模式和手势模式的多种操作模式,该方法包括:
检测远程控制设备的运动;
当输入选择外部显示设备的操作模式中的指向模式和手势模式的其中之一的用户命令时,输出关于检测到的运动的信息和关于选择指向模式和手势模式的其中之一的用户命令的信息,
其中,指向模式是这样一种模式,其用于根据远程控制设备的运动来控制显示在用户界面屏幕上的指向对象的运动,并且,手势模式是这样一种模式,其用于根据远程控制设备的预定义手势来控制用户界面屏幕的显示状态。
15.一种具有包括指向模式和手势模式的多种操作模式的显示设备的控制方法,所述显示设备由提供远程控制信号的远程控制设备来控制,该控制方法包括:
显示用户界面屏幕,该用户界面屏幕具有用于执行指示功能的指向对象;以及
从远程控制设备接收远程控制信号,所述远程控制信号包括关于远程控制设备的运动的信息以及关于选择指向模式和手势模式的其中之一的用户命令的信息;
基于从远程控制设备接收的关于用于选择指向模式和手势模式的其中之一的用户命令的信息来选择指向模式和手势模式的其中之一。
CN201310043832.7A 2012-06-20 2013-02-04 显示设备、远程控制设备及其控制方法 Expired - Fee Related CN103513894B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0066369 2012-06-20
KR20120066369 2012-06-20
KR1020120120740A KR101339985B1 (ko) 2012-06-20 2012-10-29 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
KR10-2012-0120740 2012-10-29

Publications (2)

Publication Number Publication Date
CN103513894A true CN103513894A (zh) 2014-01-15
CN103513894B CN103513894B (zh) 2017-04-05

Family

ID=47843028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310043832.7A Expired - Fee Related CN103513894B (zh) 2012-06-20 2013-02-04 显示设备、远程控制设备及其控制方法

Country Status (6)

Country Link
US (2) US9223416B2 (zh)
EP (1) EP2677759A1 (zh)
CN (1) CN103513894B (zh)
DE (1) DE202013100255U1 (zh)
FR (1) FR2982722B3 (zh)
WO (1) WO2013191351A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446468A (zh) * 2014-08-25 2016-03-30 乐视致新电子科技(天津)有限公司 操控模式的切换方法及装置
WO2016101160A1 (en) * 2014-12-24 2016-06-30 Intel Corporation User interface for liquid container
CN106249605A (zh) * 2015-06-12 2016-12-21 三星电子株式会社 用于面向服务的输入和输出的方法和装置
CN107003750A (zh) * 2014-09-01 2017-08-01 李隐波 多表面控制器
CN107783669A (zh) * 2016-08-23 2018-03-09 群光电子股份有限公司 光标产生系统、方法及计算机程序产品
CN108604186A (zh) * 2015-12-21 2018-09-28 西安姆贝拉有限公司 用于创建和管理基于控制器的远程解决方案的方法和装置
US10534447B2 (en) 2014-09-01 2020-01-14 Yinbo Li Multi-surface controller

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2982722B3 (fr) * 2012-06-20 2014-03-14 Samsung Electronics Co Ltd Dispositif d'affichage, dispositif de commande a distance et fonction de commande connexe
US20140347171A1 (en) * 2013-05-23 2014-11-27 Juan Carlos Ramiro Portable wireless tactile control device
CN104252243B (zh) * 2013-06-27 2017-08-15 南京迈瑞生物医疗电子有限公司 一种手势操控医疗设备及其手势操控方法
JP2015026256A (ja) * 2013-07-26 2015-02-05 ソニー株式会社 表示制御装置、表示制御方法、表示制御信号生成装置、表示制御信号生成方法、プログラム、および表示制御システム
US9880697B2 (en) 2013-12-26 2018-01-30 Intel Corporation Remote multi-touch control
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
KR20150115365A (ko) * 2014-04-04 2015-10-14 삼성전자주식회사 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
KR20160044260A (ko) * 2014-10-15 2016-04-25 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
EP3125078A1 (en) * 2015-07-31 2017-02-01 TP Vision Holding B.V. Method and electronic device for detecting an object in a sensor area of a sensor
KR20170029978A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170066021A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
US10025407B2 (en) 2016-03-03 2018-07-17 Wipro Limited System and method for remotely controlling a device
FR3059440A1 (fr) * 2016-11-30 2018-06-01 Orange Navigation dans des donnees utilisateur
USD828337S1 (en) 2017-06-20 2018-09-11 Yinbo Li Multi-surface controller

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655093A (en) * 1992-03-06 1997-08-05 Borland International, Inc. Intelligent screen cursor
US20030149803A1 (en) * 2002-02-07 2003-08-07 Andrew Wilson System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
CN101185051A (zh) * 2005-05-04 2008-05-21 希尔克瑞斯特实验室公司 用于在用户界面上滚动和定位的方法和系统
US20080192005A1 (en) * 2004-10-20 2008-08-14 Jocelyn Elgoyhen Automated Gesture Recognition
US7905782B2 (en) * 2006-08-02 2011-03-15 Nintendo Co., Ltd. Game apparatus having general-purpose remote control function
US20110231484A1 (en) * 2010-03-22 2011-09-22 Hillcrest Laboratories, Inc. TV Internet Browser
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
CN102362243A (zh) * 2009-03-23 2012-02-22 三星电子株式会社 多远程指向器、虚拟对象显示装置和虚拟对象控制方法
WO2012057179A1 (ja) * 2010-10-28 2012-05-03 シャープ株式会社 電子装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162781A (en) * 1987-10-02 1992-11-10 Automated Decisions, Inc. Orientational mouse computer input system
US5777618A (en) * 1993-07-29 1998-07-07 Digital Equipment Corporation Method and apparatus for graphical panning
US5877748A (en) * 1995-11-20 1999-03-02 Redlich; Sanford I. Computer control input interface system
US5781195A (en) * 1996-04-16 1998-07-14 Microsoft Corporation Method and system for rendering two-dimensional views of a three-dimensional surface
JP3770965B2 (ja) 1996-06-26 2006-04-26 株式会社ワコー 三次元仮想空間の体験装置
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
WO2001086920A2 (en) 2000-05-12 2001-11-15 Zvi Lapidot Apparatus and method for the kinematic control of hand-held devices
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US7366995B2 (en) * 2004-02-03 2008-04-29 Roland Wescott Montague Combination tool that zooms in, zooms out, pans, rotates, draws, or manipulates during a drag
KR100477577B1 (ko) * 2004-04-09 2005-03-18 장원혁 마우스 양쪽버튼의 동시클릭을 이용한 프로그램실행시스템 및 실행방법
DK2337016T3 (en) * 2004-04-30 2018-04-23 Idhl Holdings Inc Free space pointing device with slope compensation and improved applicability
JP4220943B2 (ja) * 2004-07-15 2009-02-04 ソフトバンクモバイル株式会社 電子機器
TWI339835B (en) * 2005-02-03 2011-04-01 Chimei Innolux Corp Pixel structure for a color display device, organic light emitting device module, electronic device and method of rendering color of a pixel in a display device
US7710397B2 (en) * 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
US20080001856A1 (en) * 2006-06-29 2008-01-03 Eastman Kodak Company Driving oled display with improved uniformity
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
JP2009010449A (ja) 2007-06-26 2009-01-15 Panasonic Corp 無線通信装置及びそのパケット送信方法
US8144123B2 (en) * 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device
JP2009104449A (ja) 2007-10-24 2009-05-14 Sharp Corp カーソル制御装置、カーソル制御システムおよびカーソル制御装置の制御方法
KR20090066368A (ko) * 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US10503376B2 (en) * 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
JP2009151684A (ja) * 2007-12-21 2009-07-09 Sony Corp 触覚シート部材、入力装置及び電子機器
JP2009205609A (ja) 2008-02-29 2009-09-10 Sharp Corp ポインティング装置
JP4771181B2 (ja) 2008-10-10 2011-09-14 ソニー株式会社 情報処理装置、入力操作モード制御方法及び情報処理装置に用いるプログラム
JP2010257037A (ja) * 2009-04-22 2010-11-11 Sony Corp 情報処理装置および方法、並びにプログラム
KR101572842B1 (ko) 2009-06-01 2015-11-30 엘지전자 주식회사 영상표시장치 및 동작방법
JP2011060166A (ja) 2009-09-14 2011-03-24 Panasonic Corp 携帯端末装置
KR20110032365A (ko) 2009-09-22 2011-03-30 엘지전자 주식회사 리모트 컨트롤러를 구비한 영상표시 시스템 그 제어 방법
KR101330485B1 (ko) * 2010-05-27 2013-11-20 엘지디스플레이 주식회사 유기발광다이오드 표시장치 및 그의 색좌표 보상방법
US9134800B2 (en) * 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
KR101736177B1 (ko) 2010-09-13 2017-05-29 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
JP5494423B2 (ja) * 2010-11-02 2014-05-14 ソニー株式会社 表示装置、位置補正方法およびプログラム
US20120124472A1 (en) * 2010-11-15 2012-05-17 Opera Software Asa System and method for providing interactive feedback for mouse gestures
KR20120066369A (ko) 2010-12-14 2012-06-22 강원대학교산학협력단 글루타알데히드로 가교된 키토산 마이크로겔 및 그 제조방법
US9377876B2 (en) * 2010-12-15 2016-06-28 Hillcrest Laboratories, Inc. Visual whiteboard for television-based social network
KR20120120740A (ko) 2011-04-25 2012-11-02 주식회사 케이씨씨 사파이어 단결정 성장 장치
US20130082923A1 (en) * 2011-10-03 2013-04-04 Chip Goal Electronics Corporation, R.O.C. Optical pointer control system and method therefor
FR2982722B3 (fr) * 2012-06-20 2014-03-14 Samsung Electronics Co Ltd Dispositif d'affichage, dispositif de commande a distance et fonction de commande connexe

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655093A (en) * 1992-03-06 1997-08-05 Borland International, Inc. Intelligent screen cursor
US20030149803A1 (en) * 2002-02-07 2003-08-07 Andrew Wilson System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7721231B2 (en) * 2002-02-07 2010-05-18 Microsoft Corporation Controlling an object within an environment using a pointing device
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US20080192005A1 (en) * 2004-10-20 2008-08-14 Jocelyn Elgoyhen Automated Gesture Recognition
CN101185051A (zh) * 2005-05-04 2008-05-21 希尔克瑞斯特实验室公司 用于在用户界面上滚动和定位的方法和系统
US7905782B2 (en) * 2006-08-02 2011-03-15 Nintendo Co., Ltd. Game apparatus having general-purpose remote control function
CN102362243A (zh) * 2009-03-23 2012-02-22 三星电子株式会社 多远程指向器、虚拟对象显示装置和虚拟对象控制方法
US20110231484A1 (en) * 2010-03-22 2011-09-22 Hillcrest Laboratories, Inc. TV Internet Browser
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
WO2012057179A1 (ja) * 2010-10-28 2012-05-03 シャープ株式会社 電子装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446468A (zh) * 2014-08-25 2016-03-30 乐视致新电子科技(天津)有限公司 操控模式的切换方法及装置
CN107003750A (zh) * 2014-09-01 2017-08-01 李隐波 多表面控制器
US10444849B2 (en) 2014-09-01 2019-10-15 Yinbo Li Multi-surface controller
US10534447B2 (en) 2014-09-01 2020-01-14 Yinbo Li Multi-surface controller
CN107003750B (zh) * 2014-09-01 2020-10-30 李隐波 多表面控制器
WO2016101160A1 (en) * 2014-12-24 2016-06-30 Intel Corporation User interface for liquid container
US10120563B2 (en) 2014-12-24 2018-11-06 Intel Corporation User interface for liquid container
CN106249605A (zh) * 2015-06-12 2016-12-21 三星电子株式会社 用于面向服务的输入和输出的方法和装置
CN108604186A (zh) * 2015-12-21 2018-09-28 西安姆贝拉有限公司 用于创建和管理基于控制器的远程解决方案的方法和装置
CN108604186B (zh) * 2015-12-21 2021-11-16 西安姆贝拉有限公司 用于创建和管理基于控制器的远程解决方案的方法和装置
CN107783669A (zh) * 2016-08-23 2018-03-09 群光电子股份有限公司 光标产生系统、方法及计算机程序产品
CN107783669B (zh) * 2016-08-23 2021-04-16 群光电子股份有限公司 光标产生系统、方法及计算机程序产品

Also Published As

Publication number Publication date
US9223416B2 (en) 2015-12-29
US8988342B2 (en) 2015-03-24
US20130342455A1 (en) 2013-12-26
CN103513894B (zh) 2017-04-05
DE202013100255U1 (de) 2013-04-12
EP2677759A1 (en) 2013-12-25
US20130342454A1 (en) 2013-12-26
FR2982722B3 (fr) 2014-03-14
WO2013191351A1 (en) 2013-12-27
FR2982722A3 (fr) 2013-05-17

Similar Documents

Publication Publication Date Title
CN103513894A (zh) 显示设备、远程控制设备及其控制方法
CN103513895A (zh) 远程控制装置及其控制方法
US10915188B2 (en) Information processing apparatus, information processing method, and program
CN204945943U (zh) 用于为外部显示设备提供远程控制信号的远程控制设备
EP2538309A2 (en) Remote control with motion sensitive devices
KR20140060818A (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
CN101568896A (zh) 信息处理装置、系统、方法、程序和输入装置
JP2010152761A (ja) 入力装置、制御装置、制御システム、電子機器及び制御方法
WO2013031134A1 (en) Information processing apparatus, information processing method, and program
EP3104270A1 (en) Display apparatus, pointing apparatus, pointing system and control methods thereof
JPWO2009072471A1 (ja) 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
EP2538308A2 (en) Motion-based control of a controllled device
US10719147B2 (en) Display apparatus and control method thereof
US11622097B2 (en) Apparatus and method for providing point of interest (POI) information in 360 video
US11797104B2 (en) Electronic device and control method of the same
US20240004482A1 (en) Electronic device and control method of the same
TW201112105A (en) Method and system of dynamic operation of interactive objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170405

Termination date: 20220204