CN102203704A - 通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法 - Google Patents

通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法 Download PDF

Info

Publication number
CN102203704A
CN102203704A CN200980144236XA CN200980144236A CN102203704A CN 102203704 A CN102203704 A CN 102203704A CN 200980144236X A CN200980144236X A CN 200980144236XA CN 200980144236 A CN200980144236 A CN 200980144236A CN 102203704 A CN102203704 A CN 102203704A
Authority
CN
China
Prior art keywords
touch
control command
screen
control
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980144236XA
Other languages
English (en)
Inventor
金起用
赵诚一
姜廷旻
徐荣光
郑基濬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102203704A publication Critical patent/CN102203704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于通过触摸和动作产生控制命令的接口设备、接口系统以及使用所述接口设备的接口方法。所述接口设备包括触摸屏、动作传感器以及用于产生控制命令的控制单元。因此，用户能够更容易且方便地操纵GUI。

Description

通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法
技术领域
与本发明一致的设备和方法涉及一种接口设备、接口系统以及使用所述接口设备的接口方法，更具体地讲，涉及一种用于通过触摸和动作产生控制命令的接口设备、包括所述设备的接口系统以及使用所述接口设备的接口方法。
背景技术
近来，由于各种功能被添加到电子装置，大多电子装置通过图形用户界面(GUI)从用户接收命令。最近，随着电子装置变得更加多功能化，GUI也变得更加复杂，因此，用于控制GUI的接口设备的操纵也变得更加复杂。
为了使用这样的多功能化的电子装置，用户必须不方便地使用复杂的GUI搜索菜单，并且还必须操纵复杂的接口设备来处理GUI。
因此，需要用户更容易且方便地使用GUI的方法。
发明内容
技术问题
本发明的示例性实施例至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，本发明不需要克服上述缺点，并且本发明的示例性实施例可能不能克服上述任何问题。
技术方案
为了解决以上问题，本发明提供了一种允许用户能更加容易、方便和直观地使用GUI的接口设备、接口系统以及接口方法。
根据本发明的示例性方面，所述接口设备包括：触摸屏，感测触摸；动作传感器，在3维空间中感测动作；控制单元，产生基于触摸的第一控制命令、基于动作的第二控制命令以及基于触摸和动作的联锁操纵的第三控制命令中的至少一个。
控制单元可从触摸的2维坐标信息、动作的3维坐标信息以及动作的形态信息中提取至少一个信息，并使用提取的信息产生第一控制命令至第三控制命令中的至少一个控制命令。
所述第一控制命令至第三控制命令可控制接口设备和连接到所述接口设备的外部设备中的至少一个设备。
控制单元可基于第一控制命令至第三控制命令中的至少一个控制命令将第一控制命令至第三控制命令中的所述至少一个控制命令发送到触摸屏和外部设备中的至少一个。
控制单元可基于第一控制命令至第三控制命令中的至少一个控制命令改变在触摸屏上显示的屏幕。
第三控制命令可以是与第一控制命令和第二控制命令的组合不同的单独的控制命令。
触摸屏或3维空间可被划分为多个部分，并且控制单元可依据感测到触摸、动作或触摸与动作的组合的屏幕部分产生不同的控制命令。
所述多个部分可包括：用于控制连接到接口设备的外部设备的第一部分以及用于控制触摸屏的第二部分。
控制单元可基于装置接触触摸屏的形状或位置来产生关于所述装置的第一控制命令。
关于所述装置的第一控制命令可包括用于显示关于所述装置的信息的命令、用于显示存储在所述装置中的内容的命令、用于再现存储在所述装置中的内容的命令、用于发送存储在所述装置中的内容的命令以及用于接收所述装置中的内容的命令中的至少一个控制命令。
所述装置可包括具有用于识别所述装置的部件的装置，并且控制单元可基于从识别部件提取的关于所述装置的信息产生关于所述装置的控制命令。
所述触摸可包括多触摸，在所述多触摸中触摸屏的多个部分被触摸，并且所述动作包括关于多个对象的多动作。
一种使用触摸屏和动作传感器中的至少一个的接口方法，所述方法包括：感测触摸；在3维空间中感测动作；产生基于触摸的第一控制命令、基于动作的第二控制命令以及基于触摸和动作的联锁操纵的第三控制命令中的至少一个控制命令。
产生步骤可包括：从触摸的2维坐标信息、动作的3维坐标信息以及动作的形态信息之中提取至少一段信息，并使用提取的信息产生第一控制命令到第三控制命令中的至少一个控制命令。
第一控制命令至第三控制命令可控制触摸屏和外部设备中的至少一个。
所述接口方法还可包括：基于第一控制命令至第三控制命令中的至少一个，将第一控制命令至第三控制命令中的所述至少一个控制命令发送到触摸屏和外部设备中的至少一个。
所述接口方法还可包括：基于产生的第一控制命令至第三控制命令中的至少一个，改变在触摸屏上显示的屏幕。
第三控制命令可以是与第一控制命令至第二控制命令的组合不同的单独的控制命令。
触摸屏或3维部分可被划分为多个部分，并且产生步骤可包括：依据感测到触摸、动作或触摸与动作的组合的屏幕部分产生不同的控制命令。
所述多个部分可包括：用于控制外部设备的第一部分以及用于控制触摸屏的第二部分。
产生步骤可包括：基于装置接触触摸屏的形状或位置中的至少一个，产生关于所述装置的第一控制命令。
关于所述装置的第一控制命令可包括用于显示关于所述装置的信息的命令、用于再现存储在所述装置中的内容的命令、用于发送存储在所述装置中的内容的命令以及用于接收所述装置中的内容的命令中的至少一个。
所述装置可包括具有用于识别所述装置的部件的装置，并且产生步骤可包括基于从识别部件提取的关于所述装置的信息产生关于所述装置的第一控制命令。
所述触摸可包括多触摸，在所述多触摸中触摸屏的多个部分被触摸，并且所述动作包括关于多个对象的多动作。
一种接口系统，包括：接口设备，基于输入的触摸或感测的3维动作产生控制命令，并将所述控制命令发送到外部；至少一个联锁设备，接收所述控制命令并基于接收的控制命令而被操作。
所述联锁设备中的至少一个可包括接口设备、图像输出设备、声音输出设备、打印设备和主机设备中的至少一个。
发明的有益效果
用户可更容易且方便地直观操纵GUI。
附图说明
通过参照附图对本发明的特定示例性实施例进行描述，本发明的上述和/或其它方面将会更加清楚，其中：
图1是本发明可适用的接口系统的示意图；
图2是示出根据本发明的示例性实施例的接口设备(interface apparatus)的结构的示意图；
图3是示出用户通过触摸输入命令的示意图；
图4是被提供用于解释如何使用由用户输入的触摸来产生控制命令的示意图；
图5是示出如何感测用户的动作的示意图；
图6是被提供用于解释如何使用感测的动作产生控制命令的示意图；
图7和图8是被提供用于解释如何使用触摸和动作的组合来产生控制命令的示意图；
图9至图11是被提供用于解释如何使用预定方法产生控制命令的示意图；
图12和图13是被提供用于解释通过触摸进行拖曳的构思的示意图；
图14和图15是被提供用于解释通过动作进行拖曳的构思的示意图；
图16和图17是被提供用于解释多触摸和多动作的构思的示意图；
图18和图19是被提供用于解释联锁操纵(interlocked manipulation)的构思的示意图；
图20是被提供用于解释针对每个部分的接口操纵的构思的示意图；
图21至图23是被提供用于解释针对划分的部分的接口操纵的构思的示意图；
图24至图26是被提供用于解释通过触摸一装置来进行接口操纵的构思的示意图；
图27是被提供用于解释用于连接两个监视器的接口的操纵的构思的示意图；
图28和图29是被提供用于解释通过一装置的触摸进行另一接口操纵的构思的示意图；
图30和图31是使用两个装置的通过触摸多装置来显示每个菜单项的示意图；
图32是被提供用于解释根据本发明的示例性实施例的接口方法的流程图。
具体实施方式
现在将参照附图更加详细地描述本发明的特定示例性实施例。
在以下描述中，即使在不同的附图中，相同的附图标号也用于相同的部件。描述中定义的内容(例如，详细的构造和部件)被提供用于帮助全面理解本发明。因此，应该清楚，在没有那些特别定义的内容的情况下也可实现本发明。此外，由于公知的功能或构造会因不必要的细节而使本发明不清楚，因此将不描述公知的功能或构造。
图1是本发明可适用的接口系统的示意图。如图1所示，所述接口系统包括接口设备100和用于与接口设备100关联的联锁设备(interlocking apparatus)10。
接口设备100接收用户的触摸或感测用户的动作，并基于输入的触摸或感测的动作产生控制命令。接口设备100根据基于输入的触摸或感测的动作而产生的控制命令来进行操作。
更具体地，接口设备100产生用于控制屏幕的控制命令、用于控制音频输出的控制命令、用于控制接收和发送数据的控制命令、用于控制打印的控制命令，并显示与产生的控制命令对应的屏幕。例如，如果产生了用于控制屏幕的控制命令，则接口设备100显示与产生的控制命令对应的屏幕，如果产生了用于控制打印的控制命令，则接口设备100显示示出正在进行打印的屏幕。
接口设备100还通过将这样的控制命令发送到联锁设备10来控制联锁设备10的操作。
联锁设备10包括监视器11、打印机13、MPEG音频层3播放器(MP3P)15以及个人计算机(PC)17。
监视器11从接口设备100接收控制命令，并根据接收的控制命令执行监视器的常用功能。例如，监视器11可根据用于控制图像输出的控制命令，使用从接口设备100接收的图像数据来显示运动图像或静止图像。
打印机13从接口设备100接收控制命令，并根据接收的控制命令执行打印机的常用功能。例如，打印机13可根据用于控制打印的控制命令，使用从接口设备100接收的照片数据来打印照片。
MP3P 15从接口设备100接收控制命令，并根据接收的控制命令执行MP3P的常用功能。例如，MP3P 15可根据用于控制音频数据的输入或输出的控制命令，使用从接口设备100接收的音频数据来接收/发送或再现音频。
PC 17从接口设备100接收控制命令，并根据接收的控制命令执行PC 17的常用功能。例如，PC 17可根据用于控制数据传输的控制命令来存储、执行或处理从接口设备100接收的数据。
这样，用户可通过使用接口设备100以及与接口设备100联锁的联锁设备10来更容易和方便地操纵接口，并获得接口操纵的结果。
图2是示出根据本发明的示例性实施例的接口设备100的示意图。如图2所示，接口设备100包括多媒体功能块110、触摸屏120、动作传感器130、控制单元140、通信模块150以及存储单元160。
多媒体功能块110显示与用户进行的接口操纵对应的屏幕。更具体地，为了显示与用户进行的接口操纵对应的屏幕，多媒体功能块110产生GUI(例如，菜单项或内容项)，并执行与接口操纵对应的功能(例如，再现如运动图像、静止图像、音乐或文本的内容)。
触摸屏120用作用于接收通过接口操纵(例如，用户的触摸)输入的命令的工具。触摸屏120显示与用户进行的接口操纵对应的屏幕。
例如，如果用户输入了用于再现运动图像的接口操纵，则控制单元140(稍后将进行解释)产生用于再现所述运动图像的控制命令，并且触摸屏120接收产生的控制命令以根据所述控制命令再现运动图像。
用于再现运动图像的控制命令可通过触摸屏120上感测的触摸而被产生，或者可通过经由动作传感器130(稍后将进行解释)感测的动作而被产生，或者可通过触摸屏120上感测的触摸输入和经由动作传感器130感测的动作的组合而被产生。
用于再现运动图像的控制命令可被发送到触摸屏120，以在触摸屏120上再现所述运动图像，或者所述控制命令可被发送到作为联锁设备10之一的监视器11，以从监视器11再现所述运动图像。
触摸屏120接收接口操纵(例如，触摸)，并将关于感测的触摸的信息发送到控制单元140。稍后将解释关于感测的触摸的信息。
动作传感器130用作用于接收用户的3维动作的操纵的工具。动作传感器130主要感测用户的手指动作，并将关于感测的动作的信息发送到控制单元140。稍后将解释关于感测的动作的信息。
控制单元140使用输入的触摸或经由动作传感器130感测的3维动作来产生控制命令。更具体地，控制单元140提取关于经由触摸屏120触摸的部分的2维坐标的信息以及关于感测的3维动作的3维坐标的坐标信息和形态信息(configuration information)，并且控制单元140使用提取的2维坐标信息、3维坐标信息以及形态信息来产生控制命令。
为了提供更好的理解，将参照图3至图6解释以上特征。
图3是示出用户通过触摸输入命令的示意图。图3示意性地示出作为接口设备100的部件的触摸屏120和动作传感器130。
如图3所示，触摸屏120形成为与Z轴垂直以接收触摸，并且X轴和Y轴形成为与触摸屏120平行。动作传感器130布置在触摸屏120的下部，以感测用户在触摸屏120上的3维动作。
这样，用户可通过触摸触摸屏120来操纵接口，从而控制触摸屏120以根据接口操纵产生控制命令。如图3所示，可在触摸的部分上显示指示物(pointer)200。
图4是被提供用于解释如何使用通过图3的接口操纵输入的触摸来产生控制命令的示意图。
如果用户触摸了触摸屏120，则控制单元140提取经由触摸屏120触摸的部分的2维坐标信息。控制单元140提取坐标信息“5”作为触摸的部分的X轴坐标，提取坐标信息“4”作为触摸的部分的Y轴坐标。控制单元140使用这样的提取的坐标信息来产生控制命令。
例如，控制单元140使用上面的坐标信息(5，4)在触摸屏120的坐标(5，4)上显示指示物200。也就是说，控制单元140产生用于在触摸屏120的坐标(5，4)上显示指示物200的控制命令。
为了方便解释，上面已描述了产生用于控制触摸屏120的控制命令的处理。然而，相同的技术特征也可应用于产生用于控制联锁设备10的控制命令的处理。
图5是示出如何感测用户的动作的示意图。图5还示意性地示出作为接口设备100的部件的触摸屏120和动作传感器130。
如果用户通过在触摸屏120上面移动他或她的手指来操纵接口，则布置在触摸屏120下方的动作传感器130感测由接口操纵引起的动作。动作传感器130沿X轴、Y轴和Z轴感测所述动作。
如果感测到由接口操纵引起的动作，则控制单元140通过产生与所述接口操纵对应的控制命令来控制触摸屏120。
图6是被提供用于解释如何使用图5中的从接口操纵感测到的动作来产生控制命令的示意图。
如果通过动作传感器130感测到用户的动作，则控制单元140提取关于触摸屏120上面的动作的3维坐标信息。控制单元140提取坐标信息“5”作为X轴坐标、提取坐标信息“4”作为Y轴坐标，并提取坐标信息“2”作为Z轴坐标。控制单元140使用这样的提取的坐标信息产生控制命令。
控制单元140显示与上面的3维坐标信息(5，4，2)对应的触摸屏120或监视器11。例如，控制单元140可产生用于在触摸屏120的具有(X，Y)坐标为(5，4)的点上显示指示物或项的控制命令，或者控制单元140可产生用于在监视器11的(X，Z)坐标为(5，2)的点上显示指示物或项的控制命令，其中，所述监视器11位于垂直于触摸屏120的位置。
这样，控制单元140使用提取的坐标信息产生控制命令。
控制单元140使用关于动作的形态信息产生控制命令。
关于动作的形态信息表示用于特定接口操纵的动作形态的信息。例如，如果用户以一个手指伸开而其他手指合拢来操纵接口，则伸开和合拢的手指的形态可以是关于动作的形态信息。
控制单元140可使用经由动作传感器130提取的动作形态信息来确定用户如何操纵接口(例如，如果用户试图仅使用一根伸开的手指来操纵接口)，并产生与确定的形态信息对应的控制命令。
如果用户通过伸长一根手指来操纵接口，则控制单元140在动作传感器130的感测范围内提取关于所述动作的形态信息，使用所述动作的形态信息提取用户的伸长的手指的末端点的坐标信息，并使用伸长的手指的末端点产生与接口操纵对应的控制命令。
控制单元140可通过使用由动作传感器130提取的动作形态信息，获得关于由触摸屏120或监视器11上的伸长的手指所指示的位置的信息。例如，可使用诸如关于手指的末端点的3维信息以及用户的手腕、用户的手的背面以及伸长的手指的角度的信息，确定关于手指所指的点(在该点手指的末端点的延长线接触触摸屏120或监视器11)的信息。
控制单元140可使用触摸和动作的组合产生控制命令。更具体地，控制单元140可通过将2维坐标信息、3维坐标信息和动作形态信息组合来产生与从每段信息(例如，2维坐标信息、3维坐标信息或动作形态信息)产生的控制命令不同的独立控制命令。
图7和图8是被提供用于解释如何使用触摸和动作的组合来产生控制命令的示意图。
如图7所示，如果触摸屏120的特定部分通过输入的触摸的2维坐标信息而被指定，并且作为联锁设备之一的监视器11的特定部分通过感测的动作的3维坐标信息以及形态信息而被指定，则控制单元140使用所述触摸和动作的组合产生控制命令。
如果仅感测到触摸，则可在触摸屏120的通过关于所述触摸的2维坐标信息而被指定的特定部分上产生指示物，或者可产生控制命令以选择所述特定部分上显示的项。
如果仅感测到动作，则可在联锁设备130的通过关于所述触摸的3维坐标信息而被指定的特定部分上产生指示物，或者可产生控制命令以选择所述特定部分上显示的项。
如果如图7所示同时感测到触摸和动作，则如图8所示，可产生控制命令以将触摸屏120的通过关于所述触摸的2维坐标信息而被指定的特定部分上存在的项A与联锁设备130的通过关于所述动作的3维坐标信息而被指定的特定部分上存在的项B交换。
这样，通过上面的组合产生的控制命令是新的控制命令，并且与通过触摸或动作产生的控制命令没有关系。
再次参照图2，控制单元140通过使用在触摸屏120上感测到的触摸或在动作传感器130的范围内感测到的动作来产生控制命令，并根据产生的控制命令控制多媒体功能块110的操作。
控制单元140将产生的控制命令发送到通信模块150，以根据产生的控制命令控制联锁设备10。
通信模块150被连接到联锁设备10以根据传统的通信方法与联锁设备10进行通信。通信模块150将控制单元140通过使用2维坐标信息、3维坐标信息以及动作形态信息产生的控制命令发送到联锁设备10。
例如，如果联锁设备(未示出)形成为与接口设备100的X轴平行并垂直于接口设备100，则假设3维坐标信息为(5，4，2)，用户的手指指向联锁设备10上的(5，2)的方向。在这种情况下，控制单元140在联锁设备(未示出)上的(5，2)处产生指示物，或者产生控制命令以选择联锁设备(未示出)上的(5，2)处的项。然后，控制单元140将所述控制命令发送到通信模块150，并控制通信模块150将所述控制命令发送到所述联锁设备(未示出)。
从而，从通信模块150接收控制命令的联锁设备(未示出)显示与接收到的控制命令对应的屏幕。
存储单元160是存储用于驱动接口设备100的程序的存储介质，并可实现为存储器或硬盘驱动器(HDD)。
存储单元160存储与通过预定方法设置的触摸和动作对应的这种控制命令，并且控制单元140基于存储在存储单元160中的这种控制命令根据预定方法来产生控制命令。
将参照图9至图11对此进行解释。图9至图11是被提供用于解释如何使用预定方法产生控制命令的示意图。
如果如图9所示按照触摸屏120上的字母“L”的形状进行的触摸，或者如果如图10所示使用动作传感器130感测到按照字母“L”的形状进行的动作，则控制单元140根据感测到的触摸“L”或动作“L”产生控制命令，以锁定接口设备的使用并显示示出所述接口设备的使用被锁定的屏幕。
按照字母“L”的形状进行的触摸或动作可以是基于预定方法的触摸或动作。同样，用于锁定接口设备的使用并显示示出所述接口设备的使用被锁定的控制命令可以是与基于预定方法的触摸或动作对应的控制命令。
这种控制命令被存储在存储单元160中，并且控制单元140基于存储在存储单元160中的这种控制命令根据预定方法来产生控制命令。
这样，接口设备100提供用户能够使用触摸屏120或动作传感器130来更容易且方便地操纵GUI的环境。
以下将更详细地解释接口方法。
图12和图13是被提供用于解释通过触摸进行拖曳的构思的示意图。
如图12所示，用户可通过从触摸屏120的特定位置触摸并拖曳一项并在触摸屏幕的同时改变触摸的点来执行接口操纵。
在这种情况下，如图13所示，控制单元140可提取触摸的点的轨迹作为2维坐标信息，并产生控制命令以使用提取的坐标信息沿触摸的点的轨迹移动所述项。
图14和图15是被提供用于解释拖曳动作的构思的示意图。
如图14所示，用户可通过能够由动作传感器130感测到的范围内的动作拖曳在联锁设备10或触摸屏120的屏幕上显示的指定项来执行接口操纵。
在这种情况下，如图15所示，控制单元140可提取通过动作移动的点的轨迹作为3维坐标信息，并产生控制命令，以通过使用提取的坐标信息沿所述动作的轨迹移动在触摸屏120或监视器11上显示的项。
图16和图17是被提供用于解释多触摸和多动作的构思的示意图。
如图16所示，触摸屏120可同时接收多个触摸，并且控制单元140可针对各个触摸产生三个控制命令，或者控制单元140可针对所述多个触摸产生一个控制命令。
例如，如果在触摸屏上同时触摸三个点，则控制单元140可产生三个控制命令以突出每个点上的每一项，或者控制单元140可产生控制命令以将接口设备100或监视器改变为待机模式。
在上面的解释中，存储单元160存储与基于预定方法的触摸对应的这种控制命令，并且控制单元140基于存储在存储单元160中的这种控制命令根据预定方法来产生控制命令。在以上示例中，同时触摸三个点可以是所述预定方法。如果同时触摸三个点，则用于将接口设备100或监视器11改变为待机模式的这种控制命令可被存储在存储单元160中。
如图17所示，动作传感器130可同时感测多个动作，并且控制单元140可针对各个触摸产生三个控制命令，或者控制单元140可针对所述多个动作产生一个控制命令。
例如，如图17所示，如果通过动作传感器130感测到指定三个点的多动作，并且两个动作指定联锁设备10的点，一个动作指定触摸屏120的点，则控制单元140可产生三个控制命令以选择每个点上的每一项，或者控制单元140可产生控制命令以断开接口设备100或联锁设备10的电源。
在这种情况下，与基于预定方法的动作对应的这种控制命令也被存储在存储单元160中。如果两个动作指定联锁设备10的点并且一个动作指定触摸屏120的点，则用于将接口设备100或联锁设备10的电源改变为待机模式的这种控制命令可被预存储在存储单元160中。
图18和图19是被提供用于解释接口设备100与联锁设备10之间的联锁操纵的构思的示意图。为了方便解释，基于各个轴再次示出图7至图11以及图16和图17中的接口设备100和监视器11。
用户可通过3维动作传感器130上的接口操纵改变在触摸屏120或监视器上显示的屏幕。图18和图19是用于显示在监视器11上显示的静止图像被拖曳到触摸屏120的接口操纵的示例。
如图18所示，如果用户指向静止图像并将他或她的手指从监视器11移动到触摸屏120，则如图19所示，在监视器11上显示的静止图像沿触摸屏120的方向被拖曳。
这样，用户可通过接口操纵执行监视器11与触摸屏120之间的联锁操纵。
在这种情况下，控制单元140产生用于将静止图像下拉到屏幕下面的控制命令，并将所述控制命令发送到监视器11。控制单元140还产生用于从屏幕下拉在监视器11上显示的静止图像的控制命令，并将所述控制命令发送到触摸屏120。
以上已作为联锁操纵的示例解释了从监视器11到触摸屏120的拖曳。然而，这仅是为了方便解释而呈现的示例。联锁操纵可适用于除了通过拖曳进行操纵以外的多种形式的操纵。也就是说，监视器11和触摸屏120可以以与双监视器相同的方法而被操作。
以上已作为示例解释了将静止图像从监视器11发送到触摸屏120，然而，还可反过来将静止图像从监视器11发送到触摸屏120。
如果根据本发明的示例性实施例的联锁设备10不是监视器11而是打印机13，则仅可将数据从触摸屏120发送到打印机13。例如，如果用户执行用于沿打印机13的方向拖曳触摸屏120上显示的静止图像的接口操纵，则不再在触摸屏120上显示所述静止图像并且所述静止图像可被输出到打印机13中。
图20是被提供用于解释针对由用户设置的屏幕的多个部分的接口操纵的构思的示意图。
如图20所示，触摸屏120被划分为部分A1和部分A2，并且触摸屏120上的垂直空间被划分为部分B1和部分B2。
控制单元140可依据在触摸屏的哪一部分上执行了接口操纵而产生不同的控制命令。
例如，控制单元140可依据在触摸屏的A1、A2、B1和B2中的哪一部分上执行了接口操纵而产生不同的控制命令。具体地，如果在A1或A2中执行了接口操纵，则被认为是与监视器11进行联锁的操纵，如果在B1或B2中执行了接口操纵，则被认为是触摸屏120的操纵，而不与监视器11进行联锁。
依据触摸屏的多部分产生不同的控制命令的原因在于防止无意地执行接口操纵。
如果在触摸屏120上的A1和A2中感测到的所有触摸被认为是联锁操纵，则用户可能难以仅针对触摸屏120执行接口操纵(例如，仅改变触摸屏120上显示的屏幕)。
同样地，如果通过动作传感器130在B1和B2中感测到的所有动作被认为是联锁操纵，则用户可能难以仅针对触摸屏120执行接口操纵(例如，仅改变触摸屏120上显示的屏幕)。
因此，仅有触摸屏120的特定部分A1和触摸屏120的特定部分B1被认为是用于联锁操纵的接口操纵。
图21至图23是被提供用于解释针对划分的部分的接口操纵的构思的示意图。
图21的监视器11显示包括如“a”、“b”、“c”和“d”这样的菜单项的菜单。在监视器11上显示的菜单项中的项“c”是关联触摸屏120和监视器11的操纵，因此用户可通过接口操纵从A1或B1选择项“c”。
图22是示出使用触摸屏120上的垂直空间的项的选择的示意图。如果通过动作传感器130在B2中感测到用户的动作，则控制单元140不产生将所述动作与监视器11相关联的控制命令。
然而，如果通过动作传感器130在B1中感测到用户的动作，则控制单元140通过使用感测的动作的3维坐标信息以及所述动作的形态信息来产生用于将所述动作与监视器11联锁的控制命令。
更具体地，动作传感器130可通过在动作传感器130的范围内感测用户的动作并从感测的动作的3维坐标信息提取Y轴坐标信息，来确定感测到用户的动作的屏幕部分。
如图22所示，如果处于B2中的用户的手指移向B1中的监视器11，则动作传感器130感测该动作，并将感测的动作的3维坐标信息和形态信息发送到控制单元140。
控制单元140基于感测的动作的3维坐标信息和形态信息的提取的信息，识别出用户的接口操纵在于选择项“c”。
更具体地，控制单元140基于来自感测的动作的3维坐标信息的X轴坐标信息以及Y轴坐标信息，识别出用户的接口操纵在于选择项“c”。
因此，控制单元140产生用于选择并突出项“c”的控制命令，并将该控制命令发送到监视器11，监视器11根据接收的控制命令突出项“c”并显示与项“c”对应的屏幕。
图23是示出使用触摸屏120选择项的示意图。如果在触摸屏120的部分A2中感测到用户的触摸，则控制单元140不产生用于将感测到的触摸与监视器11进行联锁的控制命令。
然而，如果在触摸屏120的部分A1中感测到用户的触摸，则控制单元140使用感测到的触摸的2维坐标信息产生用于将感测到的触摸与监视器11进行联锁的控制命令。
更具体地，在触摸屏120上感测到用户的触摸，并且触摸屏120提取感测到的触摸的2维坐标的Y轴以识别在哪感测到用户的触摸。
如图23所示，如果处于A2中的用户的手指触摸A1，则触摸屏120感测到该触摸，并将感测的触摸的2维坐标信息发送到控制单元140。
控制单元140提取感测的触摸的2维坐标信息，并基于提取的信息识别出用户的接口操纵在于选择项“c”。
更具体地，控制单元140基于使用感测的动作的2维坐标信息中的X轴坐标信息和Y轴坐标信息的提取的信息，识别出用户的接口操纵在于选择项“c”。
因此，控制单元140产生用于选择并突出项“c”的控制命令，将所述控制命令发送到监视器11，监视器11根据接收的控制命令突出项“c”并显示与项“c”对应的屏幕。
是否根据部分执行操作可根据用户的设置而改变。
图24至图26是被提供用于解释通过第三装置的触摸而不是用户的触摸来进行接口操纵的构思的示意图。具体的，图24示出第三装置A 300在触摸屏120上。
如图24所示，触摸屏120不仅可识别用户的触摸，还可识别装置的触摸。触摸屏120接收装置A 300的触摸，控制单元140基于感测到的触摸产生控制命令，并将所述控制命令发送到触摸屏120、监视器11或装置A 300。
更具体地，如果装置A 300被放置在触摸屏120上，则控制单元140可基于关于装置A 200的信息(例如，关于所述装置的名称、类型或存储在所述装置上的内容的信息)产生控制命令。
这种关于所述装置的信息可通过各种方法被发送到接口设备100。
图25显示通过附着在装置A 300上的射频识别(RFID)卡310提取关于装置A 300的信息的示例。
如图25所示，存储有关于装置A 300的信息的RFID卡310附着在装置A 300上。
因此，如果通过触摸屏120感测到装置A 300的触摸，则控制单元140产生用于装置A 300的控制命令，从而存储在RFID卡100中的关于装置A 300的信息(其为存储在装置A 300中的内容信息)可被发送到触摸屏120或监视器11。
因此，装置A 300将存储在RFID卡310中的关于装置A 300的信息发送到接口设备100的通信模块150。
控制单元140提取存储在RFID卡100中的关于装置A 300的信息(其为存储在装置A 300中的内容)，产生用于在监视器11或触摸屏120上显示提取的内容的控制命令，并将所述控制命令发送到监视器或触摸屏120。从而，监视器11或触摸屏120显示存储在装置A 300中的内容。
接口设备100还可安置有RFID读取器(未示出)以提取存储在RFID卡310中的关于装置A 300的信息。
图25示出通过触摸屏120表面上的由装置A 300触摸的特定形状330提取关于装置A 300的信息的示例。
如图25所示，接触触摸屏120的装置A 300形成特定形状330，并且接口设备100将与特定形状330对应的关于所述装置的信息预存储在存储单元160中。
如果在触摸屏120上感测到装置A 300的触摸，则控制单元140产生用装置A 300的控制命令，以发送存储在装置A 300中的内容。
因此，装置A 300将关于存储在装置A 300中的内容的信息发送到接口设备100的通信模块150。
控制单元140从通信模块150提取作为存储在装置A 300中的内容的关于装置A 300的信息，产生用于在监视器11或触摸屏120上显示提取的内容的控制命令，并将所述控制命令发送到监视器11或触摸屏120。从而，监视器或触摸屏120在触摸屏120上显示存储在装置A 300中的内容。
关于图25和图26的以上描述仅是为了方便解释的缘由而被提供的示例，并且关于所述装置的信息可通过其他手段被发送到接口设备100。
图27是被提供用于解释与两个监视器11-1和11-2进行联锁的接口操纵的构思的示意图。
接口设备100可与多于两个的联锁设备关联地进行操作。图27是接口设备100的触摸屏120与两个监视器11-1和11-2关联操作的示例。
因此，控制单元140可使用在触摸屏120上感测到的触摸来产生控制命令，从而控制触摸屏120、第一监视器11-1或第二监视器11-2的操作。此外，控制单元140可使用通过动作传感器130感测到的动作来产生控制命令，从而控制触摸屏120、第一监视器11-1或第二监视器11-2的操作。
在以上描述中，通过使用触摸屏120的接触面上的特定形状350提取关于装置的信息。控制单元140可确定应该将通过使用接触面上的特定形状350提取的关于所述装置的信息发送到哪个联锁设备。
例如，如图27所示，如果触摸屏120的表面上的由一装置触摸的特定形状具有特定方向，则控制单元140使用特定形状330的方向信息，并在第一监视器11-1和第二监视器11-2中与所述方向信息对应的第二监视器11-2上显示存储在所述装置中的内容。在这种情况下，存储单元160存储关于通过所述装置触摸的特定形状330的信息，并通过将存储的形状330与触摸的形状330进行比较来获得方向信息。
这仅是用户将装置放置在触摸屏120上时沿特定方向放置所述装置的情况。
图28和图29是被提供用于解释通过一装置的触摸进行另一接口操纵的构思的示意图。
图28是示出与装置的触摸对应的菜单项未显示在监视器11上而是显示在触摸屏120上的示意图。如图28所示，可在装置触摸触摸屏的区域附近产生与所述装置的触摸对应的菜单项，而不是直接在监视器11上产生与所述装置的触摸对应的菜单项。
因此，直观地识别出基于哪个操作产生了菜单项并且所述菜单项被存储在哪个装置中。
用户可操纵触摸屏120上显示的菜单项之中的一项，并将与操纵的内容项对应的内容显示在监视器11上。
图29是示出与装置的触摸对应的菜单项未被显示在触摸屏120上而是被显示在监视器11上的示意图。如图29所示，由装置触摸的菜单项可直接在监视器11上被产生，而不是在所述装置触摸到触摸屏120的区域中或在所述装置触摸到触摸屏120的区域附近产生。
用户可操纵在监视器11上显示的菜单项之中的一项，并在监视器11上显示与操纵的内容项对应的内容。这是内容项不是通过触摸被操纵而是通过感测用户的动作被操纵的情况。
因此，用户可通过在监视器11上操纵产生的菜单项来在监视器11上显示与操纵的项对应的屏幕。一个示例是触摸屏120的大小不足以显示与项对应的屏幕的情况。
图30和图31是示出显示使用两个装置的与多装置的触摸对应的各个菜单项的示意图。
如所示出的，如果装置A 300和装置B 400布置在触摸屏120上，则触摸屏120感测所述装置的触摸并且控制单元140基于由所述装置输入的触摸提取关于装置A和装置B的信息。
图30是示出提供关于装置A的信息的菜单项以及提供关于装置B的信息的菜单项被显示在监视器11上的示意图。关于存储在装置A上的内容的菜单项被显示在监视器11上并且关于存储在装置B上的内容的菜单项也被显示。
因此，用户可同时获得关于多于两个的装置的信息。
如图31所示，用户识别关于多于两个的装置的信息，并方便地发送/接收存储在每个装置中的内容。
图32是被提供用于解释根据本发明的示例性实施例的接口方法的流程图。
控制单元140首先确定在触摸屏120上是否感测到用户的触摸(S510)。如果感测到用户的触摸(S510-是)，则控制单元140提取触摸位置的2维坐标信息(S520)。
然后控制单元140确定在动作传感器130上是否感测到用户的动作(S530)。如果已输入用户的触摸(S530-是)，则控制单元140提取所述动作的3维坐标信息以及动作形态信息(S540)。
控制单元140确定屏幕是否已被划分为屏幕的多个部分(S550)。如果屏幕已被划分(S550-是)，则控制单元140使用提取的信息识别特定部分，并基于识别的部分产生控制命令(S560)。然而，如果屏幕未被划分(S550-否)，则控制140仅使用提取的信息产生控制命令(S570)。
控制单元140使用提取的信息将控制命令发送到触摸屏120或联锁设备10(S580)，并且触摸屏120或联锁设备10根据接收到的控制命令进行操作(S590)。
前述示例性实施例和优点仅是示例性的并且不被解释为限制本发明。本教导能够被容易地应用到其他类型的设备。此外，本发明的示例性实施例的描述意在进行说明，而不是限制权利要求的范围，多种选择、修改和改变对本领域的技术人员将是清楚的。

Claims (26)

1.一种接口设备，包括：
触摸屏，感测触摸；
动作传感器，在3维空间中感测动作；以及
控制单元，产生基于触摸的第一控制命令、基于动作的第二控制命令以及基于触摸和动作的联锁操纵的第三控制命令中的至少一个。
2.如权利要求1所述的接口设备，其中，控制单元从触摸的2维坐标信息、动作的3维坐标信息以及动作的形态信息中提取至少一个信息，并使用提取的信息产生第一控制命令至第三控制命令中的至少一个控制命令。
3.如权利要求1所述的接口设备，其中，所述第一控制命令至第三控制命令控制接口设备和连接到所述接口设备的外部设备中的至少一个设备。
4.如权利要求3所述的接口设备，其中，控制单元基于第一控制命令至第三控制命令中的至少一个控制命令，将第一控制命令至第三控制命令中的所述至少一个控制命令发送到触摸屏和外部设备中的至少一个。
5.如权利要求1所述的接口设备，其中，控制单元基于第一控制命令至第三控制命令中的至少一个控制命令改变在触摸屏上显示的屏幕。
6.如权利要求1所述的接口设备，其中，第三控制命令是与第一控制命令和第二控制命令的组合不同的单独的控制命令。
7.如权利要求1所述的接口设备，其中，触摸屏或3维空间被划分为多个部分，
其中，控制单元依据感测到触摸、动作或触摸与动作的组合的屏幕部分产生不同的控制命令。
8.如权利要求7所述的接口设备，其中，所述多个部分包括：用于控制连接到接口设备的外部设备的第一部分以及用于控制触摸屏的第二部分。
9.如权利要求1所述的接口设备，其中，控制单元基于装置接触触摸屏的形状或位置来产生关于所述装置的第一控制命令。
10.如权利要求9所述的接口设备，其中，关于所述装置的第一控制命令包括用于显示关于所述装置的信息的命令、用于显示存储在所述装置中的内容的命令、用于再现存储在所述装置中的内容的命令、用于发送存储在所述装置中的内容的命令以及用于接收所述装置中的内容的命令中的至少一个控制命令。
11.如权利要求9所述的接口设备，其中，所述装置包括具有用于识别所述装置的部件的装置，
其中，控制单元基于从识别部件提取的关于所述装置的信息产生关于所述装置的控制命令。
12.如权利要求1所述的接口设备，其中，所述触摸包括多触摸，在所述多触摸中触摸屏的多个部分被触摸，以及
其中，所述动作包括关于多个对象的多动作。
13.一种使用触摸屏和动作传感器中的至少一个的接口方法，所述方法包括以下步骤：
感测触摸；
在3维空间中感测动作；以及
产生基于触摸的第一控制命令、基于动作的第二控制命令以及基于触摸和动作的联锁操纵的第三控制命令中的至少一个控制命令。
14.如权利要求13所述的接口方法，其中，产生步骤包括：
从触摸的2维坐标信息、动作的3维坐标信息以及动作的形态信息中提取至少一段信息，并使用提取的信息产生第一控制命令至第三控制命令中的至少一个控制命令。
15.如权利要求13所述的接口方法，其中，第一控制命令至第三控制命令控制触摸屏和外部设备中的至少一个。
16.如权利要求15所述的接口方法，还包括：
基于第一控制命令至第三控制命令中的至少一个来将第一控制命令至第三控制命令中的所述至少一个控制命令发送到触摸屏和外部设备中的至少一个。
17.如权利要求13所述的接口方法，还包括：
基于产生的第一控制命令至第三控制命令中的至少一个，改变在触摸屏上显示的屏幕。
18.如权利要求13所述的接口方法，其中，第三控制命令是与第一控制命令至第二控制命令的组合不同的单独的控制命令。
19.如权利要求13所述的接口方法，其中，触摸屏或3维部分被划分为多个部分，
产生步骤包括依据感测到触摸、动作或触摸与动作的组合的屏幕部分产生不同的控制命令。
20.如权利要求19所述的接口方法，其中，所述多个部分包括：用于控制外部设备的第一部分以及用于控制触摸屏的第二部分。
21.如权利要求13所述的接口方法，其中，产生步骤包括基于装置接触触摸屏的形状和位置中的至少一个来产生关于所述装置的第一控制命令。
22.如权利要求21所述的接口方法，其中，关于所述装置的第一控制命令包括用于显示关于所述装置的信息的命令、用于再现存储在所述装置中的内容的命令、用于发送存储在所述装置中的内容的命令以及用于接收所述装置中的内容的命令中的至少一个。
23.如权利要求21所述的接口方法，其中，所述装置包括具有用于识别所述装置的部件的装置，
其中，产生步骤包括：基于从识别部件提取的关于所述装置的信息，产生关于所述装置的第一控制命令。
24.如权利要求13所述的接口方法，其中，所述触摸包括多触摸，在所述多触摸中触摸屏的多个部分被触摸，并且所述动作包括关于多个对象的多动作。
25.一种接口系统，包括：
接口设备，基于输入的触摸或感测的3维动作产生控制命令，并将所述控制命令发送到外部；以及
至少一个联锁设备，接收所述控制命令，并基于接收的控制命令而被操作。
26.如权利要求25所述的接口系统，其中，所述联锁设备中的至少一个包括接口设备、图像输出设备、声音输出设备、打印设备和主机设备中的至少一个。
CN200980144236XA 2008-10-30 2009-10-21 通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法 Pending CN102203704A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020080107096A KR20100048090A (ko) 2008-10-30 2008-10-30 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
KR10-2008-0107096 2008-10-30
PCT/KR2009/006091 WO2010050693A2 (en) 2008-10-30 2009-10-21 Interface apparatus for generating control command by touch and motion, interface system including the interface apparatus, and interface method using the same

Publications (1)

Publication Number Publication Date
CN102203704A true CN102203704A (zh) 2011-09-28

Family

ID=42129421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980144236XA Pending CN102203704A (zh) 2008-10-30 2009-10-21 通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法

Country Status (6)

Country Link
US (1) US20100110032A1 (zh)
EP (1) EP2350788A4 (zh)
JP (2) JP2012507775A (zh)
KR (1) KR20100048090A (zh)
CN (1) CN102203704A (zh)
WO (1) WO2010050693A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681727A (zh) * 2012-05-09 2012-09-19 闻泰通讯股份有限公司 一种触摸及动作感应结合的电子设备控制系统及方法
CN103777747A (zh) * 2012-10-26 2014-05-07 上海斐讯数据通信技术有限公司 一种移动终端、移动终端锁屏方法及解锁方法
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及系统、存储介质
CN107533359A (zh) * 2015-05-20 2018-01-02 三菱电机株式会社 信息处理装置和联锁控制方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100075009A (ko) * 2008-12-24 2010-07-02 삼성전자주식회사 Ｇｕｉ 제공방법 및 장치
US9223529B1 (en) 2010-03-26 2015-12-29 Open Invention Network, Llc Method and apparatus of processing information in an environment with multiple devices and limited resources
US10191609B1 (en) 2010-03-26 2019-01-29 Open Invention Network Llc Method and apparatus of providing a customized user interface
US9798518B1 (en) * 2010-03-26 2017-10-24 Open Invention Network Llc Method and apparatus for processing data based on touch events on a touch sensitive device
US8892594B1 (en) 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
CA2814869A1 (en) 2010-10-22 2012-04-26 Joshua Michael Young Methods devices and systems for creating control signals
KR101199970B1 (ko) * 2010-10-29 2012-11-12 전남대학교산학협력단 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
KR101297459B1 (ko) * 2010-12-30 2013-08-16 주식회사 팬택 휴대용 단말기의 3차원 인터페이스 장치 및 방법
WO2012124997A2 (ko) * 2011-03-17 2012-09-20 한국전자통신연구원 향상된 사용자 상호작용 인터페이스 방법 및 장치
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
JP5323126B2 (ja) 2011-05-20 2013-10-23 シャープ株式会社 画像処理システム、画像処理装置、及び、指示受付装置
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
TWI446255B (zh) * 2011-07-28 2014-07-21 Wistron Corp 具有螢幕顯示選單功能之顯示裝置
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
JP6123160B2 (ja) * 2012-03-13 2017-05-10 株式会社ニコン 電子機器、及び表示装置
US8954890B2 (en) 2012-04-12 2015-02-10 Supercell Oy System, method and graphical user interface for controlling a game
US8814674B2 (en) 2012-05-24 2014-08-26 Supercell Oy Graphical user interface for a gaming system
GB2511668A (en) 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
KR101481891B1 (ko) * 2013-04-19 2015-01-26 전북대학교산학협력단 모바일 단말 및 이의 제어 방법
JP2015011106A (ja) * 2013-06-27 2015-01-19 カシオ計算機株式会社 投影装置、投影方法及びプログラム
US9961239B2 (en) 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options
WO2016200197A1 (ko) * 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) * 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US7586398B2 (en) * 1998-07-23 2009-09-08 Universal Electronics, Inc. System and method for setting up a universal remote control
JP4532631B2 (ja) * 1999-10-26 2010-08-25 キヤノン株式会社 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
US7257398B1 (en) * 1999-11-12 2007-08-14 Sony Corporation Telephone set, communication adaptor, home appliance control method, and program recording medium
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
US20030048280A1 (en) * 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
JP3925297B2 (ja) * 2002-05-13 2007-06-06 ソニー株式会社 映像表示システム及び映像表示制御装置
JP4163456B2 (ja) * 2002-06-26 2008-10-08 株式会社竹中工務店 シームレスポインティングシステム
JP2004129698A (ja) * 2002-10-08 2004-04-30 Japan Science & Technology Agency 運動機能障害者用リハビリテーション支援装置
KR100533839B1 (ko) * 2003-03-14 2005-12-07 삼성전자주식회사 동작기반 전자기기 제어장치 및 그 제어방법
JP4329388B2 (ja) * 2003-04-22 2009-09-09 ソニー株式会社 データ通信システム、データ通信装置及びデータ通信方法、並びにコンピュータ・プログラム
JP4332707B2 (ja) * 2003-05-12 2009-09-16 ソニー株式会社 操作入力受付装置、操作入力受付方法および遠隔操作システム
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
US7218313B2 (en) * 2003-10-31 2007-05-15 Zeetoo, Inc. Human interface system
US7620915B2 (en) * 2004-02-13 2009-11-17 Ludwig Lester F Electronic document editing employing multiple cursors
US7394453B2 (en) * 2004-04-23 2008-07-01 Cirque Corporation Method for scrolling and edge motion on a touchpad
EP1763730A2 (en) * 2004-06-07 2007-03-21 Koninklijke Philips Electronics N.V. Spatial interaction system
JP4700942B2 (ja) * 2004-09-03 2011-06-15 キヤノン株式会社 電子アルバム編集装置、電子アルバム編集方法、及びコンピュータプログラム
KR100674090B1 (ko) * 2004-12-20 2007-01-24 한국전자통신연구원 착용형 범용 3차원 입력 시스템
JP4984545B2 (ja) * 2005-05-18 2012-07-25 ソニー株式会社 コンテンツ表示再生システム及びコンテンツ表示再生方法
JP5055769B2 (ja) * 2005-05-23 2012-10-24 ソニー株式会社 コンテンツ表示再生システム、コンテンツ表示再生方法、記録媒体、及び操作制御装置
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム
JP4581890B2 (ja) * 2005-07-26 2010-11-17 ソニー株式会社 電子機器、記録制御方法、プログラムおよび記録媒体
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
JP2009522669A (ja) * 2005-12-30 2009-06-11 アップル インコーポレイテッド マルチタッチ入力を備えた携帯電子装置
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
JP2008084158A (ja) * 2006-09-28 2008-04-10 Toyota Motor Corp 入力装置
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US20080136679A1 (en) * 2006-12-06 2008-06-12 Newman Mark W Using sequential taps to enter text
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP4333768B2 (ja) * 2007-04-06 2009-09-16 ソニー株式会社 表示装置
KR101278159B1 (ko) 2007-06-05 2013-06-27 삼성전자주식회사 드럼세탁기 및 드럼세탁기의 도어
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US20090235006A1 (en) * 2008-03-12 2009-09-17 Graco Children's Products Inc. Baby Monitoring System with a Receiver Docking Station

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681727A (zh) * 2012-05-09 2012-09-19 闻泰通讯股份有限公司 一种触摸及动作感应结合的电子设备控制系统及方法
CN102681727B (zh) * 2012-05-09 2018-08-14 闻泰通讯股份有限公司 一种触摸及动作感应结合的电子设备控制系统及方法
CN103777747A (zh) * 2012-10-26 2014-05-07 上海斐讯数据通信技术有限公司 一种移动终端、移动终端锁屏方法及解锁方法
CN107533359A (zh) * 2015-05-20 2018-01-02 三菱电机株式会社 信息处理装置和联锁控制方法
CN107533359B (zh) * 2015-05-20 2019-04-23 三菱电机株式会社 信息处理装置和联锁控制方法
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及系统、存储介质

Also Published As

Publication number Publication date
US20100110032A1 (en) 2010-05-06
JP2012507775A (ja) 2012-03-29
JP2015111447A (ja) 2015-06-18
EP2350788A4 (en) 2013-03-20
EP2350788A2 (en) 2011-08-03
KR20100048090A (ko) 2010-05-11
WO2010050693A2 (en) 2010-05-06
WO2010050693A3 (en) 2010-08-26

Similar Documents

Publication Publication Date Title
CN102203704A (zh) 通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法
CN107810470B (zh) 便携式装置和用于改变其屏幕的方法
US20190278444A1 (en) System and methods for interacting with a control environment
KR102040857B1 (ko) 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
JP5485220B2 (ja) 表示装置、ユーザインタフェース方法及びプログラム
CN105051705B (zh) 便携式设备及其控制方法
CN104007892B (zh) 用于控制多个对象的显示的方法及其移动终端
US9047006B2 (en) Electronic device system with information processing mechanism and method of operation thereof
CN101256464B (zh) 输入用户命令的电子设备
KR101500051B1 (ko) 3ｄ 리모콘에서 사용하기 위한 ｇｕｉ 애플리케이션
EP2280337A2 (en) Sensing a type of action used to operate a touch panel
US20090251441A1 (en) Multi-Modal Controller
EP2204721A2 (en) Method and apparatus for navigation between objects in an electronic apparatus
US9513791B2 (en) Electronic device system with process continuation mechanism and method of operation thereof
US20100182264A1 (en) Mobile Device Equipped With Touch Screen
CN103294337A (zh) 电子装置及控制方法
CN103164156B (zh) 便携式终端的触摸输入方法和设备
US20100077333A1 (en) Method and apparatus for non-hierarchical input of file attributes
CN101727286A (zh) 信息处理装置、信息处理方法及程序
US20130127731A1 (en) Remote controller, and system and method using the same
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
US20120287350A1 (en) Remote controller, and control method and system using the same
KR20150043109A (ko) 오브젝트 디스플레이를 제어하는 전자 장치 및 방법
KR102350382B1 (ko) 디스플레이장치 및 그 제어방법
JP5165661B2 (ja) 制御装置、制御方法、制御プログラム、及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110928