CN107066045A - 用于控制基于运动的用户接口的设备和方法 - Google Patents

用于控制基于运动的用户接口的设备和方法 Download PDF

Info

Publication number
CN107066045A
CN107066045A CN201710066015.1A CN201710066015A CN107066045A CN 107066045 A CN107066045 A CN 107066045A CN 201710066015 A CN201710066015 A CN 201710066015A CN 107066045 A CN107066045 A CN 107066045A
Authority
CN
China
Prior art keywords
touch
image
equipment
motion
touch point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710066015.1A
Other languages
English (en)
Inventor
洪炫秀
郑瑛根
李在勉
金焕
金一焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107066045A publication Critical patent/CN107066045A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

提供一种用于控制基于运动的用户接口的方法和设备，其中，触摸屏显示图像并接收在至少一个点上的用户触摸的输入，传感器单元感测所述设备的运动，当传感器单元感测到所述设备的运动时，运动计算器计算所述设备的运动的程度，当在触摸屏上触摸至少一个点时，控制器确定触摸点的数量，从运动计算器接收关于所述设备的运动的程度的信息，并根据触摸点的数量确定是变图像的大小还是改变图像的位置。

Description

用于控制基于运动的用户接口的设备和方法
本申请是申请日为2011年10月13日，申请号为201180049342.7，发明名称为“用于控制基于运动的用户接口的设备和方法”的发明专利申请的分案申请。
技术领域
本发明涉及一种用户接口，更具体地讲，涉及一种用于根据移动终端进行的运动来控制接口的设备和方法。
背景技术
目前，诸如TV、MP3播放器、便携式多媒体播放器(PMP)、智能电话等电子装置配备有多种输入/输出装置，以使用户能够方便地控制电子装置。
在输入/输出装置中，智能电话的应用最近急剧增加。特别地，在包括便携式电话、智能电话、便携式电脑的移动终端的市场中，使用触摸面板的比例逐渐增加。因为触摸屏面板被预期在大多数智能电话中变得更加流行，所以用于移动终端的触摸屏的市场将快速增长。触摸屏面板还被广泛地用于诸如TV或电冰箱的家用电器。家用电器的市场在采用触摸屏面板方面将紧跟在移动终端市场之后位居第二。
近来，已经对基于视觉信息识别用户意图和动作进行了广泛的研究，以在用户和触摸屏之间实现自然的交互。特别地，构造用户友好用户界面来识别通过手指或触摸笔输入的手势。用户接口的发展趋势正在从根据在触摸屏上的基于单个手指的单触摸输入进行操作的接口转变为根据在触摸屏上的基于多个手指的多触摸输入进行操作的接口。
触摸屏是用于感测输入的平面和用作显示器的平面的堆叠。因此，可从触摸屏上的多触摸输入分析和感知用户意图，并且分析和感知结果可输出在触摸屏上。特别地，以这种方式来设计基于多触摸的用户接口：触摸屏上的手指触摸/笔触摸的数量和相关的操作被识别，并且相关的命令被执行。以下将描述支持多触摸输入的移动终端的内部结构。
图1是支持多触摸输入的传统移动终端的框图。在图1中，移动终端包括输出单元101、控制器103、存储器105和输入单元107。
参照图1，输出单元101在触摸屏上输出诸如图画或网页的图像。诸如图画或网页的图像被存储在存储器105中。当图像被输出在触摸屏上时，用户可使用输入单元107根据用户选择来放大或缩小图像。通过使用两根手指同时触摸显示在触摸屏上的图像的关注的部分，可放大或缩小该部分。除了手指，还可使用触摸笔。当通过输入单元107输入多触摸时，控制器103控制输出单元101在触摸屏上显示放大或缩小的多触摸区域。
以下将描述当在具有图1中示出的配置的移动终端中输入多触摸时执行的示例性操作。
图2A和图2B示出当输入多触摸时执行的示例性传统操作。所述操作具体表现为通过在触摸屏上的多触摸来放大特定区域。
参照图2A，用户使用两根手指205以捏合运动触摸触摸屏201以放大显示在触摸屏201上的汽车图像203。放大的区域可根据两根手指205触摸的位置而不同。参照图2B，通过在触摸屏201上张开两根手指205来放大汽车图像203。汽车图像203放大的程度可取决于两根手指205彼此张开的距离。
尽管图2A和图2B中仅示出了放大图像的操作，但是也可使用两根手指205来缩小放大的图像。
传统上，触摸屏的预订部分的放大或缩小比率仅可通过按下预定的放大键或缩小键或者进行多次触摸来调整。当用户希望从一页移动到另一页，或者希望在同一页上从一个部分移动到另一部分时，用户应该按下预定的移动键或者触摸并拖拽触摸屏的区域。这意味着，为了连续放大或缩小，用户应该进行连续的键输入或者连续的多次触摸。此外，为了在同一页上从特定部分移动到另一部分，用户必须不方便地连续输入键或者进行连续的触摸和拖拽。因此，难以简单地使用触摸屏上的输入或在触摸屏上做出的手势来快速准确地执行用户期望的操作。
发明内容
技术问题
本发明实施例的一方面在于至少解决上述问题和/或缺点，并至少提供下述优点。因此，本发明实施例的一方面在于提供一种用于控制用户接口以使图像可基于运动被放大、缩小和移动的设备和方法。
技术方案
根据本发明的实施例，提供一种用于控制基于运动的用户接口的设备，其中，触摸屏显示图像并接收在至少一个点上的用户触摸的输入，传感器单元感测所述设备的运动，当传感器单元感测到所述设备的运动时，运动计算器计算所述设备的运动的程度，当在触摸屏上触摸至少一个点时，控制器确定触摸点的数量，从运动计算器接收关于所述设备的运动的程度的信息，并根据触摸点的数量确定是否改变图像的大小或图像的位置。
根据本发明的另一实施例，提供一种用于控制基于运动的用户接口的方法，其中，在触摸屏上显示图像，当在触摸屏上触摸至少一个点时，确定触摸点的数量，根据触摸点的数量确定是改变图像的大小还是改变图像的位置，根据包括所述触摸屏的设备的运动来改变图像的大小或图像的位置。
有益效果
根据本发明的设备和方法，用户可使用运动来容易地放大、缩小和移动图像。
附图说明
通过以下结合附图的详细描述，本发明的特定实施例的以上和其他目的、特点和优点将会更加清楚，在附图中：
图1是支持多触摸输入的传统移动终端的框图；
图2A和图2B示出基于多触摸输入执行的示例性传统操作；
图3是根据本发明实施例的用于控制基于运动的用户接口的移动终端的框图；
图4A至图5C是示出根据本发明实施例的移动终端的运动的示例性示图；
图6A和图6B是示出根据本发明实施例的放大或缩小图像的操作的示例性示图；
图7A和图7B是示出根据本发明实施例的移动图像的操作的示例性示图；
图8A和图8B是示出根据本发明实施例的使用预定键控制基于运动的用户接口的操作的示例性示图；
图9是示出根据本发明实施例的控制基于运动的用户接口的操作的流程图。
贯穿附图，相同的附图标号将被理解为表示相同的元件、特征和结构。
具体实施方式
现在将参照附图详细描述本发明的优选实施例。当诸如组件的特定细节在以下描述中被描述时，这些细节被提供以帮助全面理解本发明，并且本领域技术人员将清楚地理解，在本发明的范围和精神之内，可对这些细节做出变形和修改。
图3是根据本发明实施例的用于控制基于运动的用户接口的移动终端的框图。在图3中，移动终端包括输出单元301、控制器303、存储器305、输入单元307、运动计算器309和传感器单元311。
参照图3，输出单元301在触摸屏上输出诸如照片或网页的图像。诸如照片或网页的图像被存储在存储器305中。当需要时，可使用存储在存储器305中的另一图像，或者可使用配备在移动终端中的相机模块来捕捉期望的照片。
输入单元307接收关于在触摸屏上触摸的点的数量、在触摸屏上进行的拖拽等的信息。运动计算器309计算移动终端的移动方向或角度，并将关于计算的移动方向或角度的信息发送到控制器303。移动终端基本上可向上移动、向下移动、向左移动和向右移动。此外，移动终端可沿着接近用户的水平方向向前移动，或者可沿着远离用户的水平方向向后移动。移动终端移动的角度被计算为移动终端相对于设置为0度的当前位置倾斜的角度。运动计算器309使用传感器单元311来计算移动终端的移动方向或角度。更具体地讲，运动计算器309使用传感器单元311的一个或多个传感器中的陀螺仪传感器来计算移动终端移动的方向或角度。陀螺仪传感器是除了加速度传感器的功能之外还适用于感测旋转的传感器，因此陀螺仪传感器跟踪6个轴上的运动。因此，与加速度传感器相比，陀螺仪传感器可感测更精确的运动。陀螺仪传感器感测高度和旋转倾角以及加速度和减速度。
控制器303从输入单元307接收关于触摸点的数量的信息以及关于触摸屏上的触摸和拖拽的信息，从运动计算器309接收关于计算的移动终端的运动的信息，并根据触摸点的数量以不同的方式控制显示在触摸屏上的图像。
如果在触摸屏的任何区域上两个或更多个点被触摸，则控制器303将多触摸输入确定为用于放大或缩小显示在触摸屏上的图像的命令，并且根据从运动计算器309接收的关于移动终端的运动的改变的信息来放大或缩小图像。例如，当在触摸屏上的任何区域中两个点被触摸，并且移动终端以不变的角度接近用户或者移动终端的触摸屏相对于用户向前倾斜时，图像被放大。另一方面，当移动终端以不变的角度远离用户或者移动终端的触摸屏从用户向后倾斜时，图像被缩小。这种方法具有与使用两根手指放大或缩小图像的创痛的多触摸方案中实现的效果相同的效果，这将从图4A、图4B和图4C的描述中清楚。
图4A、图4B和图4C是示出根据本发明实施例的移动终端的运动的示例性示图。在图4A、图4B和图4C中，假设用户在触摸屏上触摸两个点。
参照图4A，当在移动终端的触摸屏上触摸任意两点的同时，用户面向移动终端的触摸屏以不变的移动终端的角度沿着-Z轴方向拉动移动终端时，显示的图像被放大。相反，当用户面向移动终端的触摸屏沿着Z轴方向推动移动终端时，显示的图像被缩小。图4B是示出移动终端移动的路径的移动终端的侧视图。从图4B中注意到，移动终端在不改变角度的情况下仅沿着Z轴或-Z轴移动。图4C示出相对于设置为旋转轴的Y轴和-Y轴的移动终端的倾角的变化。通过相对于用户向前或向后倾斜移动终端，可放大或缩小显示在触摸屏上的图像。
如果用户在触摸屏上的任何区域中触摸一个点时，控制器303将单触摸输入确定为用于移动显示在触摸屏上的图像的命令，并且根据从运动计算器309接收的关于移动终端的运动的改变的信息来向上、向下、向左或向右移动图像。例如，如果在触摸屏的任何区域中触摸一个点的同时，用户将移动终端向左移动或者将移动终端向左旋转时，显示的图像被移动到左侧。也就是说，实现与通过触摸和拖拽触摸屏的区域来沿着期望的方向移动图像的方案相同的效果，这将从图5A、图5B和图5C中清楚。
图5A、图5B和图5C示出根据本发明实施例的移动终端的运动。在图5A、图5B和图5C中，假设用户在触摸屏上触摸一个点。
参照图5A，当在移动终端的当前角度不变的情况下在触摸屏上触摸一个点的同时，用户将移动终端沿着X轴、-X轴、Y轴或-Y轴方向移动时，显示在触摸屏上的图像沿着移动终端移动的方向移动。图5B示出相对于设置为旋转轴的Z轴和-Z轴的移动终端的旋转的改变，图5C示出相对于设置为旋转轴的Y轴和-Y轴的移动终端的旋转的改变。如果Z轴和-Z轴被设置为旋转轴并且移动终端在Y轴和-Y轴上向右旋转或向左旋转，则显示的图像可向一侧移动。另一方面，如果Y轴和-Y轴被设置为旋转轴并且移动终端在Z轴和-Z轴向前倾斜或向后倾斜，则显示的图像可向上或向下移动。
如果Y轴和-Y轴被设置为旋转轴，显示的图像可根据触摸屏上的触摸点的数量被不同地变换。在图4C中，图像被放大或缩小，而在图5C中，图像向上或向下移动。
如同传统上一样，控制器303还可对应于诸如拖拽的手势来控制显示在触摸屏上的图像，所述拖拽可跟随触摸屏的任意区域中的至少一个点的触摸。例如，如果在触摸屏的任意区域中触摸一个点，并且向左拖拽触摸的点，则显示的图像可向左移动，并且下一图像可被显示。如果在触摸屏上触摸两个点，则图像可根据传统的多触摸方案被放大或缩小。
现在将参照图3对用于控制显示的图像的操作进行描述。
图6A和图6B是示出根据本发明实施例的放大或缩小图像的操作的示例性示图。
参照图6A，在观看触摸屏的同时，用户在以触摸屏的任何区域中的两个点被触摸的方式抓住触摸屏的情况下拉动移动终端。显示的图像对应于拉动运动被放大。图6B是示出用户拉动移动终端的侧视图。应注意到，如图4A所示，在没有相对于用户向前倾斜移动终端的情况下，仅仅通过使移动终端接近用户来放大图像。
尽管图6A和图6B中没有示出，但是当在观看触摸屏的同时，用户在以触摸屏的任何区域中的两个点被触摸的方式抓住触摸屏的情况下向后推动移动终端时，显示的图像可被缩小。通过拉动移动终端放大图像和通过推动移动终端缩小图像的功能可由用户设置来改变。例如，可以以这种方式来改变功能：通过拉动移动终端缩小图像，并且通过推动移动终端放大图像。
图像的放大或缩小比率可被设置为与在图4A至图5C中示出的每个轴方向上的旋转角度测量成比例，其中，使用包括在根据用户运动而移动的移动终端的输出单元301中陀螺仪传感器进行旋转角度测量。在图像放大或缩小功能可用的情况下，用户可根据传统的多触摸方案来放大或缩小图像。在传统的基于多触摸的放大或缩小功能进行期间，可以停用基于运动的图像放大或缩小功能，以避免传统的放大或缩小功能与提出的放大或缩小功能之间的相互干扰。
如果在触摸屏上仅触摸一个点或者没有进行触摸，则停用本发明中的图像放大和缩小操作。
图7A和图7B是示出根据本发明实施例的移动图像的操作的示例性示图。
参照图7A，在以触摸屏的任何区域中的一个点被触摸的方式抓住移动终端的同时，用户在观看触摸屏的情况下移动终端从左向右移动。显示在触摸屏上的图像对应于移动终端的运动从右向左移动。
参照集中于触摸屏的图7B，左侧的触摸屏显示移动之前的图像，右侧的触摸屏显示当移动终端从左向右移动时输出的图像。随着图像移动，隐藏在屏幕之外的右侧的图像出现在触摸屏上。在多个图像被布置的情况下，通过移动移动终端，图像可顺序地出现在屏幕上。
图像移动的距离可被设置为与与在图4A至图5C中示出的每个轴方向上的旋转角度测量成比例，其中，使用包括在根据用户运动而移动的移动终端的输出单元301中陀螺仪传感器进行旋转角度测量。在图像移动功能可用的情况下，用户可通过在触摸屏上触摸一个点并拖拽触摸来移动图像。在拖拽功能进行期间，可停用基于运动的图像移动功能，以避免拖拽功能与本发明的图像移动功能之间的相互干扰。
如果在触摸屏上仅触摸一个点或者没有进行触摸，则停用本发明中的图像移动操作。
尽管根据本发明描述显示的图像可根据在触摸屏的任何区域中的触摸点的数量以不同方式被控制，但是可通过分配特定键并根据按下的键的数量控制显示的图像来实现相同的效果，以下将对此进行描述。
图8A和图8B是示出根据本发明实施例的使用分配的特定键控制基于运动的用户接口的操作的示例性示图。
参照图8A，当在执行图像浏览器期间用户同时按下键盘上的数字1和3的按钮或者同时按下预定间隔的按钮时，移动终端可被设置为将运动识别为用于放大或缩小显示的图像的命令。根据移动终端的后续运动，显示的图像可被放大或缩小。
参照图8B，当在执行图像浏览器期间用户按下键盘上的数字1和3的按钮中的任一个时，移动终端可被设置为将运动识别为用于移动显示的图像的命令。同时，键盘可被基于用户触摸进行操作的按钮取代。
图9是示出根据本发明实施例的控制基于运动的用户接口的操作的流程图。
参照图9，在步骤901，当接收到用户输入时，移动终端执行图像浏览器以显示诸如照片或网页的图像。所述图像存储在存储器305中。如果移动终端能够连接无线互联网，则移动终端可在不执行图像浏览器的情况下显示网页。在步骤903，移动终端确定是否已经通过输入单元307感测到触摸输入。如果没有感测到触摸输入，则在步骤901，移动终端继续执行图像浏览器。当感测到触摸输入时，移动终端进入步骤905。
在步骤905，移动终端对在触摸屏上触摸的点的数量进行计数，并且根据触摸点的数量以不同的方式来控制显示的图像。如果触摸了两个或更多个点，则移动终端确定放大或缩小图像，并开始感测移动终端的运动。在步骤907，如果如图4A、图4B和图4C所示移动终端向前或向后移动或者相对于用户向前或向后倾斜，则移动终端使用包括在传感器单元中的陀螺仪传感器来计算移动终端向上、向下、向左、向右、向前或向后移动的程度或者移动终端向前倾斜、向后倾斜、向左旋转或向右旋转的程度，并且对应于计算的程度来放大或缩小图像。通过传感器单元311的陀螺仪传感器来感测移动终端的运动，并且通过运动计算器309来计算移动终端移动的距离或者移动终端倾斜的程度。此外，可分配并按下两个或更多个按钮来代替两个点，以放大或缩小图像。
如果触摸了单个点，则移动终端确定移动图像，并开始感测移动终端的运动。当如图5A、图5B和图5C所示移动终端向上、向下、向左或向右移动、向前或向后倾斜、向左旋转或向右旋转时，计算移动终端的移动距离或者倾斜或旋转程度，并且沿着与计算的程度相应的方向移动图像。如上所述，通过传感器单元311的陀螺仪传感器来感测移动终端的运动，并且通过运动计算器309来计算移动终端移动的距离或者移动终端倾斜的程度。此外，可分配并按下特定按钮来代替一个点，以移动图像。
虽然已经参照本发明的实施例具体显示和描述了本发明，但是本领域普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (11)

1.一种用于控制基于运动的用户接口的设备，所述设备包括：
触摸屏；
传感器，被配置为感测所述设备的运动；
处理器，被配置为：
获得触摸屏上的触摸点的数量，
获得与所述设备的运动相应的信息，
基于触摸点的数量是多个并且确定所述信息指示所述设备远离用户运动，通过缩小图像来将图像显示在触摸屏上，或者基于触摸点的数量是多个并且确定所述信息指示所述设备朝向用户运动，通过放大图像来将图像显示在触摸屏上。
2.如权利要求1所述的设备，其中，处理器还被配置为：如果触摸点的数量是两个或更多个，则将与触摸点相应的用户触摸识别为用于放大或缩小图像的命令。
3.如权利要求1所述的设备，其中，处理器还被配置为：如果触摸点的数量是一个，则
将与触摸点相应的用户触摸识别为用于移动图像的命令，
获得用于移动触摸屏上的图像的、与所述设备的运动相关的信息，
基于获得的信息移动图像。
4.如权利要求1所述的设备，其中，传感器包括陀螺仪，
其中，处理器还被配置为：使用陀螺仪根据所述设备向上、向下、向左、向右、向前或向后移动的程度或者所述设备向前倾斜、向后倾斜、向左旋转或向右旋转的程度，来确定与所述设备的运动相关的信息。
5.如权利要求1所述的设备，其中，图像是网页。
6.一种用于控制基于运动的用户接口的方法，所述方法包括：
感测设备的运动；
获得所述设备的触摸屏上的触摸点的数量；
获得与所述设备的运动相应的信息；
基于触摸点的数量是多个并且确定所述信息指示所述设备远离用户运动，通过缩小图像来将图像显示在触摸屏上，或者基于触摸点的数量是多个并且确定所述信息指示所述设备朝向用户运动，通过放大图像来将图像显示在触摸屏上。
7.如权利要求6所述的方法，其中，如果触摸点的数量是两个或更多个，则将与触摸点相应的用户触摸识别为用于放大或缩小触摸屏上的图像的命令。
8.如权利要求6所述的方法，还包括：
如果触摸点的数量是一个，则将与触摸点相应的用户触摸识别为用于移动图像的命令；
获得用于移动触摸屏上的图像的、与所述设备的运动相关的信息，
基于获得的信息移动图像。
9.如权利要求6所述的方法，其中，根据所述设备向上、向下、向左、向右、向前或向后移动的程度或者所述设备向前倾斜、向后倾斜、向左旋转或向右旋转的程度，来确定与所述设备的运动相关的信息。
10.如权利要求6所述的方法，其中，其中，图像是网页。
11.一种记录有将在计算机上被执行的程序的非暂时性计算机可读记录介质，其中，所述程序是可执行的，当所述程序被处理器执行时，使得所述处理器执行如权利要求6所述的方法。
CN201710066015.1A 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法 Pending CN107066045A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2010-0100435 2010-10-14
KR1020100100435A KR101915615B1 (ko) 2010-10-14 2010-10-14 모션 기반 사용자 인터페이스 제어 장치 및 방법
CN2011800493427A CN103168282A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2011800493427A Division CN103168282A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法

Publications (1)

Publication Number Publication Date
CN107066045A true CN107066045A (zh) 2017-08-18

Family

ID=45938811

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710066015.1A Pending CN107066045A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法
CN2011800493427A Pending CN103168282A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2011800493427A Pending CN103168282A (zh) 2010-10-14 2011-10-13 用于控制基于运动的用户接口的设备和方法

Country Status (9)

Country Link
US (2) US9588613B2 (zh)
EP (2) EP3543832B1 (zh)
JP (2) JP5828000B2 (zh)
KR (1) KR101915615B1 (zh)
CN (2) CN107066045A (zh)
AU (1) AU2011314532B2 (zh)
BR (1) BR112013009161B1 (zh)
RU (1) RU2541852C2 (zh)
WO (1) WO2012050377A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068049B2 (en) * 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
CN103389849B (zh) * 2012-05-07 2018-10-16 腾讯科技（北京）有限公司 一种基于移动终端的图像展示方法、系统和移动终端
JP2014078823A (ja) * 2012-10-10 2014-05-01 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
KR101990036B1 (ko) 2012-10-31 2019-06-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9423946B2 (en) 2013-08-12 2016-08-23 Apple Inc. Context sensitive actions in response to touch input
CN110413054B (zh) * 2013-08-12 2023-04-28 苹果公司 响应于触摸输入的上下文敏感动作
JP6195361B2 (ja) * 2013-08-21 2017-09-13 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN103455257A (zh) * 2013-08-30 2013-12-18 华为技术有限公司 一种电子放大镜的实现方法及用户终端
CN103699322A (zh) * 2013-12-19 2014-04-02 北京百纳威尔科技有限公司 图像缩放处理方法和装置
CN104951218B (zh) * 2014-03-25 2019-03-05 宏碁股份有限公司 行动装置及调整视窗大小的方法
IN2014DE00899A (zh) 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
EP3130994A4 (en) * 2014-04-07 2018-01-03 Sony Corporation Display control device, display control method, and program
KR20150124710A (ko) * 2014-04-29 2015-11-06 엘지전자 주식회사 폴리오 케이스 및 이동 단말기
CN104216634A (zh) * 2014-08-27 2014-12-17 小米科技有限责任公司 一种显示稿件的方法和装置
US9746930B2 (en) 2015-03-26 2017-08-29 General Electric Company Detection and usability of personal electronic devices for field engineers
JP6841647B2 (ja) * 2016-12-20 2021-03-10 シャープ株式会社 表示装置、表示方法及びプログラム
CN107256127A (zh) * 2017-06-08 2017-10-17 深圳睿尚教育科技有限公司 一种手写输入识别方法
US20190282213A1 (en) * 2018-03-16 2019-09-19 EchoNous, Inc. Systems and methods for motion-based control of ultrasound images
US10852853B2 (en) * 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1484785A (zh) * 2001-01-10 2004-03-24 索尼公司 信息处理终端
EP1615102A2 (en) * 2004-04-20 2006-01-11 Robert James Clements Team sport apparatus
CN101014927A (zh) * 2004-09-14 2007-08-08 诺基亚公司 使用指示设备的方法
CN101198925A (zh) * 2004-07-30 2008-06-11 苹果公司 用于触敏输入设备的手势

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3234633B2 (ja) * 1992-06-19 2001-12-04 シャープ株式会社 情報処理装置
JPH07271505A (ja) 1994-03-29 1995-10-20 Toshiba Corp 画像表示制御装置
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US6317114B1 (en) * 1999-01-29 2001-11-13 International Business Machines Corporation Method and apparatus for image stabilization in display device
GB0004351D0 (en) * 2000-02-25 2000-04-12 Secr Defence Illumination and imaging devices and methods
US6861946B2 (en) 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US6834249B2 (en) * 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
TW200622893A (en) * 2004-07-09 2006-07-01 Nokia Corp Cute user interface
JP4763695B2 (ja) * 2004-07-30 2011-08-31 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
JP2006203463A (ja) * 2005-01-19 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示方法、画像撮像方法、及び画像合成方法
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
KR100753397B1 (ko) * 2006-04-04 2007-08-30 삼성전자주식회사 이동 단말기에서 화면 자동 온/오프 제어 장치 및 방법
US20070279755A1 (en) * 2006-06-01 2007-12-06 3M Innovative Properties Company Head-Up Display System
US8514066B2 (en) * 2006-11-25 2013-08-20 Trimble Navigation Limited Accelerometer based extended display
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
US7573382B2 (en) * 2007-04-02 2009-08-11 General Electric Company System and method to manage movement of assets
US20080280642A1 (en) 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Intelligent control of user interface according to movement
US20080284739A1 (en) 2007-05-17 2008-11-20 Microsoft Corporation Human Interface Device
KR101008361B1 (ko) * 2007-09-06 2011-01-14 (주)마이크로인피니티 조절 장치 및 방법
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US20090138800A1 (en) 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
JP4557058B2 (ja) 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
KR20090093766A (ko) 2008-02-28 2009-09-02 황재엽 모바일 가상 기타의 지판 표시 장치 및 방법
KR101445607B1 (ko) 2008-06-10 2014-09-29 삼성전자주식회사 가속 센서를 이용한 디지털 영상처리장치 및 이를 이용한이미지 재생방법
KR101505198B1 (ko) * 2008-08-18 2015-03-23 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
JP4720879B2 (ja) * 2008-08-29 2011-07-13 ソニー株式会社 情報処理装置及び情報処理方法
JP5279646B2 (ja) 2008-09-03 2013-09-04 キヤノン株式会社 情報処理装置、その動作方法及びプログラム
US8866840B2 (en) * 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8558803B2 (en) 2008-11-28 2013-10-15 Samsung Electronics Co., Ltd. Input device for portable terminal and method thereof
US8159465B2 (en) * 2008-12-19 2012-04-17 Verizon Patent And Licensing Inc. Zooming techniques for touch screens
US20110254792A1 (en) 2008-12-30 2011-10-20 France Telecom User interface to provide enhanced control of an application program
US9069398B1 (en) * 2009-01-30 2015-06-30 Cellco Partnership Electronic device having a touch panel display and a method for operating the same
JP5058187B2 (ja) 2009-02-05 2012-10-24 シャープ株式会社 携帯情報端末
US8698736B2 (en) * 2009-03-24 2014-04-15 Immersion Corporation Handheld computer interface with haptic feedback
JP2011028635A (ja) 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
US20110087988A1 (en) * 2009-10-12 2011-04-14 Johnson Controls Technology Company Graphical control elements for building management systems
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8977987B1 (en) * 2010-06-14 2015-03-10 Google Inc. Motion-based interface control on computing device
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1484785A (zh) * 2001-01-10 2004-03-24 索尼公司 信息处理终端
EP1615102A2 (en) * 2004-04-20 2006-01-11 Robert James Clements Team sport apparatus
CN101198925A (zh) * 2004-07-30 2008-06-11 苹果公司 用于触敏输入设备的手势
CN101014927A (zh) * 2004-09-14 2007-08-08 诺基亚公司 使用指示设备的方法

Also Published As

Publication number Publication date
WO2012050377A2 (en) 2012-04-19
WO2012050377A3 (en) 2012-06-14
US20170178284A1 (en) 2017-06-22
RU2013121805A (ru) 2014-11-20
AU2011314532A1 (en) 2013-04-18
EP2628067A4 (en) 2016-08-31
BR112013009161A2 (pt) 2016-07-26
EP2628067B1 (en) 2019-04-17
US20130194222A1 (en) 2013-08-01
US9588613B2 (en) 2017-03-07
KR101915615B1 (ko) 2019-01-07
JP2013541104A (ja) 2013-11-07
AU2011314532B2 (en) 2015-08-20
BR112013009161B1 (pt) 2020-11-24
RU2541852C2 (ru) 2015-02-20
EP3543832A1 (en) 2019-09-25
EP2628067A2 (en) 2013-08-21
US10360655B2 (en) 2019-07-23
EP3543832B1 (en) 2021-10-06
CN103168282A (zh) 2013-06-19
JP5828000B2 (ja) 2015-12-02
KR20120038788A (ko) 2012-04-24
JP2015215907A (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
CN107066045A (zh) 用于控制基于运动的用户接口的设备和方法
AU2020203817B2 (en) Devices and methods for manipulating user interfaces with a stylus
US20220334689A1 (en) Music now playing user interface
US9047006B2 (en) Electronic device system with information processing mechanism and method of operation thereof
KR102178845B1 (ko) 햅틱을 제어하는 휴대 단말 및 방법
US9883117B2 (en) Method and apparatus for creating motion effect for image
US9791918B2 (en) Breath-sensitive digital interface
US9513791B2 (en) Electronic device system with process continuation mechanism and method of operation thereof
US20100182264A1 (en) Mobile Device Equipped With Touch Screen
US20130057472A1 (en) Method and system for a wireless control device
KR20140111497A (ko) 터치 스크린의 화면에 표시된 아이템을 삭제하는 방법, 저장 매체 및 휴대 단말
KR20150007799A (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
US10466862B2 (en) Input device, electronic apparatus for receiving signal from input device and controlling method thereof
KR102118091B1 (ko) 오브젝트에 대한 사전 실행 기능을 가지는 모바일 장치 및 그 제어방법
JP6061528B2 (ja) 操作装置、その制御方法及びプログラム並びに記録媒体
AU2015258317B2 (en) Apparatus and method for controlling motion-based user interface
KR20140092106A (ko) 터치 스크린 상의 사용자 입력을 처리하는 방법 및 단말과 저장 매체
KR102049259B1 (ko) 모션 기반 사용자 인터페이스 제어 장치 및 방법
Zhao et al. Augmenting mobile phone interaction with face-engaged gestures
KR20110060553A (ko) 포인팅 디바이스가 구비된 단말장치의 동작 제어 방법 및 그 단말장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818