CN103262008B - 智能无线鼠标 - Google Patents

智能无线鼠标 Download PDF

Info

Publication number
CN103262008B
CN103262008B CN201180059792.4A CN201180059792A CN103262008B CN 103262008 B CN103262008 B CN 103262008B CN 201180059792 A CN201180059792 A CN 201180059792A CN 103262008 B CN103262008 B CN 103262008B
Authority
CN
China
Prior art keywords
hand
held device
touch
host apparatus
application program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180059792.4A
Other languages
English (en)
Other versions
CN103262008A (zh
Inventor
D·戈麦斯
M·吉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Original Assignee
Movea SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movea SA filed Critical Movea SA
Publication of CN103262008A publication Critical patent/CN103262008A/zh
Application granted granted Critical
Publication of CN103262008B publication Critical patent/CN103262008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及一种具有触摸屏的智能手持装置，能够将其用作2D或3D鼠标以控制运行于主机装置上的应用程序。有利地，将为智能装置装备光学传感器，在激活运动捕获模式时，用于自动检测到其放在表面上，测量装置在所述表面上的位移并在主机装置的屏幕上模拟光标的位移。有利地，将为智能装置装备双轴陀螺仪，在激活运动捕获模式时，将测量装置在自由空间中的偏航与俯仰，并将取向测量的变化变换成主机装置屏幕上光标的位移。触摸屏被分成区域和子区，以控制运行于装置或主机上的各种应用程序。可以通过图形用户界面配置所述区域。可以实施手势识别特征。

Description

智能无线鼠标
本发明涉及能够向电子装置传送命令的人机界面。更具体而言，它能够利用智能移动装置上越来越普遍的人机工程学，将未专门为此目的设计的不同类型的智能移动装置临时变成完全像无线鼠标和/或遥控器那样使用的特定装置。
智能移动装置包括个人数字助理、智能手机，尤其是i-PhonesTM，还包括i-TouchTM、i-PadTM和可能其它一些多媒体存储和再现装置。这些装置通常现在包括运动传感器（加速度计，可能还有陀螺仪和/或磁力计）、定位传感器（GPS接收机）、数字摄像头、蓝牙和/或Wifi连接、触摸屏、本地处理功能等。这种装置的使用在一些专业人士和很多的普通大众中已经变得非常普遍并且应用也非常频繁。用户们通常始终会随身携带着他们的智能移动装置。通过从应用程序商店里面下载代码到所述装置上，他们可以访问几乎无限量的应用程序和内容。这些应用程序中的一些利用智能移动装置的动作和/或位置捕获能力，不过，到目前为止，他们还没有发展到允许这些智能移动装置的用户摆脱他们需要为特定目的而使用的其他装置，例如外接鼠标，以替代他们的便携式计算机的触摸板鼠标，这样除了他们的智能移动装置，他们可以避免再随身带着这样的外接鼠标。此外，当在家的时候，同样的专业人员必须使用至少一个与其电视演播室之间的其他界面（更有可能的是，他将必须使用至少两个，一个用于电视本身，一个用于机顶盒）。所有这些接口都有自己的重量、功耗、人机工程学、软件配置、供应商等。PC鼠标通常用在桌子表面上，不能与电视机和电视遥控器一起使用，通常可以在自由空间移动的电视遥控器也不能与PC一起使用。
因此需要一种通用的人机界面，它可以用作所有类型电子设备的远程命令，将用于智能移动装置提供的所有可能性。一些装置已经发展到这种效果，但他们未能实现集成的表面和自由空间控制模式。他们还不能充分利用当前传感器的能力和一些现在已经应用在智能移动装置上的新特征。本发明克服了这些局限。
为此目的，本发明提供了一种手持装置，包括至少一个运动传感器和触摸屏，所述装置能够从所述传感器向包括运动信号处理能力的主机装置传送信号，其中所述手持装置的所述触摸屏包括若干触摸区域，用于根据用户的选择，利用所述手持装置在表面上或自由空间中的运动，控制运行于所述主机装置上的至少一项应用程序。
本发明还提供了一种使用所述手持装置的方法和计算机程序。
在优选实施例中，智能移动装置至少包括双轴陀螺仪，其允许精确定点、识别用户的手势。在各实施例中，触摸区模拟鼠标的通常的按钮（左、右、滚轮）。更具体而言，由一个区域来模拟滚轮，该区域可以扩展到触摸屏的整个表面。而且，可以使用触摸区之一将2D鼠标变换成3D鼠标或遥控器，其能够直接控制主机装置显示器上光标的运动或传送关于手持装置的用户做出的手势的信息，该信息然后被主机装置解释为若干预设功能的命令。此外，可以使手持装置屏幕上触摸区取决于运行于主机装置前台中的应用程序，这为本发明的装置提供了大量通用性。
从各实施例以及以下附图的描述，将更好地理解本发明，其各种特征和优点将变得显而易见。
-图1表示实施本发明的功能体系结构；
-图2显示了根据本发明各种实施例的模拟鼠标按键的手持装置的屏幕的触摸区域；
-图3a到3c显示了根据本发明各种实施例的模拟鼠标滚轮的手持装置的屏幕的触摸区域的不同视图；
-图4a和4b表示根据本发明各实施例的触摸屏上激活和没激活触摸键盘的手持装置；
-图5a到5c代表根据本发明各种实施例的在不用的应用上下文下本发明手持装置触摸屏的三个不同视图；
-图6a到6c代表根据本发明各种实施例的本发明手持装置触摸屏的三个不同视图以例示装置的3D模式；以及
-图7显示了具有在特定上下文中滑动手势的含义的帮助屏。
图1表示实现本发明的功能架构。
根据本发明，智能移动装置101是用来控制运行于主机装置102上的应用程序的，其具有显示器1021，在其上可以通过在图标上或在文本滚动列表中指向/点击来使用光标选择应用程序/功能。也可以通过用户预定的手势控制应用程序，这将会在下文结合图6a到6c的描述中进一步解释。
智能移动装置一般具有触摸屏1011。智能移动装置可以是智能手机，例如i-PhoneTM。在这种情况下，用户可以从App StoreTM下载用于实施本发明的软件应用程序套件，以作为软件部件1012安装在装置101上。但是也可以从任何的储存介质将应用程序复制到装置上。本发明可以在任何类型的智能移动装置上实施，条件是所述装置具有触摸屏和至少一个运动传感器1013，以测量智能移动装置在空间中的运动。
运动传感器1013优选是惯性传感器，如加速度计或者陀螺仪，但也可以是磁力计。至少沿着两个轴测量运动。微机电系统（MEMS）传感器越来越普遍，成本也越来越低。2轴陀螺仪，用于测量俯仰角（或者高度，即，垂直平面中的定点装置101与水平平面之间的角度）和偏航角（或者方位，即，水平平面中的定点装置101与垂直平面之间的角度）和2轴加速度计，用于校正来自（通常是在其手腕附近握持装置的用户的手的）滚转运动的这些测量值，这些都是有用的。智能移动装置101在平面（2D）或在自由空间（3D）中的运动然后可以被转换成主机装置102屏幕上光标的位置。而且，如说明书中下面将进一步解释的，也可以向智能移动装置101中输入命令信号，用于控制主机装置102的功能，通过点击图标或者列表里面的文本，在光标的所述位置执行这些功能。
使用RF载波（蓝牙或者WiFi）或使用有线连接将来自传感器的运动信号和输入智能移动装置的命令信号传送到主机装置102，优选传送到主机装置的USB端口。
主机装置102可以是个人计算机（台式机或者笔记本）或与TV屏幕1021连接的机顶盒。主机装置将运行应用程序1023，例如多媒体应用程序（看广播或有线电视或视频电影、听广播或音乐…）、浏览因特网、处理电子邮件、提供演示等。它还将配备特定的软件1022，适于实施本发明。这样的软件是由MoveaTM提供的MotionTools。MotionTools包括处理动作与命令信号以及映射运动和控制的例程，他们向主机装置上的应用程序的位置和执行提供这些运动和控制。可以由用户通过图形用户界面（GUI）预先编制要控制的应用。
MotionTools是兼容所有Movea周边设备和鼠标的配套软件。它为用户提供一套当处于无线状态时可以充分利用鼠标的工具。当远离屏幕的时候，用户可以用MotionTools把画面放大。当远离键盘时，用户可以在大多数情况下省去输入并最终能够用一个点击显示屏幕键盘。MotionTools允许用户将任何动作（缩放、屏幕绘图工具…）关联到任何鼠标事件（点击按钮、鼠标运动）。MotionTools可以处理的应用程序分成类别或者“上下文”：
-“General”：非特定上下文（磁盘导航，或者在其他上下文中没有列出的每种其他应用程序）；
-“Internet”：代表网络浏览应用（FirefoxTM、Google ChromeTM、SafariTM、Internet ExplorerTM，…）；
-“Multimedia”：代表安装在主机装置102上的媒体播放器，例如Windows MediaCenterTM、iTunesTM，…
-“Presentation”：代表文档演示软件，如PowerpointTM，KeynotesTM，…
可以添加其他的上下文。智能移动装置101配备了一些额外的媒体按钮，可以生成识别的手势事件。用户可以充分对MotionTools进行配置。定义执行配置的概况文件。用户可以通过用户友好的GUI在这些概况文件中保存与特定鼠标输入关联的动作列表或针对每种上下文的手势事件。
图2显示根据本发明各种实施例模拟鼠标的按钮的手持装置屏幕的触摸区域。
利用智能移动装置101的标准命令按钮/图标激活本发明的虚拟鼠标，在装置上已经安装了本发明的应用程序。
根据本发明的智能移动装置101的触摸屏被分为4个主要区域：
-左边区域包括图标（201，202，203，204，205），用来显示或控制改变不是很频繁的特征；
-上方区域显示智能移动装置系统功能的状态（206）；
-中心区域显示一个鼠标，其左右按钮（207）用于输入点击命令，滚轮（208）和特定按钮（209）用于当主机装置在3D控制模式时控制主机装置屏幕上的光标运动，并触发激活手势识别模式；
-下方区域显示图标（20A），以根据在MotionTools中编制的上下文控制执行在主机装置102上的应用程序。
图标201和20A依赖于上下文：他们随着在主机装置前景（foreground）中执行的应用程序变化。可以在MotionTools中编制出现在左边的图标。202区域允许显示更多的图标。图标203命令在智能移动装置的下方区域中显示键盘，如下文结合图4a和4b进一步所述。图标204允许访问装置的设置。图标205允许访问帮助功能。
虚拟鼠标207、208、209允许输入与可以利用物理鼠标输入的相同命令，无论这个鼠标是用在2D模式还是3D模式中。这个虚拟鼠标可以取代额外的物理鼠标，如果他不想在旅行的时候带着笔记本计算机的按键或触摸板鼠标，用户能够将其丢弃。这是有利的，因为智能移动装置可以通过USB连接插入笔记本计算机中，在同时充当鼠标的时候为其电池充电。
将虚拟鼠标的设计定义为适于用户通常手持智能移动装置的方式。可以提供若干不同的设计以适合特定的用户要求（例如左撇子用户），在设置中做出所需的设计的选择。
由左右按钮（207）执行的功能通常和经典鼠标相同（选择和上下文菜单）。下文将在结合图3a，3b和3c的描述中进一步解释滚轮208的操作。在下文中将在结合图6a，6b和6c的描述中进一步解释控制按钮209的操作。
图3a到3c显示根据本发明各实施例模拟鼠标滚轮的手持装置的屏幕的触摸区域的不同视图。
图3a是在默认/静止模式（例如图2中显示的）下本发明智能移动装置的屏幕视图。在与所显示的一般上下文不同的应用上下文之内，可能是相同的情况。
图3b展示了一种情况：用户用手指触摸图2的虚拟鼠标的触摸区208，就像他对物理鼠标的滚轮所做的那样。在所述区域中显示第一箭头以确认滚轮在工作。
图3c代表第二箭头，这个箭头在十分之几秒之内就会代替第一箭头标记方向，用户必须沿该方向滑动其手指以控制当前活动的应用在主机装置中的滚动。
当用户的手指从触摸屏上拿开的时候，滚动功能就会去活。当处于默认/静止模式时，智能移动装置将会返回到图3a。
图4a和4b表示根据本发明各实施例的触摸屏上有或没有触摸键盘被激活的手持装置。
在智能移动装置上激活键盘的标准模式是在应该输入文本的区域上轻敲。在本发明的上下文中，希望能够更简单地通过轻敲图标401b激活键盘。虚拟键盘402b将被显示在智能移动装置的触摸屏的下方触摸区域上。然而，虚拟键盘被显示时占据的地方被界定为它不怀疑控制按钮209上的任何动作。同时，左边的键盘图标被向屏幕上方推动，使得仍然可见。当键盘活动时再轻敲图标401b会让它消失。也可以编写鼠标命令的程序，使得当用户点击屏幕1021上的文本输入区域时，可以激活键盘402b。
图5a到5c代表根据本发明的各种实施例的在不同应用程序上下文中本发明的手持装置的触摸屏的三个不同视图。
使用MotionTools，可以添加更多的上下文。
图5a是在默认/静止的模式中本发明的智能移动装置屏幕的视图（如图2所示）。图标501a示出了主机装置102上活动的上下文是General上下文。简单地，作为非限制范例，图标502a代表一般上下文中三个可用的功能：
-“Stamp”功能允许用户在主机装置102的屏幕上持久显示若干图像，同时其他应用作为前景过程运行；可以编程控制滚轮，使得在邮票模式下，滚动将允许从一个邮票图像变为另一个；
-“e-mail”图标用于启动安装在主机装置上的默认电子邮件应用程序；
-“Close”图标用于退出目前在主机装置前景中活动的应用程序。
通过在下方区域中向左/向右滑动手指，可以访问超过3个按钮；通过这种简单方式，能够访问很多其他功能。这些通用功能可以归为几类（例如，“Display”、“Launch”、“Edition”、“Doc Browser”）。这例示了本发明的优势，相比于遥控器，确实给用户提供更多对无线鼠标的使用，可以利用用户能够自己定制的命令组合，以非常灵活和直观的方式，使用智能无线鼠标控制主机装置的所有功能。
图5b代表Presentation上下文，具有图标501b和图标502b，图标501b提醒用户在主机装置的前景中哪一个是活动的，它们是本上下文特有图标（“Launch Slide Show”、“Next Slide”、“Previous Slide”）中的两个。
图5c代表“Media”上下文，也有作为上下文提示的图标501c和图标502c，它们是分别命令执行“Play/Pause”、“Next Track”和“Volume/Mute”的按钮。
图6a到6c根据本发明的各种实施例，示出了本发明的手持装置触摸屏的三个不同视图，以例示该装置的3D模式。
按钮209用于控制虚拟鼠标的两种特定功能。首先，在激活3D模式时，使用这个按钮控制主机装置屏幕上的光标。本发明的虚拟鼠标可以在2D模式中运行（装置在x，y平面中的经典定位），或者在3D模式下运行，其中装置的俯仰（对应于偏航）运动被映射到屏幕1021上光标的垂直（对应于水平）运动。当装置位于表面上时，装置照相机的光学传感器（优选在装置的背面）将检测到该装置的放置位置，并可以使2D模式自动运转。在平面中测量dx、dy优选与利用光学传感器的光学鼠标相同。当装置被从桌子或者桌面上拿走且用户触摸ctrl按钮的时候，3D模式就会被激活。
光标将在智能移动装置101的控制下，同时用户将在触摸区域209上接触。那么，光标的运动将由装置101偏航和俯仰角度决定，如上所述，可能要针对用户所有的意外滚转运动加以校正。当用户把他的手指离开按钮209时，光标就会停止运动。或者，可以编程控制虚拟鼠标的控制，使得一旦按钮209被轻敲两次，光标控制功能就持久活动（单次轻敲触发去活）。
按钮209还用于触发特定的手势识别模式。当用户轻敲触摸区域209时，将出现水平的彩色条。沿着这个条滑动手指（优选拇指）将激活手势识别模式并且当拇指接触触摸屏时将把装置锁定在这个模式中。一旦拇指离开这个按钮，就会解锁手势识别模式。将滑动映射到的命令，使这些命令是取决于上下文，如下文结合图7所述。
也可以识别更复杂的手势，如数字、字母或任何类型的符号。为确保没有太多的假阳性或假阴性，必须要包括有参考手势类别的数据库，使用例如动态时间规整或者隐马尔可夫模型将手势与参考手势比较以进行识别。运动矢量的简单处理将允许以足够的可靠性侦查滑动。
也可以将智能移动装置的滚转和/或俯仰和/或偏航角度转换为虚拟按钮的旋转和/或主机装置屏幕上滑块的线性运动。
图7显示了帮助屏幕，具有特定上下文中滑动手势的含义。
可以使滑动的含义取决于主机装置前景中运行的上下文。在因特网浏览中在图7上绘示了上下文。仅仅作为范例，自上而下由八个箭头表示如下滑动：
-向左的箭头：向前；
-向右的箭头：向后；
-向上的箭头：上一页；
-向下的箭头：下一页；
-东北方向的箭头：缩放；
-东南方向的箭头：键盘；
-西南方向的箭头：定制键；
-西北方向的箭头：聚光灯（Spotlight）。
必须要编制若干特征以确保在虚拟鼠标功能和智能移动装置其他功能之间没有危险的交互。有些功能没什么问题，比如音频收听，可以在将装置用作虚拟鼠标的同时执行该功能。在虚拟鼠标工作的时候，可以接听电话，也可以不允许接听电话。当有来电的时候，默认模式将是暂停鼠标。在通常的智能手机中，这种通知会被优先处理。当电话结束时，智能手机将会恢复之前暂停的应用程序。不能使用飞行模式，因为这会去活装置所有的无线电功能，与主机通信通常需要WiFi/蓝牙。
也可能必须要去活i-Phone旋转以适应显示格式的功能。在编制应用程序时将需要这样做。
本说明书中公开的范例仅仅例示本发明的一些实施例。它们不以任何方式限制所述发明的范围，其范围是由后附权利要求界定的。

Claims (14)

1.一种手持装置，包括触摸屏、光学传感器和至少一个运动传感器，所述至少一个运动传感器选自包括加速度计、陀螺仪和磁力计的组，所述手持装置能够从所述运动传感器、所述光学传感器和所述触摸屏中的至少之一向具有运动信号处理能力的主机装置传送信号，其中所述手持装置的所述触摸屏包括至少两个触摸区域，所述至少两个触摸区域用于利用所述手持装置的运动，控制运行于所述主机装置上的至少一个应用程序，所述手持装置配置成：在其检测到其放置于表面上时，在2D模式下运行并至少将来自所述光学传感器的信号发送至所述主机装置，并且在其检测到其在自由空间中运动时，在3D模式下运行并至少将来自所述至少一个运动传感器的信号发送至所述主机装置，来自所述光学传感器或来自所述至少一个运动传感器的所述信号在运行于所述主机装置上的应用程序之内被转变为光标在屏幕上的双轴位移。
2.根据权利要求1所述的手持装置，还包括双轴加速度计，所述双轴加速度计向具有所述运动信号处理能力的所述主机装置提供输入，以校正所述手持装置的至少部分滚动。
3.根据权利要求1所述的手持装置，其中，所述光学传感器配置成检测所述手持装置放在表面上。
4.根据权利要求3所述的手持装置，其中将来自所述光学传感器的双轴位置或位移信号传送到所述主机装置，以在运行于所述主机装置上的应用程序之内转变为光标在屏幕上的双轴位移。
5.根据权利要求1所述的手持装置，其中所述至少两个触摸区域之一包括至少三个触摸子区，所述三个触摸子区中的第一子区适于在表面运动捕获模式和自由空间运动捕获模式之间切换，第二子区适于执行主机应用程序之内的卷动命令，第三子区适于执行主机应用程序之内的选择命令。
6.根据权利要求5所述的手持装置，其中能够由图形用户界面编程控制所述主机应用程序之内的所述卷动命令和所述选择命令。
7.根据权利要求5所述的手持装置，其中所述触摸子区之一还适于切换至手势识别模式和从手势识别模式切换至其它模式。
8.根据权利要求5所述的手持装置，还包括第四触摸子区，所述第四触摸子区配置成向主机应用程序输入上下文相关的命令。
9.根据权利要求8所述的手持装置，其中能够改变四个触摸子区的相对位置以适合右手或左手用户使用。
10.根据权利要求1所述的手持装置，其中所述至少两个触摸区域之一包括至少两个触摸子区，所述至少两个触摸子区控制主机应用程序的操作，所述应用程序的控制取决于所述手持装置的上下文，所述上下文由一组应用程序来定义，运行于所述主机装置的前景上的至少一个应用程序属于所述一组应用程序。
11.根据权利要求10所述的手持装置，其中控制取决于所述手持装置的上下文的主机应用程序的操作的所述至少两个触摸子区是能够通过图形用户界面编程控制的。
12.根据权利要求1所述的手持装置，其中所述至少两个触摸区域之一包括至少两个触摸子区，所述至少两个触摸子区控制所述手持装置应用程序的操作。
13.根据权利要求1所述的手持装置，还包括电话发射机和接收机，配置成在所述手持装置处于表面或自由空间运动检测模式时被去活。
14.一种用于从手持装置控制运行于主机装置上的至少一个应用程序的方法，所述手持装置包括触摸屏、光学传感器和至少一个运动传感器，所述至少一个运动传感器选自包括加速度计、陀螺仪和磁力计的组，并能够从所述运动传感器、所述光学传感器和所述触摸屏中的至少之一向具有运动信号处理能力的所述主机装置传送信号，其中所述的用于控制的方法包括：
通过用户触摸所述触摸屏的区域来命令执行所述应用程序的功能的步骤；以及
使用所述手持装置的运动的步骤，使用所述手持装置的运动的所述步骤包括：检测所述手持装置是否放置于表面上，并且如果检测到所述手持装置放置于表面上，则在2D模式下运行并至少将来自所述光学传感器的信号发送至所述主机装置；以及检测所述手持装置是否在自由空间中运动，并且如果检测到所述手持装置在自由空间中运动时，在3D模式下运行并至少将来自所述至少一个运动传感器的信号发送至所述主机装置，来自所述光学传感器或来自所述至少一个运动传感器的所述信号在运行于所述主机装置上的应用程序之内被转变为光标在屏幕上的双轴位移。
CN201180059792.4A 2010-11-15 2011-11-08 智能无线鼠标 Active CN103262008B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41367410P 2010-11-15 2010-11-15
US61/413,674 2010-11-15
PCT/EP2011/069688 WO2012065885A1 (en) 2010-11-15 2011-11-08 Smart air mouse

Publications (2)

Publication Number Publication Date
CN103262008A CN103262008A (zh) 2013-08-21
CN103262008B true CN103262008B (zh) 2017-03-08

Family

ID=44992891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180059792.4A Active CN103262008B (zh) 2010-11-15 2011-11-08 智能无线鼠标

Country Status (6)

Country Link
US (1) US20140145955A1 (zh)
EP (1) EP2641150A1 (zh)
JP (1) JP6083072B2 (zh)
KR (1) KR20140035870A (zh)
CN (1) CN103262008B (zh)
WO (1) WO2012065885A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101924835B1 (ko) 2011-10-10 2018-12-05 삼성전자주식회사 터치 디바이스의 기능 운용 방법 및 장치
US10673691B2 (en) * 2012-03-24 2020-06-02 Fred Khosropour User interaction platform
KR101253723B1 (ko) * 2012-06-29 2013-04-12 김기영 스마트 마우스 장치
KR102044829B1 (ko) 2012-09-25 2019-11-15 삼성전자 주식회사 휴대단말기의 분할화면 처리장치 및 방법
US9927876B2 (en) 2012-09-28 2018-03-27 Movea Remote control with 3D pointing and gesture recognition capabilities
JP6034140B2 (ja) * 2012-11-01 2016-11-30 株式会社Ｎｔｔドコモ 表示装置、表示制御方法及びプログラム
US9733729B2 (en) 2012-12-26 2017-08-15 Movea Method and device for sensing orientation of an object in space in a fixed frame of reference
KR102015347B1 (ko) 2013-01-07 2019-08-28 삼성전자 주식회사 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
CN103095942A (zh) * 2013-01-08 2013-05-08 杭州电子科技大学 利用智能手机控制电脑光标的方法
US20140253450A1 (en) * 2013-03-07 2014-09-11 DME Development Corporation,International Methods and apparatus for controlling a computer using a wireless user interface device
DE102013102272A1 (de) * 2013-03-07 2014-09-11 Cooler Master Development Corp. Verfahren und System zum Konfigurieren von Peripheriegeräten und computer-lesbares Speichermedium
JP2015103109A (ja) * 2013-11-26 2015-06-04 京セラドキュメントソリューションズ株式会社 情報入力システム、携帯端末装置、及びコンピューター
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN105739809A (zh) * 2014-12-12 2016-07-06 鸿富锦精密工业(武汉)有限公司 手持设备电脑控制系统及方法
JP6068428B2 (ja) * 2014-12-25 2017-01-25 シャープ株式会社 画像表示システムの制御方法及び制御装置
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
WO2016176606A1 (en) 2015-04-30 2016-11-03 Google Inc. Type-agnostic rf signal representations
KR102328589B1 (ko) 2015-04-30 2021-11-17 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
WO2017077351A1 (en) 2015-11-05 2017-05-11 Bálint Géza Hand held electronic device with an air mouse
CN105867657A (zh) * 2016-03-24 2016-08-17 青岛职业技术学院 一种基于手机传感器远程控制计算机鼠标的方法
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106020455A (zh) * 2016-05-13 2016-10-12 苏州乐聚堂电子科技有限公司 智能木鱼与智能特效系统
CN107436692A (zh) * 2016-05-25 2017-12-05 何舒平 一种基于陀螺仪传感器的空中鼠标控制方法
US10203781B2 (en) * 2016-06-24 2019-02-12 Microsoft Technology Licensing, Llc Integrated free space and surface input device
CN105988602B (zh) * 2016-06-24 2019-03-08 北京小米移动软件有限公司 鼠标模拟方法和装置
WO2018208224A1 (en) * 2017-05-12 2018-11-15 Razer (Asia-Pacific) Pte. Ltd. Pointing devices and methods for providing user inputs to a computing device
JP6257830B2 (ja) * 2017-08-18 2018-01-10 晃輝 平山 入力装置
USD957448S1 (en) * 2017-09-10 2022-07-12 Apple Inc. Electronic device with graphical user interface
US20200285325A1 (en) * 2017-10-24 2020-09-10 Hewlett-Packard Development Company, L.P. Detecting tilt of an input device to identify a plane for cursor movement
US10955941B2 (en) 2019-03-26 2021-03-23 Atlantic Health System, Inc. Multimodal input device and system for wireless record keeping in a multi-user environment
US11023054B2 (en) 2019-09-25 2021-06-01 International Business Machines Corporation Device case computer mouse
USD1003934S1 (en) * 2020-02-19 2023-11-07 Beijing Bytedance Network Technology Co., Ltd. Display screen or portion thereof with a graphical user interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593024A (zh) * 2008-05-30 2009-12-02 罗技欧洲公司 具有改进的空中光标控制并允许多个操作模式的点击设备
WO2009156476A2 (en) * 2008-06-27 2009-12-30 Movea S.A Hand held pointing device with roll compensation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000517445A (ja) * 1996-08-28 2000-12-26 ヴィーア・インコーポレイテッド タッチ画面装置及び方法
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
JP2001109570A (ja) * 1999-10-08 2001-04-20 Sony Corp 情報入出力システム及び情報入出力方法
US6989763B2 (en) * 2002-02-15 2006-01-24 Wall Justin D Web-based universal remote control
JP2004147272A (ja) * 2002-10-23 2004-05-20 Takeshi Ogura 無線マウス及びテンキー機能付きで、本体が二分割可能な携帯電話兼モバイルｐｃ用通信モジュール
US7545362B2 (en) * 2004-02-26 2009-06-09 Microsoft Corporation Multi-modal navigation in a graphical user interface computing system
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US20070139380A1 (en) * 2005-12-19 2007-06-21 Chiang-Shui Huang Hand-held combined mouse and telephone device
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US20070293261A1 (en) * 2006-06-14 2007-12-20 Chung Woo Cheol Dual purpose mobile device usingultra wide band communications
US7777722B2 (en) * 2006-06-23 2010-08-17 Microsoft Corporation Multi-mode optical navigation
US7813715B2 (en) * 2006-08-30 2010-10-12 Apple Inc. Automated pairing of wireless accessories with host devices
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8081162B2 (en) * 2007-05-16 2011-12-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with surface and free space navigation
US20090027330A1 (en) * 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
US20090066648A1 (en) * 2007-09-07 2009-03-12 Apple Inc. Gui applications for use with 3d remote controller
JP2009265897A (ja) * 2008-04-24 2009-11-12 Sony Corp ハンドヘルド型情報処理装置、制御装置、制御システム及び制御方法
KR101019039B1 (ko) * 2008-05-22 2011-03-04 삼성전자주식회사 터치 스크린을 구비한 단말기 및 데이터 검색 방법.
KR101503493B1 (ko) * 2008-07-16 2015-03-17 삼성전자주식회사 위젯 콘텐츠를 이용한 기기 제어 방법 및 그 방법을수행하는 원격 제어 장치
US20100060567A1 (en) * 2008-09-05 2010-03-11 Microsoft Corporation Controlling device operation relative to a surface
US20100066677A1 (en) * 2008-09-16 2010-03-18 Peter Garrett Computer Peripheral Device Used for Communication and as a Pointing Device
CN101729636A (zh) * 2008-10-16 2010-06-09 鸿富锦精密工业（深圳）有限公司 移动终端
US20100097322A1 (en) * 2008-10-16 2010-04-22 Motorola, Inc. Apparatus and method for switching touch screen operation
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
EP2392391B1 (en) * 2010-02-03 2017-06-28 Nintendo Co. Ltd. Display device, game system, and game processing method
TW201135528A (en) * 2010-04-01 2011-10-16 Zone Technologies Co Ltd I Input device, mouse, remoter, control circuit, electronical system and operation method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593024A (zh) * 2008-05-30 2009-12-02 罗技欧洲公司 具有改进的空中光标控制并允许多个操作模式的点击设备
WO2009156476A2 (en) * 2008-06-27 2009-12-30 Movea S.A Hand held pointing device with roll compensation

Also Published As

Publication number Publication date
US20140145955A1 (en) 2014-05-29
EP2641150A1 (en) 2013-09-25
KR20140035870A (ko) 2014-03-24
WO2012065885A1 (en) 2012-05-24
JP6083072B2 (ja) 2017-02-22
CN103262008A (zh) 2013-08-21
JP2014503873A (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
CN103262008B (zh) 智能无线鼠标
KR102365615B1 (ko) 뱅글 타입의 모바일 디바이스와 그 제어 방법 및 ui 표시 방법
KR102492280B1 (ko) 뱅글 타입의 모바일 디바이스와 그 제어 방법 및 ui 표시 방법
US20240111333A1 (en) Continuity of applications across devices
US20220326817A1 (en) User interfaces for playing and managing audio items
US9438713B2 (en) Method and apparatus for operating electronic device with cover
US10031586B2 (en) Motion-based gestures for a computing device
CN105335001B (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
KR102091028B1 (ko) 사용자 기기의 오브젝트 운용 방법 및 장치
EP2652580B1 (en) Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
Kratz et al. HoverFlow: expanding the design space of around-device interaction
US8508475B2 (en) User interface elements positioned for display
US9015584B2 (en) Mobile device and method for controlling the same
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
WO2018082269A1 (zh) 菜单显示方法及终端
KR102004858B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2006036069A1 (en) Information processing system and method
WO2013093205A1 (en) Apparatus and method for providing transitions between screens
CN108897477B (zh) 一种操作控制方法及终端设备
JP2011243157A (ja) 電子機器、ボタンサイズ制御方法、及びプログラム
EP3528103A1 (en) Screen locking method, terminal and screen locking device
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
Chen et al. MobiRing: A Finger-Worn Wireless Motion Tracker
KR20150099888A (ko) 디스플레이를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant