CN113396378A - 针对用于二维和三维环境的多用途输入装置的系统和方法 - Google Patents

针对用于二维和三维环境的多用途输入装置的系统和方法 Download PDF

Info

Publication number
CN113396378A
CN113396378A CN201980084453.8A CN201980084453A CN113396378A CN 113396378 A CN113396378 A CN 113396378A CN 201980084453 A CN201980084453 A CN 201980084453A CN 113396378 A CN113396378 A CN 113396378A
Authority
CN
China
Prior art keywords
input device
mode
position sensor
orientation
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980084453.8A
Other languages
English (en)
Inventor
菲利浦·肖斯勒
黄俊霖
戴恩·梅森
塞尔吉奥·珀迪斯-冈萨雷斯
赵俊衍
奈杰尔·克拉克
何塞·桑托斯
布莱恩·哈姆斯
张家维
柯蒂斯·道格拉斯·奥米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113396378A publication Critical patent/CN113396378A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于混合多模式输入装置的系统和方法包括能够进行二维(2D)操作模式和三维(3D)操作模式的多模式输入装置。所述装置包括二维(2D)位置传感器、三维(3D)位置传感器和处理器。所述处理器被配置为在所述处理器检测到所述输入装置处于第一方位时进入3D输入模式，且在所述处理器检测到所述输入装置处于第二方位时进入2D输入模式。2D输入模式被配置为向连接的计算机系统提供2D位置数据，并且其中，3D输入模式被配置为向连接的计算机系统提供3D位置数据。

Description

针对用于二维和三维环境的多用途输入装置的系统和方法
技术领域
本公开总体涉及计算机系统。更具体地，本公开涉及一种用于二维环境和三维环境的输入装置。
背景技术
混合现实系统是一个不断增长的市场。用于传统环境的输入的跟踪通常利用鼠标装置来完成。自20世纪70年代以来，桌面计算的“窗口、图标、鼠标和指针”范例在很大程度上保持不变。
发明内容
技术问题
移动计算(诸如智能电话、平板电脑等)的出现已经导致输入和用户体验的创新，诸如多点触摸、触控笔等。类似地，当今的虚拟和增强现实(VR/AR)计算接口需要不同于传统的计算鼠标的针对用户输入的特定遥控器和控制器。
技术方案
本公开提供了一种针对用于二维(2D)环境和三维(3D)环境的多用途输入装置的系统和方法。
在第一实施例中，提供了一种输入装置。所述装置包括能够感测二维(2D)位置和三维(3D)位置的位置传感器以及处理器。所述处理器被配置为当处理器检测到(例如，经由来自位置传感器的信息)输入装置处于第一方位时进入3D输入模式，并且当处理器检测到(例如，经由来自位置传感器的信息)输入装置处于第二方位时进入2D输入模式。2D输入模式被配置为向连接的计算机系统提供2D位置数据，并且其中，3D输入模式被配置为向连接的计算机系统提供3D位置数据。
在第二实施例中，提供了一种方法。所述方法包括：当输入装置处于第一方位时进入3D输入模式。所述方法还包括：当输入装置处于第二方位时进入2D输入模式。2D输入模式被配置为向连接的计算机系统提供2D位置数据，并且其中，3D输入模式被配置为向连接的计算机系统提供3D位置数据。
有益效果
本公开的实施例使得能够在不同的2D模式和3D模式之间容易切换。例如，使用同一混合输入装置(多模式输入装置)，用户能够使用2D菜单启动游戏并利用3D控制器开始玩游戏。本公开的实施例还能够实现2D环境和3D环境之间的连续操作流程。例如，使用同一混合输入装置(多模式输入装置)，用户能够浏览传统的2D网站，并且，将多模式输入装置用作2D计算机鼠标来从页面拖动2D图像，然后将多模式输入装置用作3D控制器来将该2D图像放置在3D环境中。在上述示例中，用户不需要释放图像来改变输入装置；而是作为替代，能够通过仅将多模式输入装置从2D模式切换到3D模式(诸如通过从桌面拿起多模式输入装置)来保持对图像的主动控制。
附图说明
为了更全面地理解本公开以及它的优点，现在结合附图参照以下描述，其中：
图1示出根据本公开的实施例的电子装置的示例；
图2是示出根据本公开的实施例的电子装置的示例配置的框图；
图3是示出根据本公开的实施例的程序模块的框图；
图4A和图4B示出根据本公开的输入装置；
图5A、图5B、图5C和图5D示出根据本公开的实施例的多模式输入装置；
图6A、图6B、图6C和图6D示出根据本公开的实施例的另一多模式输入装置；
图7示出根据本公开的实施例的另一多模式输入装置；
图8示出根据本公开的实施例的另一多模式输入装置；
图9A和图9B示出根据本公开的实施例的不同的多模式输入装置；
图10A、图10B和图10C示出根据本公开的实施例的操作模式从二维(2D)到三维(3D)的转换；
图11A和图11B示出根据本公开的实施例的光标或对象显示从2D到3D的转换；
图12示出根据本公开的实施例的用于使用传感器数据来在模式之间自动转换的处理；
图13示出根据本公开的实施例的用于使用电磁线圈传感器数据来在模式之间自动转换的处理；
图14示出根据本公开的实施例的用于使用惯性测量单元数据来在模式之间自动转换并且跟踪位置的处理；
图15示出根据本公开的实施例的用于使用机器/计算机视觉数据来在模式之间自动转换并且跟踪位置的处理；
图16示出根据本公开的实施例的用于使用来自传感器组合的数据来在模式之间自动转换并且跟踪位置的处理；
图17示出根据本公开的实施例的用于用户手位置检测来在模式之间自动转换的处理。
具体实施例
在进行下文之前，阐述贯穿本专利文档使用的某些词语和短语的定义可以是有利的。术语“发送”、“接收”和“通信”及其派生词涵盖直接通信和间接通信两者。术语“包括”和“包含”及其派生词意指包括但不限于。术语“或”是包括性的，意指和/或。短语“与…相关联”及其派生词意指包括、被包括在…内、与…互连、包含、被包含在…内、连接到或与…连接、耦接到或与…耦接、可与…通信、与…协作、交错、并置、接近于、绑定到或与…绑定、具有、具有…的性质、具有与…的关系或与…具有关系等。
此外，下面描述的各种功能可由一个或更多个计算机程序实现或支持，其中，每个计算机程序从计算机可读程序代码形成并被实现在计算机可读介质中。术语“应用”和“程序”指适于以合适的计算机可读程序代码实现的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任意类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任意类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、紧凑盘(CD)、数字视频盘(DVD)或任意其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括能够永久存储数据的介质和能够存储数据并稍后重写数据的介质，诸如可重写光盘或可擦除存储器装置。
如本文所使用的，术语“具有”、“可具有”、“包括”、“可包括”、“能够具有”或“能够包括”特征(例如，数字、功能、操作或诸如部件的组件)指示该特征的存在，并且不排除其他特征的存在。
如本文所用，术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或更多个”可包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一个”、“A或B中的至少一个”可表示以下全部：(1)包括至少一个A、(2)包括至少一个B或(3)包括至少一个A和至少一个B。
如本文所使用的，术语“第一”和“第二”可以修饰各种组件而不管其重要性如何，并且不限制所述组件。这些术语仅用于将一个组件与另一组件区分开。例如，第一用户装置和第二用户装置可以指示彼此不同的用户装置，而不管装置的顺序或重要性如何。例如，在不脱离本公开的范围的情况下，第一组件可以表示为第二组件，反之亦可。
将理解，当元件(例如，第一元件)被称为(可操作地或通信地)“与另一元件(例如，第二元件)耦接/耦接到另一元件(例如，第二元件)”或“与另一元件(例如，第二元件)连接/连接到另一元件(例如，第二元件)时，它能够直接地或经由第三元件与另一元件耦接或连接/耦接或连接到另一元件。相比之下，将理解，当元件(例如，第一元件)被称为“与另一元件(例如，第二元件)直接耦接/直接耦接到另一元件(例如，第二元件)”或“与另一元件(例如，第二元件)直接连接/直接连接到另一元件(例如，第二元件)”时，没有其他元件(例如，第三元件)介入所述元件和所述另一元件之间。
如本文所使用的，术语“被配置(或设置)为”可以根据情况与术语“适合于”、“具有…的能力”、“被设计为”、“适于”、“被制造为”或“能够”互换使用。术语“被配置(或设置)为”并非本质上表示“以硬件专门设计为”。而是，术语“被配置为”可以表示装置能够与另一装置或部件一起执行操作。
例如，术语“被配置(或设置)为执行A、B和C的处理器”可以表示可通过执行存储在存储器装置中的一个或更多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)或用于执行操作的专用处理器(例如，嵌入式处理器)。
本文使用的术语仅用于描述其一些实施例，而不是限制本公开的其他实施例的范围。要理解的是，除非上下文另有明确规定，否则单数形式包括复数指代。本文使用的包括技术术语和科学术语的所有术语具有与本公开的实施例所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解的是，诸如在常用词典中定义的那些术语应当被解释为具有与其在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于正式的含义来解释，除非在本文中明确地如此定义。在一些情况下，本文定义的术语可以被解释为排除本公开的实施例。
例如，根据本公开的实施例的电子装置的示例可以包括以下项中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、PDA(个人数字助理)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、相机或可穿戴装置(例如，智能眼镜、头戴式装置(HMD)、电子服装、电子手环、电子项链、电子配件、电子纹身、智能镜子或智能手表)。
贯穿本专利文档提供了对其他某些词语和短语的定义。本领域普通技术人员应当理解，在许多情况(如果不是大多数情况)下，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。
根据本公开的实施例，电子装置可以是智能家用电器。智能家用电器的示例可以包括以下项中的至少一个：电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、AppleTVTM或GoogleTVTM)、游戏机(XBOXTM、PLAYSTATIONTM)、电子词典、电子钥匙、摄像机或电子相框。
根据本公开的某些实施例，电子装置的示例可以包括以下项中的至少一个：各种医疗装置(例如，各种便携式医疗测量装置(血糖测量装置、心跳测量装置或体温测量装置)、磁共振血管造影(MRA)装置、磁共振成像(MRI)装置、计算机断层扫描(CT)装置、成像装置或超声装置)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、航行电子装置(例如，航行导航装置或陀螺罗盘)、航空电子设备、安全装置、车载头部单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)装置或物联网装置(例如，灯泡、各种传感器、电表或气表、喷洒器、火警器、恒温器、路灯、烤箱、健身器材、热水箱、加热器或锅炉)。
根据本公开的某些实施例，电子装置可以是以下项中的至少一个：一件家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或各种测量装置(例如，用于测量水、电、气或电磁波的装置)。
根据本公开的实施例，电子装置是上面列出的装置中的一个或上面列出的装置的组合。根据本公开的实施例，电子装置是柔性电子装置。本文公开的电子装置不限于上面列出的装置，并且可以根据技术的发展包括新的电子装置。
如本文所使用的，术语“用户”可以表示使用电子装置的人或另一装置(例如，人工智能电子装置)。
贯穿本专利文档提供了对其他某些词语和短语的定义。本领域普通技术人员应当理解，在许多情况(如果不是大多数情况)下，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。
下面讨论的图1至图17以及本专利文档中的用于描述本公开的原理的各种实施例仅是说明性的，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的无线通信系统中实现。
传统的“窗口、图标、鼠标和指针”(WIMP)范例被配置为为电子装置提供二维(2D)输入。移动计算的出现已经导致输入和用户体验的创新(诸如多点触摸、触控笔等)。类似地，当今的虚拟现实(VR)、增强现实(AR)、混合现实(MR)、交叉/扩展现实(XR)和/或其他计算接口需要与传统计算鼠标不同的用于用户输入的特定遥控器和/或控制器。现有的VR/AR/MR/XR输入方法允许UI元素的三维(3D)操纵，但是不能模拟传统计算鼠标的精确输入。
本公开的实施例提供了一种能够用作2D环境中的计算鼠标以及针对3D环境的VR/AR/MR/XR控制器两者的混合多模式装置。所公开的技术的混合系统允许无缝地利用WIMP范例以及由VR/AR/MR/XR实现的新体验两者的计算体验。某些实施例提供VR/AR/MR/XR增强(诸如，可以用装置实现的虚拟表示(例如，显示在装置上以增强装置的虚拟图形图标))以改善可用性。本公开的实施例可以提供位置/操作模式检测、针对用户的无缝2D和3D抓握的人体工学、用于提供物理装置的虚拟表示的3D跟踪、用户手存在检测、用于提供用户交互的虚拟表示的用户手位置感测、针对握持相关功能和模式切换的用户手位置感测、2D和3D手势支持以及其他特征。
图1示出根据本公开的各种实施例的网络环境100中的示例电子装置。图1所示的电子装置101和网络环境100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用电子装置101和网络环境100的其他实施例。
根据本公开的实施例，电子装置101被包括在网络环境100中。电子装置包括或被耦接到输入装置102。电子装置101可以包括总线110、处理器120、存储器130、输入/输出(IO)接口150、显示器160、通信接口170或传感器180中的至少一个。在一些实施例中，电子装置101可以排除所述组件中的至少一个组件或者可以添加其他组件。
总线110包括用于将组件120至组件170彼此连接并在组件之间传送通信(例如，控制消息和/或数据)的电路。
处理器120包括中央处理器(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器120能够对电子装置101的其他组件中的至少一个执行控制，并且/或者执行与通信有关的操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子装置101的至少一个其他组件相关的命令或数据。在各种实施例中，存储器130可以存储空间地图数据，其中，空间地图数据可以包括真实环境(诸如，办公楼、商场、房屋、游乐园、街区的内部或任意其他真实世界)的地图信息，或由电子装置101上的应用147利用的虚拟世界地图信息。根据本公开的实施例，存储器130存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可以表示为操作系统(OS)。
例如，内核141可以控制或管理用于执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141提供允许中间件143、API 145或应用147访问电子装置101的各个组件的接口以控制或管理系统资源。
例如，中间件143可以用作中继以允许API 145或应用147与内核141通信数据。可以提供多个应用147。中间件143能够例如通过将使用电子装置101的系统资源(例如，总线110、处理器120或存储器130)的优先级分配给多个应用147中的至少一个来控制从应用147接收的工作请求。
API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API145包括用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
IO接口150用作可以例如将从用户或其他外部装置输入的命令或数据传送到电子装置101的其他组件的接口。此外，IO接口150可以向用户或其他外部装置输出从电子装置101的其他组件接收的命令或数据。
显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、或微机电系统(MEMS)显示器、或电子纸显示器。显示器160能够向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以接收例如使用电子笔或用户的身体部分的触摸、手势、接近或悬停输入。
例如，通信接口170能够在电子装置101与外部电子装置(例如，第一电子装置102、第二外部电子装置104或服务器106)之间建立通信。例如，通信接口170可以通过无线通信或有线通信与网络162或164连接，以与外部电子装置通信。通信接口170可以是有线收发器或无线收发器或用于发送和接收信号(诸如视频馈送或视频流)的任意其他组件。
电子装置101还包括可以计量物理量或检测电子装置101的激活状态，并将计量或检测到的信息转换为电信号的一个或更多个传感器180。例如，传感器180可以包括用于触摸输入的一个或更多个按键、相机、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、深度或距离传感器、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外传感器(IR)传感器、超声传感器、虹膜传感器、指纹传感器等。传感器180还可以包括用于控制包括在其中的传感器中的至少一个的控制电路。这些传感器180中的任意一个可以位于电子装置101内。相机传感器180可以捕获将由处理器120组合的针对单个图像的多个帧。
输入装置102被配置为检测用户运动并向电子装置101提供相应的命令信号。例如，响应于用户对输入装置102的移动，电子装置102将与输入装置102的移动相应的命令信号传送到电子装置101。另外，输入装置102上的按键的触碰(诸如，按压)可以触发命令信号的通信。在某些实施例中，输入装置102包括触摸板，并且响应于与触摸板的交互，输入装置102传送命令信号。响应于命令信号，电子装置101执行一个或更多个功能。在某些实施例中，输入装置102经由无线连接(诸如，近场连接(诸如蓝牙、ZIGBEE等)、磁连接或光通信)耦接到电子装置101。在某些实施例中，输入装置102经由有线连接或有线线路连接耦接到电子装置。
在某些实施例中，提供一种外部电子装置，诸如可穿戴装置或可安装电子装置101的可穿戴装置(例如，光学头戴式显示器(HMD))。当电子装置101被安装在HMD中时，电子装置101检测在HMD中的安装并以增强现实模式操作。在某些实施例中，电子装置101检测在HMD中的安装并以增强现实模式操作。当电子装置101被安装在HMD中时，电子装置101通过通信接口170与HMD通信。电子装置101可以在不涉及单独的网络的情况下直接与HMD连接以与HMD通信。
无线通信能够将无线通信媒介(诸如例如以下项中的至少一个：长期演进(LTE)、高级长期演进(LTE-A)、第五代无线系统(5G)、毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM))用作蜂窝通信协议。有线连接可以包括以下项中的至少一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)。
网络162包括通信网络中的至少一个。通信网络的示例包括计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
外部电子装置104和服务器106各自可以是与电子装置101的类型相同的装置或不同类型的装置。根据本公开的某些实施例，服务器106包括一个或更多个服务器的组。根据本公开的某些实施例，在电子装置101上执行的所有操作或操作中的一些可以在另一电子装置或多个其他电子装置(例如，电子装置104或服务器106)上执行。根据本公开的某些实施例，当电子装置101应该自动地或应请求执行一些功能或服务时，电子装置101可以请求另一装置(例如，电子装置104或服务器106)执行与其相关联的至少一些功能而不是自己执行所述功能或服务，或者可以另外地请求另一装置(例如，电子装置104或服务器106)执行与其相关联的至少一些功能。所述另一电子装置(例如，电子装置104或服务器106)能够执行所请求的功能或附加功能，并将执行结果传送到电子装置101。电子装置101可以通过原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
尽管图1示出了电子装置101包括用于经由网络162与外部电子装置104或服务器106通信的通信接口170，但是根据本公开的实施例，电子装置101可以在没有单独的通信功能的情况下独立地操作。
服务器106可以通过执行在电子装置101上实现的操作(或功能)中的至少一个来支持驱动电子装置101。例如，服务器106可以包括可支持在电子装置101中实现的处理器120的处理模块或处理器。
例如，电子装置101可以包括诸如在处理器120内的事件处理模块。事件处理模块可以处理从其他元件(例如，处理器120、存储器130、输入/输出接口150或通信接口170)获得的信息的至少一部分，并且可以以各种方式将其提供给用户。服务器事件处理模块可以包括事件处理模块的组件中的至少一个，并且执行(或替代地执行)由事件处理模块进行的操作(或功能)中的至少一个。
例如，根据本公开的实施例，事件处理模块处理与当电子装置101安装在可穿戴装置(例如，电子装置102)中以用作显示设备并在增强现实模式下操作时产生的事件相关的信息，以适配增强现实模式并显示处理后的信息。当在增强现实模式下操作时生成的事件是与运行应用相关的事件时，事件处理模块可以阻止该应用的运行或将该应用处理为作为后台应用或进程进行操作。可以通过下面描述的图2提供关于事件处理模块185的附加信息。
事件处理模块可以与处理器120分离，或者事件处理模块的至少一部分可以被包括或实现在处理器120或至少一个其他模块中，或者事件处理模块的整体功能可以被包括或实现在所示的处理器120或另一处理器中。事件处理模块可以与存储在存储器130中的至少一个程序140相互配合地执行根据本公开的实施例的操作。
图2示出根据本公开的各种实施例的示例电子装置220。图2中所示的电子装置220的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用电子装置220的其他实施例。图2中描绘的电子装置220可以被配置为与电子装置101、102或104中的任意一个相同或类似。
图2是示出根据本公开的实施例的电子装置的示例配置的框图。参照图2，根据本公开的实施例的电子装置220可以是具有至少一个显示器的电子装置220。在以下描述中，电子装置220可以是主要执行显示功能的装置，或者可以表示包括至少一个显示器的普通电子装置。例如，电子装置220可以是具有触摸屏230的电子装置(例如，智能电话)。
根据某些实施例，电子装置220可以包括触摸屏230、控制器240、存储单元250或通信单元260中的至少一个。触摸屏230可以包括显示面板231和/或触摸面板232。控制器240可以包括增强现实模式处理单元241、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个。
例如，当电子装置220被安装在可穿戴装置210中时，电子装置220可以例如作为HMD操作，并运行增强现实模式。此外，根据本公开的实施例，即使当电子装置220未被安装在可穿戴装置210中时，电子装置220也可以根据用户的设置运行增强现实模式或运行增强现实模式相关应用。在以下实施例中，尽管电子装置220被设置为被安装在可穿戴装置210中以运行增强现实模式，但是本公开的实施例不限于此。
根据某些实施例，当电子装置220在增强现实模式下操作时(例如，电子装置220被安装在可穿戴装置210中以在头戴式剧院(HMT)模式下操作)，可以通过显示面板231显示与用户的眼睛(左眼和右眼)相对应的两个屏幕。
根据某些实施例，当电子装置220在增强现实模式下操作时，控制器240可以控制与在增强现实模式下操作时生成的事件相关的信息的处理以适配增强现实模式并显示处理后的信息。根据某些实施例，当在增强现实模式下操作时生成的事件是与运行应用相关的事件时，控制器240可以阻止该应用的运行或将该应用处理为作为后台进程或应用进行操作。
更具体地，根据本公开的实施例，控制器240可以包括用于执行根据本公开的各种实施例的功能的增强现实模式处理单元241、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个。本公开的实施例可以被实现为使用电子装置220的至少一个组件(例如，触摸屏230、控制器240或存储单元250)执行如下所述的各种操作或功能。
根据某些实施例，当电子装置220被安装在可穿戴装置210中，或者增强现实模式根据用户的设置被运行或者当增强现实模式相关应用运行时，增强现实模式处理单元241可以处理与增强现实模式的操作相关的各种功能。增强现实模式处理单元241可以加载存储在存储单元250中的至少一个增强现实程序251以执行各种功能。
事件检测单元242确定或检测当在增强现实模式下操作时事件由增强现实模式处理单元241生成。此外，事件检测单元242可以确定是否存在将在显示屏幕上显示的与在增强现实模式下操作时生成的事件相关的信息。此外，事件检测单元242可以确定将与在增强现实模式下操作时生成的事件相关地运行应用。下面描述与事件的类型相关的应用的各种实施例。
事件信息处理单元243可以根据事件检测单元242的确定结果，当存在与在增强现实模式下操作时发生的事件相关的将被显示的信息时，处理将被显示在显示屏幕上的事件相关信息以适配增强现实模式。可以应用用于处理事件相关信息的各种方法。例如，当在增强现实模式下实现三维(3D)图像时，电子装置220将事件相关信息转换为适配3D图像。例如，以二维(2D)显示的事件相关信息可以被转换为与3D图像相应的左眼和右眼信息，并且被转换的信息然后可被合成并被显示在当前正运行的增强现实模式的显示屏幕上。
当事件检测单元242确定存在将与在增强现实模式下操作时发生的事件相关地运行的应用时，应用控制器244执行控制以阻止与所述事件相关的应用的运行。根据某些实施例，当事件检测单元242确定存在将与在增强现实模式下操作时发生的事件相关地运行的应用时，应用控制器244可以执行控制，使得该应用在后台运行，以便在事件相关应用运行时不影响与增强现实模式相应的应用的运行或屏幕显示。
存储单元250可以存储增强现实程序251。增强现实程序251可以是与电子装置220的增强现实模式操作相关的应用。存储单元250还可以存储事件相关信息252。事件检测单元242可以参照存储在存储单元250中的事件相关信息252，以便确定发生的事件是否将被显示在屏幕上，或者识别与将与发生的事件相关地运行的应用相关的信息。
可穿戴装置210可以是包括图1所示的电子装置101的至少一个功能的电子装置，并且可穿戴装置210可以是可安装电子装置220的可穿戴支架。在可穿戴装置210是电子装置的情况下，当电子装置220安装在可穿戴装置210上时，可以通过电子装置220的通信单元260提供各种功能。例如，当电子装置220安装在可穿戴装置210上时，电子装置220可以检测是否被安装在可穿戴装置210上以与可穿戴装置210通信，并且可以确定是否在增强现实模式(或HMT模式)下操作。
根据某些实施例，在当通信单元260安装在可穿戴装置210上时未能自动确定是否安装了电子装置220时，用户可以通过运行增强现实程序251或选择增强现实模式(或HMT模式)来应用本公开的各种实施例。根据本公开的实施例，当可穿戴装置210与电子装置101一起工作或作为电子装置101的一部分工作时，可穿戴装置可以被实现为自动确定电子装置220是否安装在可穿戴装置210上，并使电子装置220的运行模式能够自动切换到增强现实模式(或HMT模式)。
图2所示的控制器240的至少一些功能可以被包括在图1所示的电子装置101的事件处理模块185或处理器120中。图2中所示的触摸屏230或显示面板231可以对应于图1的显示器160。图2中所示的存储单元250可以对应于图1的存储器130。
尽管在图2中触摸屏230包括显示面板231和触摸面板232，但是根据本公开的实施例，显示面板231或触摸面板232也可以被设置为分开的面板，而不是组合在单个触摸屏230中。此外，根据本公开的实施例，电子装置220可包括显示面板231，但不包括触摸面板232。
根据某些实施例，为了便于描述，电子装置220可以被表示为第一装置(或第一电子装置)，并且可穿戴装置210可以被表示为第二装置(或第二电子装置)。
根据某些实施例，电子装置可以包括用于在与增强现实模式相应的屏幕上进行显示的显示单元和用于执行控制的控制器，其中，所述控制器根据至少一个事件的发生来检测中断，以与增强现实模式相应的形式改变与事件相关的事件相关信息，并且在与增强现实模式相应的显示屏幕上显示被改变的事件相关信息。
根据某些实施例，所述事件可以包括从呼叫接收事件、消息接收事件、警报通知、调度器通知、无线保真(Wi-Fi)连接、WiFi断开、低电量通知、数据许可或使用限制通知、无应用响应通知或异常应用终止通知中选择的任意一个或更多个。
根据某些实施例，电子装置还包括被配置用于当事件不是将在增强现实模式下显示的事件时存储事件相关信息的存储单元，其中，当电子装置从虚拟现实模式切换到增强现实模式或透视(非增强现实)模式时，控制器可以执行控制以显示存储在存储单元中的所述事件相关信息。根据某些实施例，电子装置还可以包括存储关于将在增强现实模式下显示的至少一个事件的信息的存储单元。根据某些实施例，事件可以包括即时消息接收通知事件。根据某些实施例，当事件是与运行至少一个应用相关的事件时，控制器可以根据事件的发生来执行阻止应用运行的控制。根据某些实施例，当电子装置的屏幕模式从虚拟现实模式切换到增强现实模式或透视(非增强现实)模式时，控制器可以执行控制以运行被阻止的应用。根据某些实施例，当事件是与运行至少一个应用相关的事件时，控制器可以执行使得应用能够根据事件的发生而在增强现实模式的屏幕的后台运行的控制。根据某些实施例，当电子装置与可穿戴装置连接时，控制器可以执行控制以运行增强现实模式。根据某些实施例，控制器可以使得事件相关信息能够被布置和处理为在当前显示屏幕上正显示的增强现实模式屏幕的三维(3D)空间中显示。根据某些实施例，电子装置220可包括附加传感器，诸如一个或更多个红绿蓝(RGB)相机、动态视觉传感器(DVS)相机、360度相机或其组合。
图3是示出根据本公开的实施例的程序模块的框图。图3中所示的实施例仅用于说明，并且可以在不脱离本公开的范围的情况下使用其他实施例。在图3所示的示例中，尽管描绘了增强现实(AR)系统，但是本公开的至少一些实施例同样适用于虚拟现实(VR)和增强现实(AR)。参照图3，程序模块可以包括系统操作系统(例如，OS)310、架构320和应用330。
系统操作系统310可以包括至少一个系统资源管理器或至少一个装置驱动器。系统资源管理器可以执行例如系统资源的控制、分配或恢复。系统资源管理器可以包括至少一个管理器，诸如进程管理器、存储器管理器或文件系统管理器。装置驱动器可以包括至少一个驱动器，诸如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
根据某些实施例，架构320(例如，中间件)可以提供例如应用通常所需的功能，或者通过应用编程接口(API)向应用提供各种功能，以允许应用有效地使用电子装置内的有限系统资源。
包括在架构320中的AR架构可以控制与电子装置上的增强现实模式操作相关的功能。例如，当运行增强现实模式操作时，AR架构320可以控制应用330中的与增强现实相关的至少一个AR应用351，以便在电子装置上提供增强现实模式。
应用330可以包括多个应用，并且可以包括在增强现实模式下运行的至少一个AR应用351和在非增强现实模式下运行的至少一个普通应用352。
应用330还可以包括AR控制应用340。至少一个AR应用351和/或至少一个普通应用352的操作可以由AR控制应用340控制。
当电子装置在增强现实模式下操作时发生至少一个事件时，系统操作系统310可以向架构320(例如AR架构)通知事件的发生。
然后，架构320可以控制普通应用352的运行，使得可以针对在非增强现实模式下(而不是在增强现实模式下)发生的事件在屏幕上显示事件相关信息。当存在将与在普通模式下发生的事件相关地运行的应用时，架构320可以执行或提供控制以运行至少一个普通应用352。
根据某些实施例，当在增强现实模式下操作时发生事件时，架构320(例如AR架构)可以阻止至少一个普通应用352的操作以显示与发生的事件相关的信息。架构320可以将在增强现实模式下操作时发生的事件提供给AR控制应用340。
AR控制应用340可以对与在增强现实模式下操作时发生的事件相关的信息进行处理，以适配增强现实模式的操作。例如，可以将2D的平面事件相关信息处理成3D信息。
AR控制应用340可以控制当前运行的至少一个AR应用351，并且可以执行控制以合成经处理的事件相关信息以在AR应用351正在运行的屏幕上显示，并在其上显示事件相关信息的结果。
根据某些实施例，当在增强现实模式下操作时发生事件时，架构320可以执行控制以阻止与发生的事件相关的至少一个普通应用352的运行。
根据某些实施例，当在增强现实模式下操作时发生事件时，架构320可以执行控制以暂时阻止与发生的事件相关的至少一个普通应用352的运行，然后当增强现实模式终止时，架构320可以执行控制以运行被阻止的普通应用352。
根据某些实施例，当在增强现实模式下操作时发生事件时，架构320可以控制与发生的事件相关的至少一个普通应用352的运行，使得与事件相关的所述至少一个普通应用352在后台操作，以便不影响当前运行的AR应用351使用的屏幕。
结合图3描述的实施例是用于以程序的形式实现本公开的实施例的示例，并且本公开的实施例不限于此，而是可以以其他各种形式实现。此外，虽然结合图2和图3描述的实施例参照AR，但是它可以应用于其他场景，诸如混合现实或虚拟现实等。各种现实场景在本文中可以统称为扩展现实(XR)。
图4A和图4B示出根据本公开的输入装置。输入装置405a和405b的实施例仅用于说明，并且可以在不脱离本公开的范围的情况下使用其他实施例。
2D输入装置405a(诸如通常被称为“鼠标”装置)被配置为搁在触觉表面上，诸如书桌、桌子或其他合适的平坦且基本上水平的表面的表面。2D输入装置405a将(二维的)横向运动(诸如向右、向左、向上(远离操作者)、向下(朝向操作者)或对角地移动)转换为用于操纵2D输入装置405a所耦接到的电子装置101的屏幕上的一个或更多个对象(诸如，光标或图标)的相应命令信号。在某些实施例中，2D输入装置405a包括一个或更多个按键(诸如第一数据按键410、第二数据按键415和滚轮420)，以向电子装置提供命令(诸如打开或执行特定应用的命令)。2D输入装置405a被配置为向电子装置101提供2D输入。也就是说，输入装置405a被配置为检测两个维度上的运动并且在两个维度上操纵光标或图标。
3D输入装置405b被配置为由操作者握住，诸如远离书桌、桌子或其他合适的平坦且基本上水平的表面的表面。3D输入装置405b能够通过至少三个自由度(3DOF)跟踪某些对象。3D输入装置405b包括跟踪3个或更多个自由度(DOF)(诸如6DOF，通常为方位)的传感器。3D输入装置405b将(三维的)运动(诸如水平向右、水平向左、水平向上(远离操作者)、水平向下(朝向操作者)、垂直向上(远离表面或地面)、垂直向下(朝向表面或地面)、以上述方向的任意组合对角地或旋转地移动)转换为用于操纵3D输入装置405b所耦接到的电子装置101的屏幕上的3D环境中的一个或更多个对象的相应命令信号。在某些实施例中，3D输入装置405b包括触摸表面425和一个或更多个按键430，以向电子装置提供附加命令(诸如打开或执行特定应用的命令)。3D输入装置405b被配置为向电子装置101提供3D输入。也就是说，3D输入装置405b被配置为检测三个维度上的运动并在三个维度上操纵对象。
在空间计算时代，利用运行VR/AR(和/或MR/XR)环境的计算机的用户可能需要计算鼠标(诸如，2D输入装置405a)以及VR/AR控制器(诸如3D输入装置405b)两者。这样的环境可能经常要求用户频繁地在输入装置之间切换，或者当尝试使用3D控制器提供2D精度时这样的环境可能存在不足(或反之亦然)。
由于用户无法直接看到2D输入装置405a(诸如当用户佩戴VR头戴式耳机时)，VR还为2D输入装置405a带来了独特的挑战。这使得简单的任务(诸如定位2D输入装置405a或将手部运动协调到2D输入装置405a上的按键410、415)更加困难。已经针对3D输入装置405b(VR控制器)而非传统输入装置解决了这些挑战中的许多挑战。
本公开的实施例提供了一种能够用作2D输入装置(诸如，计算鼠标)以及3D输入装置(诸如，VR/AR/MR/XR控制器)两者的混合多模式输入装置。混合多模式输入装置实现了能够无缝地利用WIMP范例以及由VR/AR/MR/XR实现的新体验两者的计算体验。
某些实施例可以减少所需输入装置的数量，从而减少切换装置的需要，并且还改善了便携性。某些实施例可以实现在多个模态之间无缝转换(诸如从2D鼠标到3D工作空间的拖动)的新工作流。某些实施例还可以通过装置的VR表示和手指/握持定位来改善计算鼠标操作的用户体验。
图5A至图5D示出根据本公开的实施例的示例多模式输入装置。多模式输入装置500的示例实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。
多模式输入装置500包括具有人体工学设计的壳体505。壳体505可具有使用户能够舒适地将他们的手掌放在或搁在多模式输入装置500上的轮廓部分。所述轮廓部分还被配置为使得用户能够用他们的手握持多模式输入装置500。
也就是说，如图5B所示，多模式输入装置500包括2D鼠标配置。2D鼠标配置可以包括2个按键和滚轮，并且被配置为提供2D跟踪。在2D鼠标配置的操作中，用户的手平行于触觉表面，诸如书桌或桌子的表面。
也就是说，如图5C所示，多模式输入装置500还包括3D控制器配置。3D控制器配置可以包括2个触发器(来自按键的切换功能)和触控板，并且被配置为提供3D跟踪。多模式输入装置500可以包括口袋、凹槽或通孔，以使得能够将多模式输入装置500用作指针。在某些实施例中，为了便于使用和握持人体工学，多模式输入装置500由软材料构成。在3D鼠标配置的操作中，用户的手可以垂直于触觉表面，诸如书桌或桌子的表面。多模式输入装置500被配置为利用用户的抓握的变化最小到没有变化来在模式之间转换。多模式输入装置500通过用户的手简单旋转多模式输入装置500来提供模式之间的自然转换。
多模式输入装置500还包括第一组按键510。如图5B所示的示例中所示，第一组按键510被设置为当用户的手搁在多模式输入装置500上时(诸如当用户以2D模式操作多模式输入装置500时)可由用户手上的一个或更多个手指接触，类似于操作计算鼠标。多模式输入装置500还包括第二组按键515。在某些实施例中，多模式输入装置500包括触摸板520。触摸板520可以是电容式触控板。如图5C所示的示例中所示，第二组按键515和/或触摸板520被设置为在用户在他们的手中握持多模式输入装置500时(诸如当用户以3D模式操作多模式输入装置500(诸如，VR/AR/MR/XR控制器)时)可由用户手上的拇指接触。
在某些实施例中，第一组按键510中的一个或更多个被配置为在多模式输入装置500处于图5C中所示出的3D模式下时被触碰。在某些实施例中，第二组按键515及/或触摸板520中的一个或更多个被配置为在多模式输入装置500处于图5B中所示的2D模式下时被触碰。
多模式输入装置500包括处理电路(诸如，处理器525)、存储器530、输入/输出(IO)接口535、通信接口540或传感器545。多模式输入装置500可以包括被配置为将处理器525、存储器530、IO接口535、通信接口540或传感器545中的一个或更多个耦接的总线550。
处理器525包括中央处理器(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。处理器525能够对多模式输入装置500的其他组件中的至少一个执行控制，并且/或者执行与多模式输入装置500的操作模式相关的操作或数据处理。
存储器530可以包括易失性和/或非易失性存储器。例如，存储器530可以存储与多模式输入装置500的操作和方位相关的命令或数据。
在某些实施例中，多模式输入装置500包括一个或更多个传感器545。传感器545包括被配置为测量、检测或确定多模式输入装置500的位置或方位的一个或更多个传感器。例如，多模式输入装置500可以包括一个或更多个传感器545，诸如以下项中的一个或更多个：一个或更多个光学传感器、红外传感器、加速度计、陀螺仪传感器、磁力计、握持-位置传感器或方位传感器系统。方位传感器系统可以是使用一个或更多个算法来组合来自加速度计、陀螺仪传感器或磁力计中的一个或更多个的信息的虚拟传感器。在某些实施例中，磁力计被配置为执行6DOF电磁场跟踪。在某些实施例中，多模式输入装置500包括电磁线圈以跟踪位置并控制模式。在某些实施例中，多模式输入装置500包括惯性测量单元(IMU)以跟踪位置并控制模式。在某些实施例中，多模式输入装置500包括机器视觉电路(诸如一个或更多个可见或红外(IR)发射器和/或接收器)以跟踪位置并控制模式。在某些实施例中，多模式输入装置500包括多个触摸传感器和/或开关，以确定用户的手/握持位置以控制模式。在某些实施例中，多模式输入装置500使用传感器、IMU、电磁线圈和机器视觉电路的组合来跟踪位置并控制模式。在某些实施例中，多模式输入装置500包括被配置为检测2D平面和3D平面中的运动的组合位置传感器。例如，当多模式输入装置500作为计算机鼠标操作时，组合位置传感器可以被配置为检测多模式输入装置500搁在触觉表面上，并且检测多模式输入装置500的横向移动。另外，诸如当多模式输入装置500作为控制器操作时，组合位置传感器可以被配置为检测多模式输入装置500已经从触觉表面被拿起，并且此后检测空间中的6DOF运动。在某些实施例中，所述3D位置传感器包括被配置为测量所述输入装置相对于初始位置的位置的多个视频相机。也就是说，系统被配置为基于所比较的图像的连续性或所比较的相对于先前位置或初始位置的当前位置来检测和识别3D运动。
IO接口535可以包括数据输入按键或触摸板中的一个或更多个。在某些实施例中，触摸板包括电容式触控板。在某些实施例中，IO接口535包括模式开关。模式开关被配置为由用户触碰以将多模式输入装置500从包括2D模式的第一模式(诸如，计算鼠标，如图5B所示的示例中所示)切换到包括3D模式的第二模式(诸如，VR/AR/MR/XR控制器(“ontroller”)，如图5C所示的示例中所示)。
计算机接口540包括通信电路(诸如，发射器或收发器)，被配置为将方位数据和命令数据传送到多模式输入装置500所耦接到的电子装置。在某些实施例中，多模式输入装置500将方位数据传送到电子装置101。例如，多模式输入装置500可以传送指示符信息，诸如指示多模式输入装置500正在2D模式下操作的2D指示符或指示多模式输入装置500正在3D模式下操作的3D指示符。
处理器525被配置为确定多模式输入装置500的方位。在某些实施例中，处理器525从一个或更多个传感器545接收位置数据、方位数据或两者。在某些实施例中，处理器525检测开关位置或接收指示开关位置的信号。因此，处理器525被配置为执行位置和操作模式检测。通过一个或更多个传感器525、开关(IO接口535)或两者，处理器525被配置为检测多模式输入装置500的位置、多模式输入装置500的姿态、对应于多模式输入装置500的手活动、多模式输入装置500的物理输入。位置可以包括以下项中的一个或更多个：高度、方位或移动的特定区域。姿态可以包括以下项中的一个或更多个：由多模式输入装置500以一个或更多个模式进行的加速或移动。手活动可以包括多模式输入装置500以类似于计算机鼠标被握持的方式而被握持的第一活动、多模式输入装置500以类似于3D控制器被握持的方式而被握持的第二活动、或者其中没有手存在的不存在位置。物理输入可以包括对指定按键、开关、敲击区域、握持-位置传感器等的触碰。在某些实施例中，处理器525被配置为根据在电子装置101上执行的应用来检测方位。也就是说，在某些实施例中，2D模式/3D模式切换是特定于应用的。在某些实施例中，处理器525被配置为执行以下项中的一个或更多个：手存在检测、用于人机交互的虚拟表示的手位置感测、或用于握持相关功能和模式切换的手位置感测。
因此，多模式输入装置500被配置为提供：具有提供无缝2D和3D握持的人体工学的轮廓壳体；手存在检测；用于人机交互的虚拟表示的手位置感测；用于握持相关功能和模式切换的手位置感测。多模式输入装置500被配置为能够实现用于物理装置的虚拟表示的3D跟踪以及2D和3D手势支持。在某些实施例中，基于电子装置101和多模式输入装置500之间的通信，电子装置101被配置为提供虚拟表示，诸如鼠标位置和方位、光标或图标上下文形状以及手位置表示。鼠标位置和方位能够使得或辅助用户找到多模式输入装置500并增强直观性和使用。手表示包括关于用户的各个手指在哪些按键上或在哪些按键附近的指示，或者指示装置被如何握在手内的手的表示。多模式输入装置500包括针对个人习惯、上下文形状(诸如当处于“指针”模式时更像箭头的形状)和指示活动区域(诸如活动按键或活动触控板)的颜色突出显示而提供的鼠标和图标(指针或形状)。
图6A至图6D示出根据本公开的实施例的另一多模式输入装置。多模式输入装置600的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。多模式输入装置600可以与多模式输入装置500相同，或者包括与多模式输入装置500类似的特征。例如，多模式输入装置600可以包括以下项中的一个或更多个：处理器525、存储器530、IO接口535、通信接口540、传感器545或总线550。
多模式输入装置600包括轮廓壳体605。多模式输入装置600还包括以下项中的一个或更多个：一个或更多个输入按键610、触摸板615、拨动开关、或拇指按键、或滚轮620。
轮廓壳体605包括弯曲顶表面625。弯曲顶表面625的尺寸被设计为当用户的手搁在弯曲顶表面625上时舒适地配合。也就是说，弯曲顶表面625被符合人体工学地设计为当用户的手搁在多模式输入装置600上时适配在用户的手掌内。轮廓壳体605还包括基本上平坦的底表面630。也就是说，底表面是平坦的，但是可以包括可以从平坦底表面630突出的一个或更多个滑动件635。另外，轮廓壳体605可以包括一个或更多个凹口，诸如被配置为使得能够接入电池仓或充电端口。底表面630还可以包括光学传感器645或轨迹球，被配置为检测或测量多模式输入装置600沿着触觉表面(诸如书桌或桌子的表面)的横向运动。因此，底表面630是平坦的，但是可以具有一个或更多个突起或凹口，因此将底表面630呈现为基本上平坦。轮廓壳体605的尺寸被设计为具有宽度640，其中，所述宽度640被配置为使得多模式输入装置600能够舒适地适配在用户的手的拇指和第五手指(也称为“小手指”或“小指”(即，手的最靠近尺骨且最小的手指，与拇指相对，并且靠近无名指))之间。轮廓壳体605还包括处于轮廓壳体605的侧边缘上的凹槽650。凹槽650可以从底表面630朝向弯曲顶表面625向上延伸到侧表面的至少一半。凹槽650的尺寸被设计为当用户的手握持多模式输入装置600时对于用户而言在人体工学上是舒适的，并且提供用于2D使用和3D握持的人体工学。例如，当用户将多模式输入装置600握在用户的手中时，凹槽650的尺寸可以被设计为容纳用户的手的第四手指(即，“无名指”)和第五手指中的一个或更多个。也就是说，当用户握持多模式输入装置600并将多模式输入装置600拿离触觉表面(诸如，书桌或桌子的表面)时，用户的手包围并握持多模式输入装置600，使得手的一个或更多个手指触碰、接触或部分地适配在凹槽650内。
图7示出根据本公开的实施例的另一多模式输入装置。多模式输入装置700的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。多模式输入装置700可以与多模式输入装置500或多模式输入装置600相同，或者包括与多模式输入装置500或多模式输入装置600类似的特征。例如，多模式输入装置700可以包括以下项中的一个或更多个：处理器525、存储器530、IO接口535、通信接口540、传感器545或总线550。
多模式输入装置700包括轮廓壳体705。多模式输入装置700还包括以下项中的一个或更多个：一个或更多个输入按键710、触摸板715、拨动开关、或拇指按键、或滚轮(未示出)。
轮廓壳体705包括顶表面。顶表面的尺寸被设计为当用户的手搁在顶表面上时舒适地适配。也就是说，当用户的手搁在多模式输入装置700上时，顶表面被符合人体工学地设计为适配在用户的手的手掌内。轮廓壳体705还包括基本上平坦的底表面。也就是说，底表面是平坦的，但是可以包括可以从平坦底表面突出的一个或更多个滑动件。另外，轮廓壳体705可以包括一个或更多个凹口，诸如被配置为使得能够接入电池仓或充电端口。底表面还可以包括光学传感器或轨迹球，被配置为检测或测量多模式输入装置700沿着触觉表面(诸如，书桌或桌子的表面)的横向运动。因此，底表面是平坦的，但是可以具有一个或更多个突起或凹口，因此将底表面呈现为基本上平坦。轮廓壳体705的尺寸被设计为使得多模式输入装置700的宽度720使多模式输入装置700能够舒适地适配在用户的手的拇指和第五手指之间。轮廓壳体705还包括弧形开口或通孔725。通孔725的径向边缘包括由轮廓壳体705形成的部分和由开关730形成的部分。通孔725的尺寸被设计为使得当用户的手握持多模式输入装置700时，轮廓壳体705对于用户而言在人体工学上是舒适的。例如，当用户将多模式输入装置700握在用户的手内时，通孔720的尺寸可以被设计为容纳用户的手的第四手指(即，“无名指”)和第五手指中的一个或更多个。也就是说，当用户握持多模式输入装置700并将多模式输入装置700拿离触觉表面(诸如，书桌或桌子的表面)时，用户的手包围并握持多模式输入装置700，使得手的一个或更多个手指触碰开关730并部分地适配在通孔725内。例如，当用户拿起多模式输入装置700时，一个或更多个手指触碰开关730的杆臂，向内朝向通孔725按压所述杆臂，使得用户能够将轮廓壳体705和开关730的杆臂握持在用户的手内。
处理器(诸如，处理器525)能够检测开关730被触碰并且确定多模式输入装置700将以3D模式操作。例如，当用户拿起多模式输入装置700并触碰(即，按压)开关630的杆臂时，开关630可以向处理器525发送信号，其中，该信号指示多模式输入装置700被用户的手握持并且将作为3D控制器以3D模式操作。在某些实施例中，处理器525检测到开关730的杆臂已被触碰。例如，开关730的杆臂可以关闭处理器525也耦接到的电路。当开关730的杆臂被触碰时，杆臂的移动断开电路。之后，处理器525诸如通过检测电流的中断来检测开路。
图8示出根据本公开的实施例的另一多模式输入装置。多模式输入装置800的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。多模式输入装置800可以与多模式输入装置500、多模式输入装置600或多模式输入装置700相同，或者包括与多模式输入装置500、多模式输入装置600或多模式输入装置700类似的特征。例如，多模式输入装置800可以包括以下项中的一个或更多个：处理器525、存储器530、IO接口535、通信接口540、传感器545或总线550。
多模式输入装置800包括轮廓壳体805。多模式输入装置800还包括以下项中的一个或更多个：一个或更多个输入按键810、触摸板815、拨动开关、或拇指按键、或滚轮(未示出)。
轮廓壳体805包括顶表面。顶表面的尺寸被设计为当用户的手搁在顶表面上时舒适地适配。也就是说，当用户的手搁在多模式输入装置800上时，顶表面被符合人体工学地设计为适配在用户的手的手掌内。轮廓壳体805还包括基本上平坦的底表面。也就是说，底表面是平坦的，但是可以包括可以从平坦底表面突出的一个或更多个滑动件。另外，轮廓壳体805可以包括一个或更多个凹口，诸如被配置为使得能够接入电池仓或充电端口。底表面还可以包括光学传感器或轨迹球，被配置为检测或测量多模式输入装置800沿着触觉表面(诸如，书桌或桌子的表面)的横向运动。因此，底表面是平坦的，但是可以具有一个或更多个突起或凹口，因此将底表面呈现为基本上平坦。轮廓壳体805的尺寸被设计为使得多模式输入装置800的宽度820使多模式输入装置800能够舒适地适配在用户的手的拇指和第五个手指之间。轮廓壳体805还包括通孔825。通孔825的尺寸被设计为使得当用户的手握持多模式输入装置800时，轮廓壳体805对于用户而言在人体工学上是舒适的。例如，当用户将多模式输入装置800握持在用户的手内时，通孔820的尺寸可以被设计为容纳用户的手的第二手指(即“指针手指”)、第三手指(即“中指”)、第四手指和第五手指中的一个或更多个。也就是说，当用户握持多模式输入装置800并将多模式输入装置800拿离触觉表面(诸如，书桌或桌子的表面)时，用户的手包围并握持多模式输入装置800，使得一个或更多个手指部分地适配在通孔825内或穿过通孔825。
图9A和图9B示出根据本公开的实施例的不同的多模式输入装置。图9A和图9B中所示的多模式输入装置的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。多模式输入装置中的每一个可以与多模式输入装置500、多模式输入装置600、多模式输入装置700或多模式输入装置800相同，或者包括与多模式输入装置500、多模式输入装置600、多模式输入装置700或多模式输入装置800类似的特征。例如，图9A和图9B中所示的每个多模式输入装置可以包括轮廓壳体和以下项中的一个或更多个：处理器525、存储器530、IO接口535、通信接口540、传感器545、总线550、触摸板、数据按键、凹槽或通孔。
图10A至图10C示出根据本公开的实施例的操作模式从2D到3D的转换。图10A至图10C中所示的转换的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图10A至图10C中公开的示例参照多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在图10A所示的示例中，用户正在2D平面中操作多模式输入装置500。也就是说，多模式输入装置500在平坦的触觉表面(诸如，书桌或桌子的表面)上操作。多模式输入装置500向连接的计算装置(诸如，电子装置101)提供2D输入。
在图10B所示的示例中，用户将多模式输入装置500从2D平面提至3D空间中。例如，用户将多模式输入装置500提至平坦的触觉表面上方的空间中。
在图10C所示的例子中，用户在3D空间中操作多模式输入装置500。也就是说，多模式输入装置500可以在空中四处移动。通过在空间中移动多模式输入装置500，多模式输入装置500向计算装置提供3D输入。
图11A和图11B示出根据本公开的实施例的光标或对象显示从2D到3D的转换。图11A和图11B中所示的转换的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图11A和图11B中公开的示例参照多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在图11A所示的示例中，多模式输入装置500在2D平面中操作，诸如图10A中所示。多模式输入装置500向所附连的计算装置(诸如，电子装置101)提供多模式输入装置500的平面位置。计算装置(诸如，在显示器231上)显示2D指针1105作为光标。2D指针1105示出多模式输入装置500正在2D平面中操作。2D指针1105还可以提供多模式输入装置500的空间位置。
在图11B所示的示例中，多模式输入装置500在3D空间中操作，诸如图10C中所示。多模式输入装置500向所附连的计算装置(诸如，电子装置101)提供多模式输入装置500的空间位置。在某些实施例中，空间位置基于3DOF信息。在某些实施例中，空间位置基于6DOF信息。计算装置(诸如，在显示器231上)显示3D对象1110。3D对象1110示出多模式输入装置500正在3D空间中操作。当多模式输入装置500正在3D空间中操作时，3D对象1110还可以经由3D对象1110的移动和旋转来提供多模式输入装置500的空间位置和方位。
图12示出根据本公开的实施例的用于使用传感器数据来在模式之间自动转换的处理。图12中所示的转换1200的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图12中公开的示例参照了多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在块1205中，处理器525检查多模式输入装置500的一个或更多个传感器。处理器525在没有从用户接收到的输入或命令的情况下从传感器545读取一或更多个测量值。例如，处理器525可以从一个或更多个传感器接收指示多模式输入装置500是平坦的或被升高的测量信号。如果处理器525(诸如，从搁在触觉表面上的多模式输入装置500)确定多模式输入装置500是平坦的，则处理器525在块1210中启用2D操作模式。在2D操作模式下，处理器525启用鼠标输入并禁用控制器输入。如果处理器525确定多模式输入装置500被提起，使得多模式输入装置500被提离触觉表面，则处理器525在块1215中启用3D操作模式。在3D操作模式下，处理器525启用3D控制器输入并禁用2D鼠标输入。
图13示出根据本公开的实施例的用于使用电磁线圈传感器数据来在模式之间自动转换的处理。图13中所示的转换1300的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图13中公开的示例参照了多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在块1305中，处理器525检查多模式输入装置500的一个或更多个传感器。处理器525在没有从用户接收到的输入或命令的情况下从电磁线圈系统或电磁线圈传感器(诸如，传感器545)读取一个或更多个测量值。例如，处理器525可以从电磁线圈系统接收指示多模式输入装置500是平坦的或被升高的测量信号。如果处理器525(诸如从搁在触觉表面上的多模式输入装置500)确定多模式输入装置500是平坦的，则处理器525在块1310中启用2D操作模式。在2D操作模式下，处理器525启用鼠标输入并禁用控制器输入。如果处理器525确定多模式输入装置500被提起，使得多模式输入装置500被提离触觉表面，则处理器525在块1315中启用3D操作模式。在3D操作模式下，处理器525启用3D控制器输入并禁用2D鼠标输入。
图14示出根据本公开的实施例的用于使用惯性测量单元(IMU)数据来在模式之间自动转换并且跟踪位置的处理。图14中所示的转换1400的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图14中公开的示例参照多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在块1405中，处理器525检查多模式输入装置500的一个或更多个传感器545，诸如IMU。处理器525在没有从用户接收到的输入或命令的情况下从IMU读取一个或更多个测量值。例如，处理器525可以从IMU接收指示多模式输入装置500是平坦的或被升高的测量信号。如果处理器525(诸如从搁在触觉表面上的多模式输入装置500)确定多模式输入装置500是平坦的，则处理器525在块1410中启用2D操作模式。在2D操作模式下，处理器525启用鼠标输入并禁用控制器输入。如果处理器525确定多模式输入装置500被提起，使得多模式输入装置500被提离触觉表面，则处理器525在块1415中启用3D操作模式。在3D操作模式下，处理器525启用3D控制器输入并禁用2D鼠标输入。
图15示出根据本公开的实施例的用于使用机器/计算机视觉数据来在模式之间自动转换并且跟踪位置的处理。图15中所示的转换1500的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图15中公开的示例参照多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在块1505中，处理器525检查多模式输入装置500的一个或更多个传感器545，诸如机器/计算机视觉传感器。机器/计算机视觉可以包括可见光传感器、IR传感器、可见光检测器或IR检测器中的一个或更多个。处理器525在没有从用户接收的输入或命令的情况下从机器/计算机视觉传感器读取一个或更多个测量值。例如，处理器525可从机器/计算机视觉传感器接收指示多模式输入装置500是平坦的或被提起的测量信号。如果处理器525(诸如从搁在触觉表面上的多模式输入装置500)确定多模式输入装置500是平坦的，则处理器525在块1510中启用2D操作模式。在2D操作模式中，处理器525启用鼠标输入并禁用控制器输入。如果处理器525确定多模式输入装置500被提起，使得多模式输入装置500被提离触觉表面，则处理器525在块1515中启用3D操作模式。例如，处理器525可以基于来自机器/计算机视觉传感器的测量值来确定多模式输入装置500已经被提到距触觉表面的特定高度或距离。在3D操作模式中，处理器525启用3D控制器输入并禁用2D鼠标输入。
图16示出根据本公开的实施例的用于使用来自传感器组合的数据来在模式之间自动转换并且跟踪位置的处理。图16中所示的转换1600的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图16中公开的示例参照多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在块1605中，处理器525检查多模式输入装置500的传感器545(例如机器/计算机视觉传感器、加速度计、IMU、陀螺仪、磁力计)的组合。处理器525在没有从用户接收到的输入或命令的情况下从传感器545的组合读取一个或更多个测量值。例如，处理器525可以从传感器545的组合接收指示多模式输入装置500是平坦的或被提起的测量信号。如果处理器525(诸如从搁在触觉表面上的多模式输入装置500)确定多模式输入装置500是平坦的，则处理器525在块1610中启用2D操作模式。在2D操作模式下，处理器525启用鼠标输入并禁用控制器输入。如果处理器525确定多模式输入装置500被提起，使得多模式输入装置500被提离触觉表面，则处理器525在块1615中启用3D操作模式。在3D操作模式下，处理器525启用3D控制器输入并禁用2D鼠标输入。
图17示出根据本公开的实施例的用于用户手位置检测以在模式之间自动转换的处理。图17中所示的转换1700的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。尽管图17中公开的示例参照多模式输入装置500，但是利用多模式输入装置600、700或800中的任意一个的实施例同样适用。
在块1705中，处理器525检查多模式输入装置500的传感器545，诸如物理接触传感器或开关。处理器525在没有从用户接收到的输入或命令的情况下从传感器545读取一个或更多个测量值。例如，处理器525可以从传感器545接收指示用户的手是以下情形之一的测量信号：不存在、以鼠标-握持方式握住多模式输入装置500(即，手搁在多模式输入装置500的顶表面上)、或以指针握持方式握持多模式输入装置500(即，手握持多模式输入装置500使得一个或更多个手指被包围在多模式输入装置500的一部分周围)。如果处理器525确定手不在多模式输入装置500处，则处理器525在块1710中禁用多模式输入装置500并启用空闲模式。如果处理器525确定手正以鼠标-握持方式握住多模式输入装置500(诸如当多模式输入装置500搁在触觉表面上并且手在多模式输入装置500顶上时)，则处理器525在块1715中启用2D操作模式。在2D操作模式下，处理器525启用鼠标输入并禁用控制器输入。如果处理器525确定手正在以指针握持方式握持多模式输入装置500(诸如当多模式输入装置500被提离触觉表面并被握在用户的手中时)，则处理器525在块1720中启用3D操作模式。在3D操作模式下，处理器525启用3D控制器输入并禁用2D鼠标输入。
因此，本公开的实施例提供了多个模式切换机制。多模式输入装置可以基于以下项中的一个或更多个进行切换：位置、手势、手活动、软件上下文或物理输入。位置切换包括响应于以下项中的一个或更多个的检测和动作：升高、方位和移动到特定区域中。手势切换包括加速模式、运动模式等。手活动切换包括指针握持、鼠标型握持或不存在。软件上下文包括应用特定切换、按键响应等。物理输入切换包括按键按压和按下、开关触碰、轻敲等。
本公开的实施例提供一种具有电子装置和多模式输入装置500的系统。所述系统被配置为提供虚拟表示，诸如鼠标位置和方位、光标或图标上下文形状以及手位置表示。鼠标位置和方位能够使得或辅助用户找到多模式输入装置500并增强直观性和使用。手表示包括关于用户的各个手指在哪些按键上或在哪些按键附近的指示，或者指示装置被如何握在手内的手的表示。多模式输入装置500包括针对个人习惯、上下文形状(诸如，当处于“指针”模式时更像箭头的形状)和指示可操作区域(诸如，活动按键或活动触控板)的颜色突出显示而提供的鼠标和图标。
尽管已经在特定实施例中公开了各种特征，但是每个实施例的方面对所公开的实施例不是排他的，并且可以在不脱离本公开的范围的情况下在没有其他实施例的情况下进行组合。也就是说，在不脱离本公开的范围的情况下，第一实施例中公开的一个或更多个特征可以与来自第二实施例或第三实施例的一个或更多个特征组合。
尽管已经在附图中示出并且在上面描述了各种特征，但是可以对附图进行各种改变。例如，图1至图17中所示的组件的尺寸、形状、布置和布局仅用于说明。每个组件可以具有任何合适的大小、形状和尺寸，并且多个组件可以具有任何合适的布置和布局。此外，可以组合、进一步细分或省略图1至图8中的各种组件，并且可以根据特定需要添加附加组件。此外，可以使用用于执行所描述的功能的任何合适的结构来实现装置或系统中的每个组件。另外，虽然图12至图17示出了各种顺序的步骤，但是图12至图17中的各种步骤可以重叠、并行发生、多次发生或以不同的顺序发生。
本申请中的描述都不应被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求限定。

Claims (20)

1.一种输入装置，包括：
位置传感器；以及
处理器，被配置为：
当所述处理器检测到所述输入装置处于第一方位时，进入三维3D输入模式，以及
当所述处理器检测到所述输入装置处于第二方位时，进入二维2D输入模式，
其中，所述2D输入模式被配置为向连接的计算机系统提供2D位置数据，并且其中，所述3D输入模式被配置为向所述连接的计算机系统提供3D位置数据。
2.如权利要求1所述的输入装置，
其中，所述第一方位包括：在触觉平面上方垂直布置所述输入装置的位置，并且
其中，所述第二方位包括：与所述触觉平面物理接触地布置所述输入装置的位置。
3.如权利要求1所述的输入装置，还包括：
第一表面；以及
第二表面，包括一个或更多个轮廓，
其中，所述第一方位包括布置在非水平位置的所述第一表面，并且所述第二方位包括布置在水平位置的所述第一表面。
4.如权利要求3所述的输入装置，其中，所述一个或更多个轮廓包括以下项中的至少一个：
弯曲表面,
凹槽，
通孔，或
弧形开口。
5.如权利要求1所述的输入装置，其中，所述位置传感器包括握持位置传感器，其中，所述处理器还被配置为根据握持位置来检测在所述第一方位或所述第二方位中的一个方位中的操作，其中
当所述处理器检测到所述输入装置处于第一握持位置时，所述处理器确定所述输入装置处于所述第一方位，并且
当所述处理器检测到所述输入装置处于第二握持位置时，所述处理器确定所述输入装置处于第二方位。
6.如权利要求1所述的输入装置，其中，所述位置传感器包括2D位置传感器，其中，所述2D位置传感器包括被配置为测量所述输入装置相对于触觉平面的移动的光源和光学位置传感器。
7.如权利要求1所述的输入装置，其中，所述位置传感器包括3D位置传感器。
8.如权利要求7所述的输入装置，其中，所述3D位置传感器包括以下项中的一个：
一个或更多个电磁线圈，被配置为测量所述输入装置相对于磁场的移动；或
惯性测量电路，被配置为测量所述输入装置相对于初始位置矢量的位移或旋转，其中，所述惯性测量电路包括以下项中的至少一个：
一个或更多个加速度计，或
一个或更多个陀螺仪。
9.如权利要求7所述的输入装置，其中，所述3D位置传感器包括被配置为测量所述输入装置相对于初始位置的位置的多个视频相机。
10.如权利要求1所述的输入装置，其中，所述位置传感器包括以下项中的至少一个：
第一3D位置传感器，包括2D位置感测能力；或
组合位置传感器，包括第二3D位置传感器和2D位置传感器。
11.一种方法，包括：
当输入装置处于第一方位时进入三维3D输入模式，以及
当所述输入装置处于第二方位时，进入二维2D输入模式，
其中，所述2D输入模式被配置为向连接的计算机系统提供2D位置数据，并且其中，所述3D输入模式被配置为向所述连接的计算机系统提供3D位置数据。
12.如权利要求11所述的方法，
其中，所述第一方位包括：在触觉平面上方垂直布置所述输入装置的位置，并且
其中，所述第二方位包括：与所述触觉平面物理接触地布置所述输入装置的位置。
13.如权利要求11所述的方法，其中，所述输入装置包括：
第一表面；以及
第二表面，包括一个或更多个轮廓，
其中，所述第一方位包括布置在非水平位置的所述第一表面，并且所述第二方位包括布置在水平位置的所述第一表面。
14.如权利要求13所述的方法，其中，所述一个或更多个轮廓包括以下项中的至少一个：
弯曲表面,
凹槽，
通孔，或
弧形开口。
15.如权利要求11所述的方法，还包括：经由握持位置传感器根据握持位置来检测在所述第一方位或所述第二方位中的一个方位中的操作，其中，检测所述操作的步骤包括：
响应于检测到所述输入装置处于第一握持位置，确定所述输入装置处于所述第一方位，以及
响应于检测到所述输入装置处于第二抓握持位置，确定所述输入装置处于所述第二方位。
16.如权利要求11所述的方法，还包括：从2D位置传感器接收数据，其中，所述2D位置传感器包括被配置为测量所述输入装置相对于触觉平面的移动的光源和光学位置传感器。
17.如权利要求11所述的方法，还包括：从3D位置传感器接收数据，其中，所述3D位置传感器包括被配置为测量所述输入装置相对于磁场的移动的一个或更多个电磁线圈。
18.如权利要求11所述的方法，还包括：从3D位置传感器接收数据，其中，所述3D位置传感器包括被配置为测量所述输入装置相对于初始位置矢量的位移或旋转的惯性测量电路，其中，所述惯性测量电路包括以下项中的至少一个：
一个或更多个加速度计，或
一个或更多个陀螺仪。
19.如权利要求11所述的方法，还包括：从3D位置传感器接收数据，其中，所述3D位置传感器包括被配置为测量所述输入装置相对于初始位置的位置的多个相机。
20.如权利要求11所述的方法，还包括：从以下传感器中的至少一个接收数据：
第一3D位置传感器，被配置为检测2D位置信息并检测3D位置信息；或
组合位置传感器，其中，所述组合位置传感器包括第二3D位置传感器和2D位置传感器。
CN201980084453.8A 2018-12-18 2019-11-12 针对用于二维和三维环境的多用途输入装置的系统和方法 Pending CN113396378A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862781205P 2018-12-18 2018-12-18
US62/781,205 2018-12-18
US16/386,149 US10890982B2 (en) 2018-12-18 2019-04-16 System and method for multipurpose input device for two-dimensional and three-dimensional environments
US16/386,149 2019-04-16
PCT/KR2019/015336 WO2020130356A1 (en) 2018-12-18 2019-11-12 System and method for multipurpose input device for two-dimensional and three-dimensional environments

Publications (1)

Publication Number Publication Date
CN113396378A true CN113396378A (zh) 2021-09-14

Family

ID=71071560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084453.8A Pending CN113396378A (zh) 2018-12-18 2019-11-12 针对用于二维和三维环境的多用途输入装置的系统和方法

Country Status (4)

Country Link
US (1) US10890982B2 (zh)
EP (1) EP3881167A4 (zh)
CN (1) CN113396378A (zh)
WO (1) WO2020130356A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570009B1 (ko) * 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
CN113031795B (zh) * 2021-05-25 2021-10-12 深圳市飞图视讯有限公司 控制方法、鼠标及上位机
CN116450024A (zh) * 2022-01-06 2023-07-18 联发科技（新加坡）私人有限公司 三维手势交互方法及其电子装置
US20230251744A1 (en) * 2022-02-09 2023-08-10 Varjo Technologies Oy Systems and methods for using input device in different modes
WO2024064933A1 (en) * 2022-09-22 2024-03-28 Apple Inc. Input device with adaptive grip orientation

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745591A (en) * 1995-12-29 1998-04-28 Feldman; Stephen E. System and method for verifying the identity of a person
US6163616A (en) * 1995-12-29 2000-12-19 Feldman; Stephen E. System and method for verifying the identity of a person
US5703623A (en) 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
FR2768528B1 (fr) * 1997-09-18 2001-01-12 Aerospatiale Peripherique d'entree pour ordinateur, a commutation automatique entre des modes de fonctionnement 3d et 2d, et son procede d'interaction avec un ecran d'affichage
US6515651B1 (en) * 1998-09-24 2003-02-04 International Business Machines Corporation Reversible wireless pointing device
US20020140675A1 (en) * 1999-01-25 2002-10-03 Ali Ammar Al System and method for altering a display mode based on a gravity-responsive sensor
US7532901B1 (en) * 2001-03-16 2009-05-12 Radeum, Inc. Methods and apparatus to detect location and orientation in an inductive system
US6784870B2 (en) * 2001-05-14 2004-08-31 Hewlett-Packard Development Company, L.P. Portable computer system including detachable peripheral device and combined mouse/joystick for use with same
JP3811025B2 (ja) * 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
CN1279428C (zh) * 2001-11-12 2006-10-11 肯·阿尔温·延森 用于计算机的控制装置
US20040032392A1 (en) * 2002-08-19 2004-02-19 Topseed Technology Corp. Mouse pen device having remote-control function
US7406331B2 (en) * 2003-06-17 2008-07-29 Sony Ericsson Mobile Communications Ab Use of multi-function switches for camera zoom functionality on a mobile phone
KR100502485B1 (ko) 2003-08-06 2005-07-20 주식회사 스페이스센싱 지면과 공간 양측에서 사용가능한 다기능 컴퓨터 입력장치및 그 제어방법
US7209116B2 (en) * 2003-10-08 2007-04-24 Universal Electronics Inc. Control device having integrated mouse and remote control capabilities
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US8199107B2 (en) 2004-12-22 2012-06-12 University Of Waterloo Input interface device with transformable form factor
US20150193023A1 (en) * 2005-01-05 2015-07-09 Swiftpoint Limited Devices for use with computers
EP1869541B1 (en) * 2005-01-30 2014-07-02 Swiftpoint Limited Computer mouse peripheral
US8009138B2 (en) 2005-05-09 2011-08-30 Sandio Technology Corporation Multidimensional input device
KR100740282B1 (ko) * 2005-08-04 2007-07-18 와우테크 주식회사 광마우스
US9823747B2 (en) * 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8665213B2 (en) * 2006-02-08 2014-03-04 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8669939B2 (en) * 2006-02-08 2014-03-11 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8022930B2 (en) * 2006-06-01 2011-09-20 Microsoft Corporation Ergonomic input device
US20080096651A1 (en) * 2006-07-28 2008-04-24 Aruze Corp. Gaming machine
TWI317498B (en) * 2006-12-12 2009-11-21 Ind Tech Res Inst Inertial input apparatus with six-axial detection ability and the opearting method thereof
WO2008131544A1 (en) * 2007-04-26 2008-11-06 University Of Manitoba Pressure augmented mouse
DE202007017303U1 (de) 2007-08-20 2008-04-10 Ident Technology Ag Computermaus
KR20090030697A (ko) 2007-09-20 2009-03-25 오의진 다기능 마우스
US8820646B2 (en) * 2007-10-05 2014-09-02 Kenji Yoshida Remote control device capable of reading dot patterns formed on medium display
US8451226B2 (en) * 2007-12-13 2013-05-28 Microsoft Corporation User input device with optical tracking engine that operates through transparent substrate
JP4243641B1 (ja) * 2007-12-21 2009-03-25 健治 吉田 媒体およびディスプレイ上に形成されたドットパターンを読み取ることが可能なリモートコントロール装置
JP5540418B2 (ja) * 2009-03-27 2014-07-02 有限会社ペンタクラフト マウス
GB2476059A (en) * 2009-12-09 2011-06-15 St Microelectronics Mobile communications device operable as a mouse
TWM383155U (en) * 2010-01-04 2010-06-21 Chance Steel Mold Co Ltd Multi-function touch control wireless mouse
US20110195781A1 (en) * 2010-02-05 2011-08-11 Microsoft Corporation Multi-touch mouse in gaming applications
US8810514B2 (en) 2010-02-12 2014-08-19 Microsoft Corporation Sensor-based pointing device for natural input and interaction
EP2572259A4 (en) * 2010-05-18 2014-10-15 Seescan Inc USER INTERFACE DEVICES, APPARATUS AND METHODS
WO2011161892A1 (ja) * 2010-06-23 2011-12-29 パナソニック株式会社 操作制御装置、操作制御方法および入力装置
JP5810707B2 (ja) 2011-07-25 2015-11-11 ソニー株式会社 情報処理装置
KR101463540B1 (ko) 2012-05-23 2014-11-20 한국과학기술연구원 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법
US20140015750A1 (en) * 2012-07-11 2014-01-16 Po Hsin Chen Multimode pointing device
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US11826636B2 (en) * 2013-07-12 2023-11-28 Chris Argiro Depth sensing module and mobile device including the same
KR20140105961A (ko) 2013-02-25 2014-09-03 단디넷 주식회사 2차원 마우스 기능을 가지는 3차원 에어 마우스
JP5813031B2 (ja) * 2013-03-25 2015-11-17 富士フイルム株式会社 携帯端末
US20140306893A1 (en) * 2013-04-11 2014-10-16 Rashed Siddiqui Computer Pointing Device based on Hand/Foot Directional Pressure
US9176602B2 (en) * 2013-06-11 2015-11-03 Thomson Licensing Spherical remote control
US9678583B2 (en) * 2013-07-23 2017-06-13 University Of Kentucky Research Foundation 2D and 3D pointing device based on a passive lights detection operation method using one camera
US9201519B2 (en) * 2013-08-14 2015-12-01 Amchael Visual Technology Corporation Three-dimensional pointing using one camera and three aligned lights
US10496188B2 (en) * 2013-08-26 2019-12-03 Logitech Europe S.A. Zonal input device
JP6364790B2 (ja) 2014-01-30 2018-08-01 株式会社リコー ポインティングデバイス
KR102206054B1 (ko) * 2014-05-09 2021-01-21 삼성전자주식회사 지문 처리 방법 및 그 전자 장치
US20160027214A1 (en) 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
KR101568011B1 (ko) 2014-10-07 2015-11-10 한국과학기술연구원 2d 입력 장치를 기반으로 가상 객체를 3d 공간에서 제어하기 위한 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2016080557A1 (ko) * 2014-11-17 2016-05-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US10088866B2 (en) * 2015-03-18 2018-10-02 Motorola Mobility Llc Controlling the orientation of a device display based on usage context
US10261592B2 (en) * 2015-10-08 2019-04-16 Facebook Technologies, Llc Optical hand tracking in virtual reality systems
US10732731B2 (en) * 2016-06-23 2020-08-04 Swiftpoint Limited Computer mouse
US10921907B2 (en) * 2016-09-19 2021-02-16 Apple Inc. Multipurpose stylus with exchangeable modules
US10222874B2 (en) * 2016-09-28 2019-03-05 Robb Dillon Multi-function foot controller with mouse and improved shortcut command
KR102659062B1 (ko) 2016-11-29 2024-04-19 삼성전자주식회사 그립 센서의 감지 신호에 기초하여 ui를 표시하는 전자 장치
US10782780B2 (en) * 2016-12-31 2020-09-22 Vasuyantra Corp. Remote perception of depth and shape of objects and surfaces
US10257500B2 (en) * 2017-01-13 2019-04-09 Zspace, Inc. Stereoscopic 3D webpage overlay
US20180210565A1 (en) * 2017-01-26 2018-07-26 Dexin Electronic Ltd. Mouse device with adjustable sensor module
TWI606371B (zh) * 2017-03-03 2017-11-21 致伸科技股份有限公司 具搖桿模式之滑鼠
DE102017204351A1 (de) * 2017-03-15 2018-09-20 Technische Universität München Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage
US10761799B2 (en) * 2017-06-09 2020-09-01 Microsoft Technology Licensing, Llc Inference of an intended primary display of a hinged mobile device
EP3698201A4 (en) * 2017-10-17 2020-12-09 Magic Leap, Inc. MIXED REALITY SPACE AUDIO
US11410564B2 (en) * 2017-11-07 2022-08-09 The Board Of Trustees Of The University Of Illinois System and method for creating immersive interactive application
US10514780B2 (en) * 2017-12-01 2019-12-24 Logitech Europe S.A. Input device
CZ307554B6 (cs) * 2017-12-21 2018-11-28 Slamka Consulting, S.R.O. Zařízení pro měření a diagnostiku galvanické reakce pokožky při práci s počítačem a způsob měření a provádění diagnostiky tímto zařízením

Also Published As

Publication number Publication date
EP3881167A4 (en) 2021-12-29
EP3881167A1 (en) 2021-09-22
WO2020130356A1 (en) 2020-06-25
US20200192486A1 (en) 2020-06-18
US10890982B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
US10890982B2 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
US10268364B2 (en) Electronic device and method for inputting adaptive touch using display of electronic device
KR102604570B1 (ko) 사용자 입력 지원 방법 및 이를 지원하는 전자 장치
US20160077620A1 (en) Method and apparatus for controlling electronic device using touch input
KR102021048B1 (ko) 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
KR102521192B1 (ko) 전자 장치 및 그의 동작 방법
KR20180109229A (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
KR20160014481A (ko) Idle 모드에서 동작하는 전자 장치 및 방법
US11055923B2 (en) System and method for head mounted device input
KR102580327B1 (ko) 전자 장치 및 전자 장치의 제어 방법
KR102542913B1 (ko) 회전체를 구비한 전자 장치 및 이의 동작 방법
KR102654621B1 (ko) 객체를 디스플레이하기 위한 방법 및 그 전자 장치
US10528248B2 (en) Method for providing user interface and electronic device therefor
KR102272343B1 (ko) 전자 펜 운용 방법 및 이를 지원하는 전자 장치
US10969899B2 (en) Dynamically adaptive sensing for remote hover touch
US10877554B2 (en) High efficiency input apparatus and method for virtual reality and augmented reality
EP2990929B1 (en) Electronic device and method for setting block
KR20180058097A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
US20170017389A1 (en) Method and apparatus for smart device manipulation utilizing sides of device
EP3513269B1 (en) Electronic device comprising electromagnetic interference sensor
CN112534390A (zh) 用于提供虚拟输入工具的电子装置及其方法
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
KR102526860B1 (ko) 전자 장치 및 전자 장치 제어 방법
US11995297B2 (en) Enhanced user interface (UI) button control for mobile applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination