CN110362226A - 使用触摸屏设备确定用户利手和定向 - Google Patents

使用触摸屏设备确定用户利手和定向 Download PDF

Info

Publication number
CN110362226A
CN110362226A CN201910531234.1A CN201910531234A CN110362226A CN 110362226 A CN110362226 A CN 110362226A CN 201910531234 A CN201910531234 A CN 201910531234A CN 110362226 A CN110362226 A CN 110362226A
Authority
CN
China
Prior art keywords
touch input
user interface
user
input
left hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910531234.1A
Other languages
English (en)
Inventor
博里斯·斯穆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110362226A publication Critical patent/CN110362226A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

本申请涉及使用触摸屏设备确定用户利手和定向。本公开提供用于确定指示设备相对于触摸屏设备上的屏幕的位置和/或定向的技术。一种方法可以包括从包括电容性触摸表面的第一设备接收第一定向数据。可以接收指示用户在所述电容性触摸表面上的触摸位置的触摸点。可以从第二设备接收第二定向数据。可以将所述第一定向数据和所述第二定向数据进行关联以确定所述第一设备与所述第二设备的相对定向。可以基于所述触摸点和所述第一设备与所述第二设备的所述相对定向来确定指示设备的位置。此外，可以接收相对于电容性触摸表面的多个距离，并且可以基于所述多个距离来确定用户的手指、手/或手臂的位置。

Description

使用触摸屏设备确定用户利手和定向
分案说明
本申请属于申请日为2015年3月13日的中国发明专利申请No.201580013113.8的分案申请。
背景技术
当用户与触摸屏设备进行交互时，能够基于触摸屏显示器的电容性质来确定用户正在触摸屏幕的哪个部分。然而，通常，很难使用常规技术来确定关于用户与触摸屏的交互的附加信息。例如，用户正在使用哪只手和用户的手相对于触摸屏的定向能够是很难确定的。
发明内容
根据所公开的主题的一个实施例，一种方法可以包括：接收与第一设备相关联的第一定向数据并且所述第一设备可以包括电容性触摸表面。可以接收指示在所述电容性触摸表面上的所述第一设备的用户触摸位置的触摸点。可以从第二设备接收第二定向数据。可以将所述第一定向数据与所述第二定向数据进行关联，并且可以基于所述关联来确定所述第一设备与所述第二设备的相对定向。可以基于所述触摸点和所述第一设备与所述第二设备的所述相对定向来确定指示设备的位置。
根据所公开的主题的一个实施例，一种方法可以包括：接收相对于电容性触摸表面的多个距离。基于所述多个距离，可以确定用户的手指、手、和手臂中的至少一个的位置。因此，可以基于所述所确定的位置来布置界面。
根据所公开的主题的一个实施例，一种方法可以包括：接收相对于电容性触摸表面的多个距离。基于所述多个距离，可以确定用户的第一手指、第一手、和第一手臂中的至少一个的第一位置。因此，可以基于所述第一所确定位置来向与所述电容性触摸表面的第一用户交互指派第一动作。
所公开的主题的一个实施方式提供了一种包括处理器的系统，所述处理器被配置来接收与第一设备相关联的第一定向数据的处理器并且所述第一设备可以包括电容性触摸表面。可以接收指示在所述电容性触摸表面上的所述第一设备的用户的触摸位置的触摸点。可以从第二设备接收第二定向数据。可以将所述第一定向数据与所述第二定向数据进行关联，并且可以基于所述关联来确定所述第一设备与所述第二设备的相对定向。可以基于所述触摸点和所述第一设备与所述第二设备的所述相对定向来确定指示设备的位置。
所公开的主题的一个实施方式提供了一种包括处理器的系统，所述处理器被配置来接收相对于电容性触摸表面的多个距离。基于所述多个距离，可以确定用户的手指、手、和手臂中的至少一个的位置。因此，可以基于所确定的位置来布置界面。
所公开的主题的一个实施方式提供了一种处理器的系统，所述处理器被配置来接收相对于电容性触摸表面的多个距离。基于所述多个距离，可以确定用户的第一手指、第一手、和第一手臂中的至少一个的第一位置。因此，可以基于第一所确定的位置来向与所述电容性触摸表面的第一用户交互指派第一动作。
在一个实施方式中，根据所公开的主题的系统包括：用于接收与具有电容性触摸界面的设备相关联的定向数据的装置；用于接收指示在所述界面上的触摸位置的触摸点的装置；用于从第二设备接收第二定向数据的装置；以及用于将所述第一定向数据与所述第二定向数据进行关联的装置。基于所述关联，所述系统还可以包括：用于确定所述第一设备与所述第二设备的相对定向的装置；以及用于基于所述触摸点和所述第一设备与所述第二设备的所述相对定向来确定指示设备的位置的装置。
在一个实施方式中，根据所公开的主题的系统包括：用于接收相对于电容性触摸表面的多个距离的装置。基于所述多个距离，所述系统还可以包括：用于确定用户的手指、手、和手臂中的至少一个的位置的装置以及用于基于所确定的位置来布置界面的装置。
在一个实施方式中，根据所公开的主题的系统包括：用于接收相对于电容性触摸表面的多个距离的装置。基于所述多个距离，所述系统还可以包括：用于确定用户的第一手指、第一手、和第一手臂中的至少一个的第一位置的装置以及用于基于第一所确定位置来向与所述电容性触摸表面的第一用户交互指派第一动作的装置。
所公开的主题的实施方式提供用于确定用户的利手以及用户的(一个或多个)手指、手、和/或手臂在触摸屏设备上的定向和位置的技术。此信息对于正在所述触摸屏设备上使用的应用中的各种有趣的实现能够是有用的。所公开的主题的附加特征、优点、和实施例可以从对以下具体实施方式、附图、和权利要求书的考虑来被阐述或者变得显而易见。此外，应当理解，前述发明内容和以下具体实施方式这两者都是示例，并且旨在不限制权利要求书的范围的前提下提供进一步的解释。
附图说明
将附图合并入本说明书中并构成本说明书的一部分，所述附图被包括以提供对所公开的主题的进一步理解。附图还图示了所公开的主题的实施例，并且与具体实施方式一起来解释所公开的主题的实施例的原理。除了对于所公开的主题以及可以对其实践的各种方式的基本理解所必须的内容以外，不试图更详细地示出结构细节。
图1示出了根据所公开的主题的实施方式的示例过程。
图2示出了根据所公开的主题的实施方式的示例系统布置。
图3示出了根据所公开的主题的实施方式的示例系统布置。
图4示出了根据所公开的主题的实施方式的示例系统布置。
图5示出了根据所公开的主题的实施方式的示例性系统布置。
图6示出了根据所公开的主题的实施方式的示例过程。
图7示出了根据所公开的主题的实施方式的示例过程。
图8示出了根据所公开的主题的实施例的计算机。
图9示出了根据所公开的主题的实施例的网络配置。
具体实施方式
当用户与触摸屏设备进行交互时，能够通过触摸屏显示器的电容性质来确定用户正在触摸触摸屏的哪个部分。然而，用户与触摸屏的交互中的很多情况仍然是个谜——诸如用户正在使用哪只手，手相对于触摸屏的定向是什么，用户的手指、手、手臂等正遮挡显示器的什么部分等。知道正在使用哪只手可以允许正在触摸屏设备上使用的应用中的各种有趣的实现。例如，在绘图应用中，用户的右手能够被用作画笔，而用户的左手可以被用作颜色吸管。此外，知道(一个或多个)用户的手指、手、和/或手臂在触摸屏上的定向和位置能够被用于确定屏幕的哪个部分被用户的(一个或多个)手指、手、和/或手臂遮挡或很可能被其遮挡。因此，可以布置或重新布置应用中的界面，使得用户能够容易地查看可能被用户的(一个或多个)手指、手、和/或手臂遮挡的界面的部分。
通常，可以有多种方式来确定用户的(一个或多个)手指、手、和/或手臂相对于触摸屏设备上的屏幕的位置和定向。例如，可以使用具有电容式触摸表面的触摸屏设备的扩展电容。可以使用来自触摸表面的原始电容读数来构建用于基于来自触摸屏设备的电容性触摸表面的电容距离读数来确定用户的(一个或多个)手指、手、和/或手臂在哪里的模型。作为示例，为了确定用户的(一个或多个)手指弯曲的方向，系统可以检测在电容性触摸表面上的从用户接收的触摸点的大约3cm半径内的电容读数。类似地，为了确定用户的手臂正搁置的区域和/或方向，系统可以检测在电容性触摸表面上的从用户接收的触摸点的大约20cm半径内的电容读数。
除了来自电容性触摸表面的对于用户的手指、手、和手臂的位置的电容读数外，可以使用来自另一设备如腕部可穿戴设备的其他输入。具体地，来自触摸屏设备和腕部可穿戴设备的定向数据可以被用于确定触摸屏设备与腕部可穿戴设备的相对定向。触摸屏设备和腕部可穿戴设备中的每个可以包括惯性测量单元(IMU)传感器，诸如陀螺仪和加速度计。在每个设备中使用这些IMU传感器，来自每个设备的定向数据可以包括相应设备的一个或多个角度。系统可以对来自每个设备的定向数据进行关联来确定两个设备与彼此的相对定向。可以将此相对定向与关于触摸点的电容信息组合来确定用户的(一个或多个)手指、手、和/或手臂相对于触摸屏设备上的屏幕的位置和定向。
可以在没有腕部可穿戴设备的情况下作出哪只手正在被使用的确定，因为系统可以基于手在电容性触摸表面上的相对位置来知道哪只手正在被使用。在多只手可能在电容性触摸表面上的状况下，例如，系统可以假定用户不太可能将他们的手交叉。因此，最靠近电容性触摸表面的右边部分的手很可能是用户的右手，并且类似地，最靠近左边部分的手很可能是用户的左手。这样的技术可以完全基于触摸点在触摸表面上的位置来执行，或者可以通过使用如本文所公开的附加电容信息——诸如示出延伸至表面的一侧外的用户的手指、手、或手臂的一部分的电容数据来使这样的技术更敏感。
如本文所公开的用于确定哪只手正在被使用的技术也可以通过使用从腕部可穿戴设备获得的数据来改善。例如，当与触摸屏设备上的电容性触摸表面交互时，用户可能正穿戴着腕部可穿戴设备。在这种情况下，系统可以将IMU传感器的运动——诸如加速度计、陀螺仪、和/或内置于腕部可穿戴设备中的其他传感器的运动与例如用户的(一个或多个)手指在触摸屏设备上的电容性触摸表面上的交互的运动进行关联。作为示例，电容性触摸表面上的每个手指触摸的位置可以随时间被跟踪为触摸轨迹，并且同时，腕部可穿戴设备的IMU传感器可以提供腕部可穿戴设备的二阶运动(即加速度)。因此，系统可以将在电容性触摸表面上的移动与来自腕部可穿戴设备的IMU传感器的定向信息进行关联。例如，系统可以通过对两个加速度流(例如，来自电容性触摸表面和腕部可穿戴设备的加速度流)重采样来区分电容性触摸表面上的每个触摸轨迹的位置，并且可以使用已知的相关性技术来将这些位置进行关联。如果电容性触摸表面上的每个触摸轨迹的位置被充分地良好跟踪对应至从腕部可穿戴设备检测到的移动(即，电容性触摸表面上的触摸轨迹基本上类似于从腕部可穿戴设备检测到的移动)，则系统可以确定电容性触摸表面上的触摸可能是由用户在其上穿戴着腕部可穿戴设备的相同的手进行的。否则，电容性触摸表面上的触摸肯定是由用户的另一只手进行的。
对用户的(一个或多个)手指、手、和/或手臂在触摸屏上的定向和位置和哪只手正在被用来与触摸屏设备进行交互的了解可以在正在触摸屏设备上被使用的应用中的各种有趣的实现中被使用。交互技术可以利用对屏幕的哪个部分正被遮挡的了解并且还可以利用腕部可穿戴设备的相对位置的了解。例如，可以基于用户的(一个或多个)手指、手、和/或手臂的位置和/或定向来布置应用中的用户界面的部分，以确保即使用户界面的部分被用户的(一个或多个)手指、手、和/或手臂遮挡。作为另一示例，通过知道腕部可穿戴设备与触摸屏设备的相对位置，可以在例如在两个设备之间传输数据时提供相关的用户反馈。例如，如果腕部可穿戴设备能够在两个设备之间复制/粘贴内容，则动画可以在触摸屏设备的显示器上准确定位的的用于指示内容正从腕部可穿戴设备被传送到触摸屏设备的动画(反之亦然)。作为又一示例，通过知道触摸屏设备上的从用户接收到的交互的利手(即由用户的左手或右手进行的交互)，可以相对于用户的右手来对来自用户的左手的交互指派不同的动作。例如，在绘图应用中，用户的优势手(例如右手)能够充当画笔，而另一只手(例如左手)能够充当颜色混合器/吸管工具，来允许用户在用右手绘画时用左手从画布拾取颜色。
大体上，本公开提供了用于确定指示设备相对于触摸屏设备上的屏幕的位置和/或定向的技术。图1示出了根据所公开的主题的实施方式的示例过程。如图所示，方法可以包括：在101处，接收与第一设备相关联的第一定向数据。第一设备可以包括电容性触摸表面。包括电容性触摸表面的设备的示例可以是平板计算机、膝上型计算机、电子阅读器、智能电话、显示设备、PC等。在102处，可以接收指示第一设备的用户在电容性触摸表面上的触摸的位置的触摸点。触摸点的位置可以处于任何合适的格式，诸如坐标、触摸点所位于的电容性触摸表面的多个段当中的段的标识、触摸点所位于的电容性触摸表面的象限的标识、以及用于指示触摸点在电容性触摸表面上的位置的任何其他合适的格式。电容性触摸表面可以允许用户与诸如触摸屏设备的设备上所显示的内容进行交互并且通过触摸电容性触摸表面来控制其如何被显示(例如，通过根据触摸表面上的手势来放缩文本大小)。用户可以用诸如专用触控笔/笔的指示设备和/或一个或多个手指触摸电容性触摸表面。在一些情况下，指示设备可以包括用户的手指、手、和/或手臂。根据一个实施方式，指示设备可以是用户的手的至少一部分。在103处，可以从第二设备接收第二定向数据。例如，第二设备可以是腕部可穿戴设备、可穿戴计算机、以及来自其的定向数据可以被用于确定指示设备相对于触摸屏设备上的屏幕的位置和/或定向的任何其他设备。在104处，可以将第一定向数据与第二定向数据进行关联，并且在105处，基于该关联，可以确定第一设备与第二设备的相对定向。因此，在106处，可以基于触摸点和第一设备与第二设备的相对定向来确定指示设备的位置。
图2示出了根据所公开的主题的实施方式的示例系统布置。第一设备201可以包括电容性触摸表面202。可以接收与第一设备201相关联的第一定位数据。第一定向数据205可以包括与第一设备201的偏偏转相关联的角度(例如α1)、与第一设备201的倾斜相关联的角度(例如β1)、与第一设备的滚转相关联的角度(例如γ1)、和/或第一设备的加速度。可以从诸如加速度计、陀螺仪、磁力计等的一个或多个IMU传感器接收与第一设备201相关联的第一定向数据205。可以接收指示第一设备201的用户在电容性触摸表面202上的触摸的位置的触摸点203。基于在电容性触摸表面202上的触摸点203的位置，触摸点203可以指示x和y坐标值。可以从诸如腕部可穿戴设备的第二设备204接收第二定向数据206。第二定向数据206可以包括与第二设备204的偏转相关联的角度(例如α2)、与第二设备204的倾斜相关联的角度(例如β2)、与第二设备204的滚转相关联的角度(例如γ2)、和/或第二设备204的加速度。可以从诸如加速度计、陀螺仪、磁力计等的一个或多个IMU传感器接收与第二设备204相关联的第二定向数据206。
可以将第一定向数据205(α1,β1,γ1)与第二定向数据206(α2,β2,γ2)进行关联。例如，基于(α1,β1,γ1)与(α2,β2,γ2)的关联，可以确定第一设备201与第二设备204的相对定向。因此，可以基于触摸点203和第一设备201与第二设备204的相对定向来确定指示设备207的位置。例如，如果第二设备204在电容性触摸表面202上处于水平，则第一定向数据205(α1,β1,γ1)将与第二定向数据206(α2,β2,γ2)相同。作为另一示例，第二定向数据206(α2,β2,γ2)与第一定向数据205(α1,β1,γ1)可能指示第二设备204相对于第一设备201垂直。因此，可以确定指示设备207的位置也垂直于第一设备201上的电容性触摸表面202。因此，可以确定指示设备207相对于电容性触摸表面202的定向。
根据一个实施方式，可以基于指示设备相对于触摸屏设备的位置来布置触摸屏设备上的界面。图3示出了根据所公开的主题的实施方式的示例系统布置。如图所示，包括界面的部分303、304、和305的界面301可以在触摸屏设备302上显示。基于上述技术，可以确定指示设备306的位置。根据一个实施方式，可以基于指示设备的所确定的位置来布置界面。例如，可以基于指示设备306的所确定的位置来布置界面301——诸如界面的部分303、304、和305。所公开的主题的实施方式包括：基于指示设备的位置和触摸点来确定电容性触摸表面的很可能对用户可见一部分——即不与已经确定指示设备位于其内的该表面的一部分重叠的一部分。具体地，可以在电容性触摸表面的很可能对用户可见的一部分上显示界面的至少一部分。例如，基于指示设备306的位置和触摸点，可以确定电容性触摸表面的部分304和305很可能对用户可见的。因此，可以例如通过如图所示移动界面的部分303来布置界面301，使得界面的部分303可以在很可能对用户可见的电容性触摸表面的部分上显示。可以通过基于根据本文所描述的技术所确定的指示设备的位置和/或触摸点对可能被指示设备遮挡的界面的部分进行定位、移动、重新布置、调整大小、重新定位等来布置该界面。
根据一个实施方式，可以基于指示设备相对于触摸屏设备的位置来布置触摸屏设备上的界面。图4示出了根据所公开的主题的实施方式的示例系统布置。如图所示，触摸屏设备401可以包括电容性触摸表面402。可以接收指示在电容性触摸表面402上执行的手势404的数据。基于指示设备403的位置，可以确定手势404是由用户的左手还是用户的右手执行的。例如，确定指示设备403的位置可以包括将来自触摸屏设备401的定向数据与来自腕部可穿戴设备405的定向数据进行关联。通常，关联可以是两个变量或所测量的数据值之间的关系的度量。通过将两个变量和/或所测量的数据值进行关联，可以确定两个变量/值是否基本上彼此相似。根据一个实施方式，可以将从指示设备403接收到的手势404与来自腕部可穿戴设备405的定向数据——诸如移动数据406进行关联。如图所示，由于手势404的轨迹与移动数据406的轨迹匹配，因此可以确定指示设备403与腕部可穿戴设备405相对应，例如，用户可能在做出该手势的手上穿戴着腕部可穿戴设备。
在一些情况下，在电容性触摸表面上接收的一个或多个触摸点(例如手势)的位置可以随时间被跟踪为轨迹。同时，腕部可穿戴设备上的传感器可以提供包括腕部可穿戴设备的运动(例如加速度)的定向数据。通过区分电容性触摸表面上的触摸点轨迹的(一个或多个)位置，来自电容性触摸表面和腕部可穿戴设备中的每个的运动数据可以被重采样并且使用已知的关联技术进行关联。如果所述一个或多个触摸点的位置的轨迹充分良好地关联于来自腕部可穿戴设备的运动数据，则可以确定手势由用户在其上穿戴着腕部可穿戴设备的手做出。如果否，则可以确定手势由用户的另一只手做出。
在确定用户正在使用哪只手做出一个或多个手势之后，可以向用户的右手或左手指派各种动作。图5示出了根据所公开的主题的实施方式的示例系统布置。如图所示，触摸屏设备501可以包括电容性触摸表面502。基于本文所描述的技术，可以确定手势504是由用户在其上穿戴着腕部可穿戴设备507的用户的右手503做出的。此外，可以确定手势506是由用户的左手505做出的。根据一个实施方式，可以基于指示设备的所确定的位置来向与电容性触摸表面的用户交互指派动作。例如，由于手势504是由用户的右手503做出的，因此可以在应用中采取特定动作。类似地，由于手势506是由用户的左手505做出的，因此可以在该应用中采取不同的动作。根据一个实施方式，可以响应于接收指示手势的数据来执行第一操作和第二操作中的一个。在一些情况下，当手势由用户的左手执行时可以仅执行第一操作。例如，在绘画应用中，仅当特定手势506由用户的左手505执行时才可以从调色板选择颜色。在这种情况下，用户的左手不可以执行其他动作。在其他情况下，仅当该手势由用户的左手执行时执行第一操作。例如，在该绘画应用中，如果手势506由用户的右手执行，则将不会从调色板选择颜色，因为此操作仅可以由用户的左手执行。
本公开提供了用于确定指示设备相对于触摸屏设备上的屏幕的位置和/或定向的附加技术，所述附加技术可以单独实现或者与本文所描述的其他技术相结合来实现。图6示出了根据所公开的主题的实施方式的示例过程。如图所示，在601处，可以接收相对于电容性触摸表面的多个距离。例如，可以在电容性触摸表面的深度图中提供所接收到的多个距离。通常，深度图是包含与对象的表面距视点的距离相关的信息的图像或图像通道。在这种情况下，深度图可以包括相对于电容性触摸表面的多个距离。正在触摸电容性触摸表面的对象可以具有相对于触摸表面的相对短的距离或零距离。靠近电容性触摸表面的对象可以具有比正在接触触摸表面的对象的距离更长的距离。类似地，远离电容性触摸表面的对象可以具有比靠近触摸表面的对象的距离更长的距离。基于此深度/距离信息，可以应用一个或多个模型来确定哪个模型最好地拟合来自深度图的数据。在602处，可以基于所述多个距离来确定用户的手指、手、和/或手臂的位置。并且因此，在603处，可以基于所确定的位置来布置界面，诸如上面所述以及如图3中所示。
在一些情况下，确定用户的手指、手、和/或手臂的位置可以包括确定与用户的手指相关联的弯曲。类似地，确定用户的手指、手、和/或手臂的位置还可以包括确定用户的手臂的位置。例如，为了确定用户的(一个或多个)手指弯曲的方向，可以在电容性触摸表面上检测从用户接收的触摸点的大约X的半径内——诸如1至10cm内的电容读数。类似地，为了确定用户的手臂正搁置的区域和/或方向，在电容性触摸表面上检测从用户接收的触摸点的大致较大半径Y内——诸如触摸点的5至30cm内的电容读数。这些电容读数可以被表示为相对于电容性触摸表面的多个距离并且被包括在如上所述的深度图中。
图7示出了根据所公开的主题的实施方式的示例过程。类似于上述实施方式，方法可以包括：在701处，接收相对于电容性触摸表面的多个距离。在702处，基于所述多个距离，可以确定用户的第一手指、第一手、和/或第一手臂的第一位置。因此，在703处，可以基于第一所确定位置来向与电容性触摸表面的第一用户交互指派第一动作。此外，基于所述多个距离，可以确定用户的第二手指、第二手、和第二手臂的第二位置。因此，可以基于第二所确定位置来向与电容性触摸表面的第二用户交互指派第二动作。如上所述和图5中所示，可以基于用户交互(例如手势)由用户的左手还是用户的右手执行来向用户交互指派各种动作。
在一个实施方式中，第一设备与第二设备之间的通信可以跨界面之间的一个或多个桥接器。例如，第一设备与第二设备之间的通信可以由第三设备管理或协助，第三设备诸如协调设备、本地协调器、远程服务器等。在这样的情况下，例如，第三设备可以从第一设备接收第一定向数据和触摸点，并且从第二设备接收第二定向数据。然后，第三设备可以将第一定向数据与第二定向数据进行关联。基于该关联，第三设备可以确定第一设备与第二设备的相对定向并且基于触摸点和第一设备与第二设备的该相对定向来确定指示设备的位置。在一些情况下，第三设备可以将指示设备的位置提供至第一设备，在此情况下，第一设备可以在应用中采取适当的动作。此外，可以实现多于一个的中间设备以促进第一设备与第二设备之间的通信。
当前公开的主题的实施例可以在各种组件和网络架构中实现并且与其一起使用。图8是适合于实现当前公开的主题的实施例的示例计算机系统20。计算机20包括将计算机20的主要组件互连的总线21，所述主要组件诸如：一个或多个处理器24，存储器27——诸如RAM、ROM、闪速RAM等，输入/输出控制器28，以及固定存储23——诸如硬盘驱动器、闪速存储、SAN设备等。应当理解，可以或可以不包括其他组件，诸如：用户显示器——诸如经由显示适配器的显示屏幕，用户输入界面——诸如控制器和关联的用户输入设备——诸如键盘、鼠标、触摸屏等，以及在通用计算系统中使用或与其结合使用的本领域中已知的其他组件。
总线21允许中央处理器24与存储器27之间的数据通信。RAM通常是操作系统和应用程序被加载到其中的主存储器。除其他代码外，ROM或闪存可以包含基本输入输出系统(BIOS)，其控制基本硬件操作——诸如与外围组件的交互。驻留在计算机20中的应用通常存储在计算机可读介质上并且经由其被访问，所述计算机可读介质诸如固定储存器23和/或存储器27、光学驱动器、外部存储机构等。
示出的每个组件可以与计算机20集成或者可以是单独的并且可以通过其他接口来被访问。诸如网络接口29的其他接口可以提供：经由电话链路、有线或无线的局域网或广域网连接、专有网络连接等到远程系统和设备的连接。例如，如图9中所示，网络接口29可以允许计算机与其他计算机经由一个或多个局域网、广域网、或其他网络进行通信。
许多其他设备或组件(未示出)可以以类似的方式连接，诸如文档扫描仪、数码相机、辅助系统、补充系统、或备份系统等。相反地，不需要提供图8中所示的组件来实践本公开。组件能够以与所示方式不同的方式进行互连。诸如图8中所示的计算机的操作在本领域中公知并且未在本申请中进行详细讨论。用于实现本公开的代码能够被存储在计算机可读存储介质中——诸如存储在存储器27、固定储存23、远程存储位置、或者本领域中已知的任何其他存储机构中的一个或多个中。
图9示出了根据所公开的主题的实施例的示例性布置。诸如本地计算机、智能电话、平板计算设备、远程服务等的一个或多个客户端10、11可以经由一个或多个网络7来连接到其他设备。网络可以是局域网、广域网、互联网、或任何其他合适的通信网络，并且可以在包括有线和/或无线网络的任何合适的平台上实现。客户端10、11可以与一个或多个计算机系统进行通信，所述计算机系统诸如处理单元14、数据库15、和用户界面系统13。在一些情况下，客户端10、11可以与用户界面系统13进行通信，该系统可以提供向诸如数据库15、处理单元14等的一个或多个其他系统的访问。例如，用户界面13可以是提供来自一个或多个其他计算机系统的数据的用户可访问的网页。用户界面13可以向不同的客户端提供不同的界面，诸如向web浏览器客户端10提供人可读网页、以及向远程服务客户端11提供计算机可读API或其他界面。用户界面13、数据库15、和处理单元14可以是整体系统的一部分，或者可以包括经由专用网络、互联网、或任何其他合适的网络进行通信的多个计算机系统。处理单元14可以是例如分布式系统——诸如基于云的计算系统、搜索引擎、内容传递系统等的一部分，该系统也可以包括数据库15和/或用户界面13或者与其进行通信。在一些布置中，分析系统5可以提供后端处理，诸如所存储或获取的数据在传递到处理单元14、数据库15、和/或用户界面13之前由分析系统5预处理。例如，机器学习系统5可以向一个或多个其他系统13、14、15提供各种预测模型、数据分析等。
更一般地，当前公开的主题的各种实施例可以包括计算机实现的过程和用于实施这些过程的设备或者以计算机实现的过程和用于实施这些过程的设备的形式来体现。实施例也可以以具有包含在非暂时性和/或有形介质——诸如CD-ROM、DVD、硬盘驱动器、USB(通用串行总线)驱动器、闪速驱动器、或任何其他非暂时性机器可读存储介质中包含的指令的计算机程序代码的计算机程序产品的形式来体现，使得当计算机程序代码被加载到计算机中并由该计算机执行时，计算机成为用于实践所公开的主题的实施例的装置。实施例也可以以计算机程序代码的形式来体现，例如，无论是存储在非暂时性存储介质中、加载到计算机中和/或由该计算机执行。当计算机程序代码被加载到计算机中并由该计算机执行时，计算机成为用于实践所公开的主题的实施例的设备。当在通用微处理器上实现时，计算机程序代码段对微处理器进行配置来创建特定逻辑电路。在一些配置中，存储在计算机可读存储介质上的计算机可读指令集可以由通用处理器实现，其可以将该通用处理器或包含通用处理器的设备转换为被配置来实现或执行这些指令的专用设备。实施例可以使用硬件来实现，该硬件可以包括诸如通用微处理器和/或专用集成电路(ASIC)的处理器，其在硬件和/或固件中体现根据所公开的主题的实施例的技术中的全部或部分技术。如先前所描述的，处理器可以耦合至存储器，诸如RAM、ROM、闪存、硬盘、或能够存储电子信息的任何其他设备。存储器或其他存储介质可以存储指令，所述指令适于由处理器执行来实施根据所公开的主题的实施例的技术。
出于解释的目的，已经参照具体实施例来对前述描述进行了描述。然而，上述说明性讨论并非旨在穷尽或将所公开的主题的实施例限制为所公开的确切形式。鉴于上述教导，许多修改和变化是可能的。为了解释所公开的主题的实施例的原理及其实际应用对实施例进行了选择和描述，从而使得本领域技术人员能够利用这些实施例以及具有适合于所设想的特定用途的各种修改的各个实施例。

Claims (20)

1.一种计算机实现的方法，包括：
通过用户设备上的接近敏感显示器接收触摸输入；
将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入；
基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入来识别很可能在视觉上不被遮挡的所述用户界面的特定部分；
确定将用户界面元件定位在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上；以及
提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的所述接近敏感显示器上显示。
2.根据权利要求1所述的计算机实现的方法，其中：
所述用户界面的所述特定部分是被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的一部分；以及
将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入包括：
生成分别与一个或多个对象表面相关联的一个或多个距离的深度指示符，所述一个或多个距离对应于所述一个或多个对象表面距所述用户设备的电容性触摸表面的相应距离；以及
确定相对于所述用户设备的定向的分别与所述一个或多个对象表面相关联的一个或多个位置。
3.根据权利要求2所述的计算机实现的方法，其中，将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入进一步包括以下中的一个：
基于(i)所述深度指示符以及(ii)指示很可能使用用户的左手的与所述触摸输入相关联的对象表面相对于所述用户设备的定向的位置来确定所述触摸输入很可能是左手触摸输入；以及
基于(i)所述深度指示符以及(ii)指示很可能使用用户的右手的与所述触摸输入相关联的对象表面相对于所述用户设备的定向的位置来确定所述触摸输入很可能是右手触摸输入。
4.根据权利要求2所述的计算机实现的方法，将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入进一步包括：
响应于确定所述对象表面具有满足阈值距离的距离来确定所述一个或多个对象表面中的对象表面对应于所述触摸输入。
5.根据权利要求1所述的计算机实现的方法，提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的用户界面的特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示包括：
确定所述用户界面元件被定位在被确定为很可能在视觉上被所述触摸输入遮挡的所述用户界面的一部分中；以及
将所述用户界面元件的位置修改到在被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的所述特定部分上中定位的位置。
6.根据权利要求1所述的计算机实现的方法，提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示包括以下中的一个或多个：
重新调整所述用户界面的大小；
重新定位所述用户界面；以及
将所述用户界面中的一个或多个用户界面元件重新布置到被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的所述特定部分。
7.根据权利要求1所述的计算机实现的方法，进一步包括：
基于将所述触摸输入分类为很可能左手输入，生成定位在被确定为很可能在视觉上不被所述左手输入遮挡的所述用户界面的所述特定部分中的第二用户界面元件；以及
基于将所述触摸输入分类为很可能右手输入，生成定位在被确定为很可能在视觉上不被所述右手输入遮挡的所述用户界面的所述特定部分中的第二用户界面元件。
8.一种编码有计算机程序的非瞬时计算机可读存储介质，所述计算机程序包括指令，所述指令在被计算机执行时使得所述计算机执行操作，所述操作包括：
通过用户设备上的接近敏感显示器接收触摸输入；
将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入；
基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入来识别很可能在视觉上不被遮挡的所述用户界面的特定部分；
确定将用户界面元件定位在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上；以及
提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的所述接近敏感显示器上显示。
9.根据权利要求8所述的非瞬时计算机可读存储介质，其中：
所述用户界面的所述特定部分是被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的一部分；以及
将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入包括：
生成分别与一个或多个对象表面相关联的一个或多个距离的深度指示符，所述一个或多个距离对应于所述一个或多个对象表面距所述用户设备的电容性触摸表面的相应距离；以及
确定相对于所述用户设备的定向的分别与所述一个或多个对象表面相关联的一个或多个位置。
10.根据权利要求9所述的非瞬时计算机可读存储介质，其中，将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入进一步包括以下中的一个：
基于(i)所述深度指示符以及(ii)指示很可能使用用户的左手的与所述触摸输入相关联的对象表面相对于所述用户设备的定向的位置来确定所述触摸输入很可能是左手触摸输入；以及
基于(i)所述深度指示符以及(ii)指示很可能使用用户的右手的与所述触摸输入相关联的对象表面相对于所述用户设备的定向的位置来确定所述触摸输入很可能是右手触摸输入。
11.根据权利要求9所述的非瞬时计算机可读存储介质，其中，将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入进一步包括：
响应于确定所述对象表面具有满足阈值距离的距离来确定所述一个或多个对象表面中的对象表面对应于所述触摸输入。
12.根据权利要求8所述的非瞬时计算机可读存储介质，其中，提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示包括：
确定所述用户界面元件被定位在被确定为很可能在视觉上被所述触摸输入遮挡的所述用户界面的一部分中；以及
将所述用户界面元件的位置修改到在被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的所述特定部分上中定位的位置。
13.根据权利要求8所述的非瞬时计算机可读存储介质，其中，提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示包括以下中的一个或多个：
重新调整所述用户界面的大小；
重新定位所述用户界面；以及
将所述用户界面中的一个或多个用户界面元件重新布置到被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的所述特定部分。
14.根据权利要求8所述的非瞬时计算机可读存储介质，进一步包括：
基于将所述触摸输入分类为很可能左手输入，生成定位在被确定为很可能在视觉上不被所述左手输入遮挡的所述用户界面的所述特定部分中的第二用户界面元件；以及
基于将所述触摸输入分类为很可能右手输入，生成定位在被确定为很可能在视觉上不被所述右手输入遮挡的所述用户界面的所述特定部分中的第二用户界面元件。
15.一种系统，包括：
一个或多个处理器以及存储指令的一个或多个计算机存储介质，所述指令能操作并且在被所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
通过用户设备上的接近敏感显示器接收触摸输入；
将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入；
基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入来识别很可能在视觉上不被遮挡的用户界面的特定部分；
确定将用户界面元件定位在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的用户界面的特定部分上；以及
提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示。
16.根据权利要求15所述的系统，其中：
所述用户界面的所述特定部分是被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的一部分；以及
将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入包括：
生成分别与一个或多个对象表面相关联的一个或多个距离的深度指示符，所述一个或多个距离对应于所述一个或多个对象表面距所述用户设备的电容性触摸表面的相应距离；以及
确定相对于所述用户设备的定向的分别与所述一个或多个对象表面相关联的一个或多个位置。
17.根据权利要求16所述的系统，其中，将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入进一步包括以下中的一个：
基于(i)所述深度指示符以及(ii)指示很可能使用用户的左手的与所述触摸输入相关联的对象表面相对于所述用户设备的定向的位置来确定所述触摸输入很可能是左手触摸输入；以及
基于(i)所述深度指示符以及(ii)指示很可能使用用户的右手的与所述触摸输入相关联的对象表面相对于所述用户设备的定向的位置来确定所述触摸输入很可能是右手触摸输入。
18.根据权利要求15所述的系统，其中，提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示包括：
确定所述用户界面元件被定位在被确定为很可能在视觉上被所述触摸输入遮挡的所述用户界面的一部分中；以及
将所述用户界面元件的位置修改到在被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的所述特定部分上中定位的位置。
19.根据权利要求15所述的系统，其中，提供包括在基于将所述触摸输入分类为很可能左手触摸输入或者右手触摸输入而被识别为很可能在视觉上不被遮挡的所述用户界面的所述特定部分上定位的所述用户界面元件的用户界面以供在所述用户设备上的接近敏感显示器上显示包括以下中的一个或多个：
重新调整所述用户界面的大小；
重新定位所述用户界面；以及
将所述用户界面中的一个或多个用户界面元件重新布置到被确定为很可能在视觉上不被所述触摸输入遮挡的所述用户界面的所述特定部分。
20.根据权利要求15所述的系统，其中，进一步包括：
基于将所述触摸输入分类为很可能左手输入，生成定位在被确定为很可能在视觉上不被所述左手输入遮挡的所述用户界面的所述特定部分中的第二用户界面元件；以及
基于将所述触摸输入分类为很可能右手输入，生成定位在被确定为很可能在视觉上不被所述右手输入遮挡的所述用户界面的所述特定部分中的第二用户界面元件。
CN201910531234.1A 2014-03-17 2015-03-13 使用触摸屏设备确定用户利手和定向 Pending CN110362226A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/215,219 2014-03-17
US14/215,219 US9239648B2 (en) 2014-03-17 2014-03-17 Determining user handedness and orientation using a touchscreen device
CN201580013113.8A CN106104434B (zh) 2014-03-17 2015-03-13 使用触摸屏设备确定用户利手和定向

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580013113.8A Division CN106104434B (zh) 2014-03-17 2015-03-13 使用触摸屏设备确定用户利手和定向

Publications (1)

Publication Number Publication Date
CN110362226A true CN110362226A (zh) 2019-10-22

Family

ID=52774599

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580013113.8A Active CN106104434B (zh) 2014-03-17 2015-03-13 使用触摸屏设备确定用户利手和定向
CN201910531234.1A Pending CN110362226A (zh) 2014-03-17 2015-03-13 使用触摸屏设备确定用户利手和定向

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580013113.8A Active CN106104434B (zh) 2014-03-17 2015-03-13 使用触摸屏设备确定用户利手和定向

Country Status (4)

Country Link
US (2) US9239648B2 (zh)
EP (1) EP3120232B1 (zh)
CN (2) CN106104434B (zh)
WO (1) WO2015142662A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9569055B2 (en) 2013-08-13 2017-02-14 Samsung Electronics Company, Ltd. Interaction sensing
US10101869B2 (en) * 2013-08-13 2018-10-16 Samsung Electronics Company, Ltd. Identifying device associated with touch event
US10141929B2 (en) 2013-08-13 2018-11-27 Samsung Electronics Company, Ltd. Processing electromagnetic interference signal using machine learning
US10073578B2 (en) 2013-08-13 2018-09-11 Samsung Electronics Company, Ltd Electromagnetic interference signal detection
US11704016B2 (en) * 2013-12-04 2023-07-18 Autodesk, Inc. Techniques for interacting with handheld devices
CN105094287A (zh) * 2014-04-15 2015-11-25 联想(北京)有限公司 一种信息处理方法和电子设备
US20170010695A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Enhanced multi-touch input detection
US10289239B2 (en) * 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
WO2017048068A1 (en) * 2015-09-16 2017-03-23 Samsung Electronics Co., Ltd. Electromagnetic interference signal detection
US10579216B2 (en) * 2016-03-28 2020-03-03 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
US10627948B2 (en) 2016-05-25 2020-04-21 Microsoft Technology Licensing, Llc Sequential two-handed touch typing on a mobile device
US10324538B2 (en) 2016-08-30 2019-06-18 Garmin Switzerland Gmbh Dynamic watch user interface
US10185401B2 (en) * 2016-09-29 2019-01-22 Intel Corporation Determination of cursor position on remote display screen based on bluetooth angle of arrival
US11073980B2 (en) 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control
JP6857154B2 (ja) * 2018-04-10 2021-04-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
US11199912B2 (en) 2018-11-30 2021-12-14 Magic Leap, Inc. Multi-modal hand location and orientation for avatar movement
US11023033B2 (en) * 2019-01-09 2021-06-01 International Business Machines Corporation Adapting a display of interface elements on a touch-based device to improve visibility
CN110442295A (zh) * 2019-07-09 2019-11-12 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN112180319B (zh) * 2020-08-21 2022-11-29 天津市山石机器人有限责任公司 一种基于左、右手性空间定位系统及其定位方法
US11554323B2 (en) * 2020-09-11 2023-01-17 Riot Games, Inc. System and method for precise positioning with touchscreen gestures
US11537239B1 (en) * 2022-01-14 2022-12-27 Microsoft Technology Licensing, Llc Diffusion-based handedness classification for touch-based input
US11797100B1 (en) * 2022-09-23 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for classifying touch events based on relative orientation
US11875033B1 (en) * 2022-12-01 2024-01-16 Bidstack Group PLC Touch-based occlusion for handheld devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
CN101968695A (zh) * 2009-07-27 2011-02-09 索尼公司 信息处理设备、显示方法和显示程序

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
CN100468515C (zh) * 2003-12-19 2009-03-11 思比驰盖尔公司 把视觉数据作为显示设备位置的函数来映射的系统和方法
US7692629B2 (en) * 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
US8402391B1 (en) * 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
KR20100039194A (ko) * 2008-10-06 2010-04-15 삼성전자주식회사 사용자 접촉 패턴에 따른 ＧＵＩ(Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ) 표시 방법 및 이를 구비하는 장치
CN101729636A (zh) * 2008-10-16 2010-06-09 鸿富锦精密工业（深圳）有限公司 移动终端
US8368658B2 (en) 2008-12-02 2013-02-05 At&T Mobility Ii Llc Automatic soft key adaptation with left-right hand edge sensing
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20100310136A1 (en) * 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
KR101595384B1 (ko) * 2009-07-20 2016-02-18 엘지전자 주식회사 와치형 이동 단말기
US20130135223A1 (en) * 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use
US20110291964A1 (en) 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
US8519971B1 (en) * 2010-08-30 2013-08-27 Amazon Technologies, Inc. Rendering content around obscuring objects
US20130215060A1 (en) * 2010-10-13 2013-08-22 Nec Casio Mobile Communications Ltd. Mobile terminal apparatus and display method for touch panel in mobile terminal apparatus
US9244545B2 (en) * 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8644884B2 (en) 2011-08-04 2014-02-04 Qualcomm Incorporated Sensor-based user interface control
CN102299996A (zh) * 2011-08-19 2011-12-28 华为终端有限公司 一种手持设备操作方式识别方法及手持设备
US8467270B2 (en) * 2011-10-26 2013-06-18 Google Inc. Smart-watch with user interface features
CN103176724A (zh) 2011-12-21 2013-06-26 富泰华工业（深圳）有限公司 可切换左右手使用模式的操作界面的电子设备及方法
KR20130102298A (ko) * 2012-03-07 2013-09-17 주식회사 팬택 휴대용 단말기 및 휴대용 단말기의 디스플레이 제어 방법
US8760426B1 (en) 2012-03-26 2014-06-24 Amazon Technologies, Inc. Dominant hand detection for computing devices
JP2013235523A (ja) * 2012-05-11 2013-11-21 Sharp Corp 情報処理端末、その制御方法、および、その制御プログラム
EP2662756A1 (en) 2012-05-11 2013-11-13 BlackBerry Limited Touch screen palm input rejection
US20140015810A1 (en) * 2012-07-16 2014-01-16 Jack Chau Compact conductive stylus
US8842088B2 (en) 2012-07-27 2014-09-23 Apple Inc. Touch gesture with visible point of interaction on a touch screen
US9442578B2 (en) * 2012-08-06 2016-09-13 Lg Electronics Inc. Capacitive type stylus and mobile terminal comprising the same
US9317746B2 (en) * 2012-09-25 2016-04-19 Intel Corporation Techniques for occlusion accomodation
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US20140184519A1 (en) * 2012-12-28 2014-07-03 Hayat Benchenaa Adapting user interface based on handedness of use of mobile computing device
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
KR102153006B1 (ko) * 2013-05-27 2020-09-07 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US20150015495A1 (en) * 2013-07-12 2015-01-15 International Business Machines Corporation Dynamic mobile display geometry to accommodate grip occlusion
KR102188266B1 (ko) * 2014-01-23 2020-12-08 엘지전자 주식회사 스마트 워치, 디스플레이 디바이스 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
CN101968695A (zh) * 2009-07-27 2011-02-09 索尼公司 信息处理设备、显示方法和显示程序

Also Published As

Publication number Publication date
WO2015142662A1 (en) 2015-09-24
CN106104434B (zh) 2019-07-16
US20150261373A1 (en) 2015-09-17
EP3120232A1 (en) 2017-01-25
CN106104434A (zh) 2016-11-09
EP3120232B1 (en) 2019-10-16
US9239648B2 (en) 2016-01-19
US20160098125A1 (en) 2016-04-07
US9645693B2 (en) 2017-05-09

Similar Documents

Publication Publication Date Title
CN106104434B (zh) 使用触摸屏设备确定用户利手和定向
Murugappan et al. Extended multitouch: recovering touch posture and differentiating users using a depth camera
CN104838337B (zh) 用于用户界面的无触摸输入
US10289214B2 (en) Method and device of controlling virtual mouse and head-mounted displaying device
Le et al. Investigating the feasibility of finger identification on capacitive touchscreens using deep learning
US10572012B2 (en) Electronic device for performing gestures and methods for determining orientation thereof
CN109891491A (zh) 交互式显示器
EP1579376A1 (en) Method and system for three-dimensional handwriting recognition
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
CN107391014A (zh) 具有手指鉴别的智能触摸屏键盘
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
CN102622225A (zh) 一种支持用户自定义手势的多点触控应用程序开发方法
Le et al. PredicTouch: A system to reduce touchscreen latency using neural networks and inertial measurement units
Rekimoto Organic interaction technologies: from stone to skin
CN102214039A (zh) 辅助实现多状态触摸屏检测的多模式义肢设备
Blažica et al. MTi: A method for user identification for multitouch displays
CN106404234A (zh) 力传感器
Boruah et al. Development of a learning-aid tool using hand gesture based human computer interaction system
CN106598422A (zh) 基于指向型的操控、混合操控方法及操控系统和电子设备
Prasad et al. A wireless dynamic gesture user interface for HCI using hand data glove
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
CN104199602A (zh) 一种信息处理方法及电子设备
CN103869959B (zh) 电子装置控制方法以及电子装置
Yang et al. TapSix: A Palm-Worn Glove with a Low-Cost Camera Sensor that Turns a Tactile Surface into a Six-Key Chorded Keyboard by Detection Finger Taps
WO2021176609A1 (ja) 入出力モデルを設定可能なペン状態検出回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191022