ES2800976T3 - Manipulación multitáctil de objetos de aplicación - Google Patents

Manipulación multitáctil de objetos de aplicación Download PDF

Info

Publication number
ES2800976T3
ES2800976T3 ES09822480T ES09822480T ES2800976T3 ES 2800976 T3 ES2800976 T3 ES 2800976T3 ES 09822480 T ES09822480 T ES 09822480T ES 09822480 T ES09822480 T ES 09822480T ES 2800976 T3 ES2800976 T3 ES 2800976T3
Authority
ES
Spain
Prior art keywords
application
touch
manipulation
hardware
touch input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES09822480T
Other languages
English (en)
Inventor
Reed L Townsend
Tu Xiao
Bryan D Scott
Todd A Torset
Erik M Geidl
Samir S Pradhan
Jennifer A Teed
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Application granted granted Critical
Publication of ES2800976T3 publication Critical patent/ES2800976T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

Método de transformación de la entrada multitáctil en uno o más eventos de manipulación, teniendo el método realizado en un dispositivo informático hardware multitáctil, comprendiendo el método: recibir (410) desde la entrada táctil de bajo nivel de hardware multitáctil que corresponde a toques en el hardware multitáctil; identificar (420) un objeto de aplicación al que se aplica la entrada táctil de bajo nivel recibida; enviar (430) la entrada táctil de bajo nivel recibida y la información sobre el objeto de aplicación identificado a una interfaz de programación de aplicaciones, API, de manipulación, para interpretar la entrada táctil de bajo nivel recibida como uno o más eventos de manipulación, en el que la API de manipulación es invocable por múltiples aplicaciones y proporciona una plataforma independiente de aplicación para procesar entradas multitáctiles; recibir (440) un evento de manipulación que describe una o más manipulaciones del objeto de aplicación identificado, comprendiendo el evento de manipulación una transformación afín 2D del objeto de aplicación identificado y manejar (450) el evento de manipulación recibido modificando el objeto de aplicación identificado, de manera que la aplicación reciba uno o más eventos de manipulación sin realizar las etapas específicas para un dispositivo hardware multitáctil y sin interpretar entradas táctiles individuales de bajo nivel.

Description

DESCRIPCIÓN
Manipulación multitáctil de objetos de aplicación
ANTECEDENTES
Una tableta PC, o computadora basada en pluma, es una computadora portátil o computadora portátil en forma de pizarra, equipada con una pantalla táctil o tecnología híbrida de tableta gráfica/pantalla que permite al usuario operar la computadora con un lápiz óptico, un bolígrafo digital o la punta del dedo en lugar de un teclado o ratón. Las tabletas PC ofrecen una forma de entrada más natural, ya que el boceto y la escritura a mano son una forma de entrada mucho más familiar que un teclado y un ratón, especialmente para las personas que son nuevas en las computadoras. Las tabletas PC también pueden ser más accesibles porque aquellos que no pueden escribir físicamente pueden utilizar las características adicionales de una tableta PC para poder interactuar con el mundo electrónico.
Multi-táctil (o multitáctil) denota un conjunto de técnicas de interacción que permiten a los usuarios de computadoras controlar aplicaciones gráficas usando múltiples dedos o dispositivos de entrada (por ejemplo, lápiz óptico). Las implementaciones multitáctiles generalmente incluyen hardware táctil (por ejemplo, una pantalla, mesa, pared, etc.) y software que reconoce múltiples puntos táctiles simultáneos. Los soportes multitáctiles contrastan con las pantallas táctiles tradicionales (por ejemplo, panel táctil de la computadora, cajero automático, quiosco de compras) que solo reconocen un punto táctil a la vez. El hardware multitáctil puede detectar toques usando calor, presión de los dedos, cámaras de alta velocidad de captura, luz infrarroja, captura óptica, inducción electromagnética sintonizada, receptores ultrasónicos, micrófonos transductores, telémetros láser, captura de sombras y otros mecanismos. Existen muchas aplicaciones para interfaces multitáctiles y los diseñadores y usuarios de aplicaciones proponen aún más. Algunos usos son individualistas (por ejemplo, Microsoft Surface, Apple iPhone, HTC Diamond). Como un nuevo método de entrada, multitáctil ofrece el potencial para nuevos paradigmas de experiencia de usuario.
Una aplicación no puede usar hardware multitáctil sin una interfaz para que el software de la aplicación reciba información del hardware multitáctil. Desafortunadamente, cada dispositivo de hardware multitáctil incluye su propia interfaz patentada y los autores de la aplicación deben tener un conocimiento específico de un dispositivo de hardware para escribir software que funcione con el dispositivo. Por ejemplo, un proveedor de hardware multitáctil puede proporcionar un controlador en modo kernel y una interfaz de aplicación en modo de usuario a través de la cual las aplicaciones de software en modo de usuario pueden comunicarse con el hardware multitáctil para recibir información táctil. El autor de una aplicación escribe software que se comunica con la interfaz de la aplicación en modo de usuario, pero el software del autor de la aplicación solo funciona con ese hardware multitáctil. Un usuario de la computadora con un dispositivo de hardware multitáctil diferente no puede usar el software del autor de la aplicación a menos que el autor de la aplicación produzca una versión diferente del software que funcione correctamente con el dispositivo del usuario de la computadora. Esto produce un mercado potencial muy limitado para los autores de aplicaciones, reduce el incentivo para escribir aplicaciones que admitan interacciones multitáctiles y mantiene alto el coste de los dispositivos más populares para los que hay la mayor cantidad de aplicaciones disponibles.
Otro problema es la dificultad de las aplicaciones para determinar las intenciones de un usuario en función de la entrada táctil recibida del hardware multitáctil. La entrada táctil puede recibirse como una lista de coordenadas en las que el hardware detecta la entrada táctil en cualquier momento dado. Cada aplicación debe incluir un software para interpretar las coordenadas y determinar la intención del usuario. Por ejemplo, si una aplicación recibe información sobre dos toques diferentes, un primer toque en una posición y a continuación un segundo toque en una nueva posición, depende de la aplicación determinar si el usuario usó un dedo para el primer toque y otro para el segundo toque, o si el usuario deslizó el mismo dedo de una ubicación a otra para producir el primer toque y el segundo toque. Dependiendo de la finalidad de la aplicación, estas dos interpretaciones diferentes de la entrada del usuario pueden tener significados muy diferentes.
El documento US 2008/0168402 A1 desvela interfaces de programación de aplicaciones en un entorno con software de interfaz de usuario que interactúa con una aplicación de software. A través de las interfaces de programación de aplicaciones se transfieren diversas llamadas o mensajes de función entre el software de interfaz del usuario y las aplicaciones de software. Las interfaces de programación de aplicaciones de ejemplo transfieren llamadas de función para implementar el desplazamiento, la gesticulación y las operaciones de animación para un dispositivo.
El documento EP 2 148 268 A1 desvela métodos, sistemas y productos de programas informáticos para procesar entradas multitáctiles. Proporciona un método para el reconocimiento continuo de gestos multitáctiles realizados por uno o más usuarios en al menos un dispositivo de entrada multitáctil. La invención, en un aspecto, permite a los usuarios comenzar a interactuar con un gesto múltiple y posteriormente realizar cualquier otro gesto múltitáctil, si lo desean, sin necesidad de levantar todos sus dedos del dispositivo de entrada multitáctil entre cada gesto multitáctil.
RESUMEN
Esta invención se refiere a un método, un sistema y un medio de almacenamiento legible por computadora como se establece en las reivindicaciones 1, 8 y 14 respectivamente. El sistema de manipulación descrito en esta invención proporciona una plataforma común y una interfaz de programación de aplicaciones (API) para que las aplicaciones se comuniquen con diversos dispositivos de hardware multitáctiles, y facilita la interpretación de la entrada multitáctil como una o más manipulaciones. Las manipulaciones se asignan más directamente a las intenciones del usuario que las entradas táctiles individuales y añaden soporte para la transformación básica de objetos utilizando múltiples contactos táctiles. Una aplicación puede usar manipulaciones para admitir la rotación, el cambio de tamaño y la traslación de varios objetos al mismo tiempo. El sistema de manipulación genera transformaciones afines bidimensionales (2D) que contienen información de rotación, escala y traslación. Así, al utilizar el sistema de manipulación, el autor de la aplicación puede centrarse más en crear aplicaciones con capacidad táctil y dejar que el sistema de manipulación maneje las transformaciones subyacentes y la comunicación con el hardware multitáctil.
Este resumen se proporciona para introducir una selección de conceptos en una forma simplificada que se describen adicionalmente más adelante en la descripción detallada. Este resumen no está destinado a identificar características clave o características esenciales de la materia objeto reivindicada, ni pretende ser utilizado para limitar el alcance de la materia objeto reivindicada.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La figura 1 es un diagrama de bloques que ilustra los componentes del sistema de manipulación, en una realización. La figura 2 es un diagrama de flujo de datos que ilustra un entorno operativo típico de la manipulación y el flujo de datos entre componentes, en una realización.
La figura 3 es un diagrama de visualización que ilustra un objeto de aplicación manipulado por entrada táctil, en una realización.
La figura 4 es un diagrama de flujo que ilustra el procesamiento del bucle de entrada de una aplicación multitáctil que usa el sistema de manipulación, en una realización.
La figura 5 es un diagrama de flujo que ilustra el procesamiento del sistema de manipulación cuando el sistema recibe entrada táctil, en una realización.
DESCRIPCIÓN DETALLADA
El sistema de manipulación proporciona una plataforma común y una API para que las aplicaciones se comuniquen con diversos dispositivos de hardware multitáctiles, y facilita la interpretación de la entrada multitáctil como una o más manipulaciones. Las manipulaciones se asignan más directamente a las intenciones del usuario que las entradas táctiles individuales y añaden soporte para la transformación básica de objetos utilizando múltiples contactos táctiles. Por ejemplo, un autor de la aplicación que recibe manipulaciones del sistema de manipulación puede diferenciar a un usuario que desliza un dedo de una ubicación a otra de un usuario que coloca dos dedos diferentes sin realizar una interpretación adicional de la entrada. Las manipulaciones proporcionan soporte para múltiples interacciones simultáneas. Una aplicación puede utilizar manipulaciones para admitir la rotación, el cambio de tamaño y la traslación de múltiples objetos (por ejemplo, fotos) al mismo tiempo. A diferencia de las interfaces de usuario típicas basadas en ventanas, no hay nociones de enfoque o activación que vinculen al usuario a una sola entrada a la vez. Además, las aplicaciones pueden recuperar información de manipulación. El sistema de manipulación genera transformaciones afines 2D que contienen rotación, escala (por ejemplo, zoom) y la información de traslación (por ejemplo, panorámica).
Un contacto es un toque individual del hardware multitáctil. Por ejemplo, cuando un usuario coloca su dedo en el hardware multitáctil, mueve su dedo y levanta el dedo, esa serie de eventos es un solo contacto. El sistema identifica cada contacto con un identificador de contacto. Un contacto mantiene el mismo identificador mientras exista. A medida que el usuario mueve diversos contactos, el sistema interpreta el movimiento como una o más manipulaciones. Por ejemplo, si el usuario mueve dos contactos más juntos o más separados, el sistema puede determinar que el usuario está escalando (por ejemplo, acercándose o alejándose) un objeto. Como otro ejemplo, si el usuario mueve múltiples contactos en un movimiento circular, a continuación el sistema puede interpretar el movimiento como una rotación de un objeto. Cada aplicación puede definir objetos que son relevantes de manera diferente, por lo que depende de la aplicación adjuntar una instancia del sistema (llamado procesador de manipulación) a cada objeto que un usuario puede manipular mediante la entrada táctil dentro de la aplicación. Por ejemplo, una aplicación de exploración de fotos puede adjuntar un procesador de manipulación a cada foto mostrada, de modo que el usuario pueda mover las fotos, escalarlas, rotarlas, etc. Por lo tanto, el autor de la aplicación puede centrarse más en crear aplicaciones con capacidad táctil y dejar que el sistema de manipulación maneje las transformaciones subyacentes y la comunicación con el hardware multitáctil.
La figura 1 es un diagrama de bloques que ilustra los componentes del sistema de manipulación, en una realización. El sistema de manipulación 100 incluye una interfaz de hardware 110, uno o más procesadores de manipulación 120, un administrador de contactos 130, un componente de transformación de entrada 140 y una interfaz de aplicación 150. Cada uno de estos componentes se describe con más detalle en esta invención.
La interfaz de hardware 110 se comunica con el hardware para recibir contactos táctiles y movimientos. La interfaz de hardware 110 puede incluir varios subcomponentes que trabajan juntos para proporcionar información de entrada táctil. Por ejemplo, el sistema operativo puede proporcionar un modelo de controlador común para que fabricantes de hardware multitáctil proporcionen información táctil para su hardware particular. El sistema operativo puede traducir la información táctil recibida a través de este modelo en mensajes de ventana (por ejemplo, WM_TOUCH descrito en esta invención) y pasar estos mensajes a la aplicación. Por lo tanto, la interfaz de hardware 110 puede implicar la coordinación del hardware, un controlador de hardware y una capa de sistema operativo. El resultado es una serie de mensajes al sistema de manipulación que identifican un contacto particular (por ejemplo, toque de un dedo) y las coordenadas del contacto a lo largo del tiempo. Por ejemplo, el sistema operativo puede proporcionar un mensaje cuando se establece un nuevo contacto en el hardware multitáctil, un mensaje cada vez que el contacto se mueve y un mensaje cuando un usuario levanta el contacto del hardware multitáctil.
Uno o más procesadores de manipulación 120 utilizan el componente de transformación de entrada 140 para interpretar el movimiento de cada contacto asociado con un objeto de aplicación particular. El procesador de manipulación 120 puede determinar que un usuario está usando múltiples contactos para realizar una sola acción. Por ejemplo, un usuario podría tocar una foto con los cinco dedos de una mano y girar su mano para indicar una intención de girar la foto. El procesador de manipulación 120 recibe cinco contactos separados (uno para cada dedo) y el cambio en las coordenadas de cada contacto a medida que el usuario gira su mano. El procesador de manipulación 120 determina que cada contacto está agarrando el mismo objeto y realizando la misma rotación. El sistema informará a la aplicación que el usuario giró el objeto, pero la aplicación puede ignorar si el usuario usó dos, cinco, o cualquier número particular de dedos u otros contactos para realizar la rotación. Esto simplifica enormemente la creación de la aplicación porque el autor de la aplicación puede manejar esos tipos de manipulaciones que son relevantes para la aplicación y dejar que el sistema de manipulación interprete el significado de cada entrada táctil de bajo nivel recibida del hardware multitáctil.
Cada procesador de manipulación 120 gestiona una lista de contactos asociados con el procesador de manipulación, y almacena el vector de velocidad y la información de traslación sobre los contactos a medida que el procesador de manipulación 120 recibe nueva información táctil de bajo nivel. El administrador de contactos 130 representa la parte del sistema 100 que maneja la administración de contactos para los procesadores de manipulación 120. Depende de la aplicación informar al sistema de manipulación qué contactos deben asociarse con cada procesador de manipulación. La aplicación puede hacer esta determinación cuando la aplicación recibe información táctil de bajo nivel, por ejemplo, al probar por impacto objetos de aplicación utilizando coordenadas asociadas con la información táctil de bajo nivel recibida. Por ejemplo, si un usuario coloca tres dedos en la misma foto en una aplicación de edición de fotos, la aplicación determina que el contacto asociado con cada dedo está tocando el mismo objeto y asocia cada uno de los tres contactos con el mismo procesador de manipulación. El administrador de contactos 130 gestiona la lista de contactos asociados en nombre del procesador de manipulación 120 y rastrea el movimiento de los contactos para interpretar las manipulaciones del objeto asociado previsto por el usuario.
El procesador de manipulación 120 utiliza el componente de transformación de entrada 140 para hacer determinaciones sobre el significado de los movimientos recibidos de diversos contactos, tanto solos como en concierto. Por ejemplo, si un usuario está manipulando una foto con dos dedos, lo que crea dos contactos de entrada correspondientes, a continuación el procesador de manipulación 120 utiliza el componente de transformación de entrada 140 para determinar el significado de los movimientos relativos entre los dos contactos. Si los dos contactos se separan, a continuación el componente de transformación de entrada 140 puede determinar que el usuario está escalando el objeto para cambiar el tamaño del objeto. Si los dos contactos giran, a continuación el componente de transformación de entrada 140 puede determinar que el usuario está girando el objeto. Si los dos contactos se deslizan en una dirección particular, a continuación el componente de transformación de entrada 140 puede determinar que el usuario está desplazando el objeto a una nueva ubicación. Aunque cada tipo de movimiento se describe por separado en esta invención, un usuario puede realizar los tres tipos de movimientos al mismo tiempo, y el procesador de transformación de entrada puede informar la transformación general a la aplicación. Por ejemplo, un usuario puede girar, escalar y desplazar un objeto todo en un solo movimiento.
La interfaz de aplicación 150 se comunica con la aplicación para recibir información y proporcionar transformaciones de manipulación a la aplicación. La interfaz de aplicación 150 recibe información de inicialización de la aplicación. La información de inicialización puede especificar qué tipos de transformaciones admite el objeto de aplicación para un objeto particular y el procesador de manipulación asociado. Por ejemplo, algunos objetos de aplicación pueden admitir escalado pero no rotación. La información de inicialización también puede especificar un punto de pivote del objeto. El sistema de manipulación proporciona transformaciones de manipulación a la aplicación a través de la interfaz de la aplicación. Por ejemplo, cuando el sistema de manipulación recibe una entrada táctil de bajo nivel que el sistema interpreta como una transformación reconocida (por ejemplo, una rotación), el sistema dispara un evento para notificar a la aplicación sobre la manipulación. La aplicación procesa la transformación de manipulación para modificar el objeto en función de la transformación. Por ejemplo, si el usuario giró el objeto, a continuación la aplicación puede almacenar la nueva orientación del objeto para usar la próxima vez que la aplicación muestre el objeto.
El dispositivo informático en el que se implementa el sistema puede incluir una unidad central de procesamiento, memoria, dispositivos de entrada (por ejemplo, dispositivos de teclado y señalador), dispositivos de salida (por ejemplo, dispositivos de visualización) y dispositivos de almacenamiento (por ejemplo, unidades de disco). Los dispositivos de memoria y almacenamiento son medios legibles por computadora que pueden estar codificados con instrucciones ejecutables por computadora que implementan el sistema, lo que significa un medio legible por computadora que contiene las instrucciones. Además, las estructuras de datos y las estructuras de mensajes pueden almacenarse o transmitirse a través de un medio de transmisión de datos, tal como una señal en un enlace de comunicación. Se pueden utilizar diversos enlaces de comunicación, tales como Internet, una red de área local, una red de área amplia, una conexión de acceso telefónico de punto a punto, una red de teléfono celular, etc.
Las realizaciones del sistema pueden implementarse en diversos entornos operativos que incluyen computadoras personales, computadoras de servidor, dispositivos portátiles o de mano, sistemas multiprocesador, sistemas basados en microprocesador, productos electrónicos de consumo programables, cámaras digitales, PC en red, minicomputadoras, computadoras centrales, entornos informáticos distribuidos que incluyen cualquiera de los sistemas o dispositivos anteriores, etc. Los sistemas informáticos pueden ser teléfonos celulares, asistentes digitales personales, teléfonos inteligentes, computadoras personales, productos electrónicos de consumo programables, cámaras digitales, etc.
El sistema puede describirse en el contexto general de instrucciones ejecutables por computadora, tales como módulos de programa, ejecutados por una o más computadoras u otros dispositivos. En general, los módulos de programa incluyen rutinas, programas, objetos, componentes, estructuras de datos, etc. que realizan tareas particulares o implementan tipos particulares de datos abstractos.
Típicamente, la funcionalidad de los módulos de programa puede combinarse o distribuirse según se desee en diversas realizaciones.
La figura 2 es un diagrama de flujo de datos que ilustra un entorno operativo típico del sistema de manipulación y el flujo de datos entre componentes, en una realización. Un dispositivo de hardware multitáctil produce entradas 210 a través de una interfaz de hardware. Por ejemplo, el hardware puede enviar las entradas 210 a un sistema operativo a través de un controlador de software proporcionado por el fabricante del hardware. La interfaz de hardware proporciona eventos de entrada 220 a una aplicación 230. Por ejemplo, una aplicación puede informar al sistema operativo que la aplicación 230 admite entrada de usuario multitáctil y se registra para recibir mensajes relacionados con la entrada de usuario multitáctil. La aplicación 230 recibe información de entrada táctil de bajo nivel cuando la entrada cambia 240 y reenvía los cambios de entrada 240 al sistema de manipulación 250 descrito en esta invención. Por ejemplo, los cambios de entrada 240 pueden describir cada movimiento de uno o más contactos táctiles con el hardware utilizando un conjunto de coordenadas que indican la posición actual de cada contacto y otras características de movimiento. El sistema de manipulación 250 interpreta los cambios de entrada 240 y notifica a la aplicación 230 de uno o más eventos de manipulación 260 que indican manipulaciones de nivel superior que el usuario está realizando en un objeto visualizado. Por ejemplo, si el movimiento de los contactos indica que el usuario tiene la intención de girar el objeto, los eventos de manipulación 260 indican un grado de rotación.
Aunque el diagrama ilustra que la aplicación primero recibe entrada táctil y pasa la entrada táctil al sistema de manipulación, en algunas realizaciones, el sistema de manipulación recibe entrada táctil directamente desde la interfaz de hardware, interpreta la entrada táctil y proporciona eventos de manipulación interpretados a la aplicación. Esto representa una arquitectura alternativa que proporciona una funcionalidad resultante similar pero le da a la aplicación menos control sobre el procesamiento de la entrada. Por ejemplo, la aplicación puede no ser capaz de definir objetos de aplicación individuales a los que el sistema conecta procesadores de manipulación individuales. El complemento RTS descrito en esta invención es un ejemplo de esta arquitectura alternativa para el sistema.
La figura 3 es un diagrama de visualización que ilustra un objeto de aplicación manipulado por entrada táctil, en una realización. Una aplicación puede mostrar simultáneamente y recibir entrada táctil para muchos de dichos objetos. Por ejemplo, los objetos pueden representar una o más fotografías almacenadas en la computadora del usuario. El objeto 310 tiene un límite 320 definido por la aplicación en función del dominio particular de la aplicación. Por ejemplo, una aplicación de exploración de fotos puede tener objetos que representan fotos del usuario y la aplicación puede definir el borde de cada foto mostrada como un límite de objeto 320. Un usuario toca el objeto con dos contactos iniciales en las ubicaciones 330 y 340. Por ejemplo, el usuario puede colocar su pulgar en la ubicación 330 y el dedo índice en la ubicación 340. A continuación, el usuario gira sus dedos y los separa, de modo que los contactos terminen en las ubicaciones 350 y 360. Las líneas 370 y 380 ilustran la rotación aproximada realizada por el movimiento del usuario. La línea 390 ilustra el estiramiento aproximado realizado por el movimiento del usuario. En lugar de proporcionar las coordenadas individuales de los contactos táctiles 330-360, el sistema de manipulación puede indicar a la aplicación las transformaciones realizadas por el usuario, tal como el grado de rotación y el factor de escala relacionado con el estiramiento.
La figura 4 es un diagrama de flujo que ilustra el procesamiento del bucle de entrada de una aplicación multitáctil que usa el sistema de manipulación, en una realización. En el bloque 410, la aplicación recibe una entrada táctil de bajo nivel. Por ejemplo, un sistema operativo o instancia del sistema de manipulación recibe información de contacto táctil del hardware multitáctil y reenvía la información de contacto táctil a la aplicación. En el bloque 420, la aplicación identifica el objeto al que se aplica la entrada. Por ejemplo, la aplicación puede probar por impacto las coordenadas de la entrada recibida comparando las coordenadas con las coordenadas de cada objeto de aplicación mostrado por la aplicación. Si la entrada táctil está dentro de los límites de un objeto de aplicación visualizado, a continuación la aplicación determina que la entrada táctil se aplica a ese objeto. En el bloque 430, la aplicación envía la entrada táctil recibida y la información sobre el objeto de aplicación identificado a una API de manipulación para invocar al sistema de manipulación (véase la figura 5). Por ejemplo, la aplicación puede crear un identificador numérico para cada objeto de aplicación y pasar el identificador numérico al sistema de manipulación cada vez que la entrada táctil corresponda a ese objeto.
En el bloque 440, la aplicación recibe un evento de manipulación del sistema de manipulación que describe una o más manipulaciones del objeto de aplicación identificado. Por ejemplo, la aplicación puede recibir un evento que describe una transformación afín 2D del objeto de la aplicación. El bloque 440 se ilustra en serie después del bloque 430 para simplificar la ilustración. En la práctica, la aplicación puede recibir muchos eventos de entrada táctil antes de que el sistema de manipulación notifique a la aplicación con un evento de manipulación. No hay necesariamente un mapeo uno a uno de los eventos de entrada táctil a los eventos de manipulación. Debido a que los eventos de manipulación representan una interpretación de nivel superior de las entradas táctiles de bajo nivel, las múltiples entradas táctiles pueden formar un solo evento de manipulación. En el bloque 450, la aplicación maneja el evento de manipulación recibido. Por ejemplo, si el evento de manipulación recibido es una rotación, a continuación la aplicación puede girar el objeto de la aplicación en la pantalla y almacenar la nueva ubicación de los objetos de la aplicación para su uso cuando la aplicación muestre nuevamente el objeto de la aplicación. El sistema de manipulación libera a la aplicación de realizar etapas específicas para un dispositivo de hardware multitáctil particular o incluso de saber qué dispositivo de hardware está proporcionando la entrada multitáctil. Además, el sistema de manipulación libera a la aplicación del procesamiento del movimiento de contacto individual y permite que la aplicación se centre en el procesamiento de transformaciones a nivel del objeto de la aplicación.
En el bloque 460, la aplicación espera la siguiente entrada táctil. Por ejemplo, la aplicación puede llamar a un API de mensaje proporcionado por el sistema operativo, tal como GetMessage en Microsoft Windows que espera a que se suministre el siguiente mensaje a la cola de mensajes de la aplicación. En el bloque de decisión 470, si la aplicación recibe la siguiente entrada táctil, a continuación la aplicación realiza un bucle al bloque 410 para procesar la entrada, de lo contrario, la aplicación realiza un bucle al bloque 460 para continuar esperando más entrada. Cuando la aplicación se cierra, la aplicación sale del bucle de entrada (no se muestra).
La figura 5 es un diagrama de flujo que ilustra el procesamiento del sistema de manipulación cuando el sistema recibe entrada táctil, en una realización. En el bloque 505, el sistema recibe entrada táctil junto con información que identifica un objeto de aplicación con el que está asociada la entrada táctil. Por ejemplo, la entrada táctil puede incluir coordenadas u otra información de ubicación de uno o más contactos táctiles, y la información del objeto de la aplicación puede incluir un identificador que la aplicación asignó a un objeto visualizado en particular en el que la entrada táctil está sobre el hardware multitáctil. En el bloque 510, el sistema identifica un procesador de manipulación asociado con el objeto de la aplicación. En el bloque de decisión 520, si el sistema no ha asociado previamente un procesador de manipulación con el objeto de la aplicación, a continuación el sistema continúa en el bloque 530, de lo contrario, el sistema continúa en el bloque 540. En el bloque 530, el sistema crea un procesador de manipulación y lo asocia con el objeto de la aplicación, a continuación continúa en el bloque 540.
En el bloque de decisión 540, si la entrada táctil recibida indica que la aplicación recibió un nuevo contacto (por ejemplo, un evento alcista de contacto), a continuación el sistema continúa en el bloque 550, de lo contrario el sistema continúa en el bloque 560. Por ejemplo, un usuario puede hacer contacto inicial de un dedo con un objeto en pantalla o colocar otro dedo (es decir, contacto) en un objeto previamente tocado. En el bloque 550, el sistema añade el nuevo contacto a la lista de contactos asociados con el procesador de manipulación, y a continuación continúa en el bloque 560. En el bloque de decisión 560, si la entrada táctil recibida indica que la aplicación recibió notificación de que se eliminó un contacto táctil (por ejemplo, un evento bajista de contacto), a continuación el sistema continúa en el bloque 570, de lo contrario el sistema continúa en el bloque 580. Por ejemplo, el usuario puede levantar uno o más dedos de un objeto previamente tocado. En el bloque 570, el sistema elimina el contacto de la lista de contactos asociados con el procesador de manipulación, y a continuación continúa en el bloque 580. En el bloque 580, el sistema procesa la entrada táctil para determinar cualquier manipulación representada por la entrada táctil. Por ejemplo, el movimiento táctil puede indicar una rotación o manipulación de traslación, mientras que la eliminación del contacto táctil puede indicar la finalización de una manipulación. En el bloque 590, el sistema dispara un evento de manipulación para enviar información de transformación que describe la manipulación a la aplicación. Por ejemplo, el sistema puede proporcionar un grado de rotación angular del objeto a la aplicación. Después del bloque 590, estas etapas concluyen.
En algunas realizaciones, el sistema de manipulación es parte de un sistema operativo basado en mensajes, y el sistema recibe mensajes relacionados con la entrada táctil que el sistema operativo recibe del hardware. Por ejemplo, al usar un paradigma similar a WM_MOUSEMOVE para mensajes de ratón, las versiones futuras de Microsoft Windows pueden proporcionar un mensaje WM_TOUCH que contiene información de movimiento táctil de bajo nivel recibida del hardware multitáctil. El sistema operativo también puede proporcionar mensajes más específicos, tales como WM_TOUCHDOWN (cuando se hace un nuevo contacto con el hardware multitáctil), WM_TOUCHMOVE (cuando se mueve un contacto existente) y WM_TOUCHUP (cuando un contacto se levanta del hardware multitáctil). Una aplicación que recibe un mensaje relacionado con WM_TOUCH puede invocar al sistema de manipulación y pasar el mensaje al sistema de manipulación para su interpretación y procesamiento. A continuación, la aplicación recibe eventos de nivel superior que representan la interpretación del sistema de manipulación de la manipulación prevista por el usuario en función de la información de movimiento táctil de bajo nivel recibida.
En algunas realizaciones, el sistema de manipulación recibe información de movimiento táctil de bajo nivel de hardware especializado, tal como un lápiz óptico en tiempo real. Por ejemplo, el kit de desarrollo de software (SDK) de Microsoft Tablet PC proporciona un componente de lápiz óptico en tiempo real (RTS) que los autores de aplicaciones pueden ampliar con ganchos. Los ganchos RTS reciben entradas del hardware RTS y pueden realizar el procesamiento en la entrada recibida. El sistema de manipulación puede proporcionar un gancho que una aplicación puede insertar en el componente RTS para procesar automáticamente RTS y otras entradas para manipular los objetos de la aplicación como se describe en esta invención. El gancho RTS proporciona una forma diferente para que el sistema de manipulación reciba la entrada, pero el sistema de manipulación interpreta la entrada y dispara eventos a la aplicación que describe las manipulaciones implicadas por la entrada como se describió anteriormente. Un usuario puede usar una combinación de lápiz óptico y entrada táctil. Por ejemplo, el usuario puede dibujar un objeto con el lápiz óptico y a continuación girar el objeto con los dedos.
En algunas realizaciones, un procesador de manipulación del sistema de manipulación recibe información de inicialización de la aplicación que usa el sistema. Por ejemplo, una aplicación puede inicializar el procesador de manipulación con información sobre la ubicación del centro de un objeto de aplicación. Esto puede permitir que el procesador de manipulación interprete mejor las intenciones de un usuario a partir de la entrada táctil de bajo nivel recibida. Por ejemplo, si el usuario gira un solo contacto táctil en un arco alrededor del centro del objeto de la aplicación, el procesador puede tratar el movimiento como una manipulación de rotación. Sin la información de inicialización, el procesador puede interpretar el mismo movimiento como simplemente desplazar el objeto de la aplicación en el arco que se movió el contacto táctil. Por lo tanto, al proporcionar información adicional del contexto de la aplicación al procesador de manipulación, la aplicación puede permitir que el sistema de manipulación interprete mejor las manipulaciones del usuario.
En algunas realizaciones, el sistema de manipulación permite que la aplicación reutilice el mismo procesador de manipulación durante todo el tiempo que el usuario está manipulando un objeto particular. Por ejemplo, la aplicación puede solicitar que el sistema cree un procesador de manipulación para cada objeto de la aplicación cuando la aplicación se inicie y use ese procesador de manipulación hasta que la aplicación se cierre. La aplicación también puede retrasar la creación de cada procesador de manipulación hasta que un usuario interactúa con un objeto particular usando el tacto (por ejemplo, cuando la aplicación detecta el primer contacto de un objeto). Durante la vida útil de un procesador de manipulación, los contactos pueden ir y venir a medida que el usuario levanta y toca el hardware multitáctil y realiza diversas manipulaciones. El procesador de manipulación rastrea la lista de contactos actuales y las manipulaciones representadas por el movimiento de los contactos como se describe en esta invención.
En algunas realizaciones, el sistema de manipulación retrasa los eventos de disparo a la aplicación hasta que el sistema haya recibido una posición actualizada para cada contacto asociado con un procesador de manipulación particular o hasta que haya pasado un determinado tiempo. Si el sistema reacciona demasiado rápido, tal como disparar eventos después de cada actualización de contacto recibida, a continuación pueden producirse problemas como la tartamudez. Por ejemplo, si un usuario toca un objeto de aplicación con dos dedos y arrastra ambos dedos hacia abajo al hardware multitáctil al mismo tiempo, es probable que el sistema reciba actualizaciones para un contacto ligeramente antes de las actualizaciones para el otro contacto. Si el sistema dispara eventos basados en las actualizaciones de contacto tan pronto como el sistema reciba las actualizaciones, el sistema informará que el objeto está girando rápidamente hacia adelante y hacia atrás. Si, en cambio, el sistema espera hasta recibir una nueva posición para el segundo contacto, o espera un período de tiempo (por ejemplo, 100 milisegundos) para recibir una actualización para el segundo contacto, a continuación el sistema puede diferenciar correctamente una situación en la que el usuario está moviendo ambos contactos en la misma dirección y las actualizaciones se recibieron un poco separadas en el tiempo de una situación en la que el usuario está de hecho girando el objeto moviendo solo uno de los contactos. Por lo tanto, el sistema puede realizar este procesamiento adicional para proporcionar una experiencia de usuario satisfactoria.
En algunas realizaciones, el sistema de manipulación es parte de un control común que una aplicación puede invocar para proporcionar una interfaz de usuario común. Microsoft Windows proporciona controles comunes para mostrar listas, árboles, botones, etc. De manera similar, el sistema de manipulación puede proporcionar un control multitáctil para manipular objetos de aplicación de las formas descritas en esta invención. Por ejemplo, el sistema puede proporcionar un control de dispersión que permite al usuario mostrar uno o más objetos y manipular los objetos. El control de dispersión maneja el procesamiento de la entrada táctil de bajo nivel y asocia la entrada con un objeto de aplicación en particular, y la aplicación recibe eventos del control para manejar las manipulaciones de los objetos de la aplicación. Por ejemplo, si el control indica que el usuario redimensionó un objeto, a continuación la aplicación puede almacenar el nuevo tamaño de los objetos.
En algunas realizaciones, el sistema de manipulación proporciona una interpretación mejorada de contactos táctiles únicos. Por ejemplo, como se describió anteriormente, el sistema puede interpretar la rotación de un solo contacto alrededor del centro de un objeto de aplicación como una rotación en lugar de una traslación cuando la aplicación inicializa el procesador de manipulación con la ubicación del centro u otro punto de referencia (por ejemplo, una esquina) del objeto. De manera similar, el sistema puede interpretar otros movimientos táctiles únicos según un significado predefinido. Por ejemplo, el sistema puede tratar que un usuario gire un solo contacto en un círculo alrededor del centro de un objeto como una manipulación para escalar el objeto en lugar de una rotación como estaría literalmente implicado por el movimiento del usuario.
En algunas realizaciones, el sistema de manipulación realiza el procesamiento descrito en esta invención en tres dimensiones. Aunque en esta invención se describe hardware multitáctil bidimensional, los expertos en la materia reconocerán que el procesamiento del sistema descrito en esta invención puede aplicarse igualmente bien a manipulaciones tridimensionales (3D) si el hardware está disponible para proporcionar un movimiento coordinado en tres dimensiones. Por ejemplo, el hardware que detecta la presión o usa cámaras para detectar el movimiento 3D de los dedos de un usuario podría proporcionar las coordenadas de movimiento en la tercera dimensión al sistema de manipulación, y el sistema de manipulación podría producir transformaciones 3D que describan las manipulaciones (por ejemplo, rotación, escalado y traslación) de objetos en múltiples direcciones 3D.
La siguiente tabla define una API que el sistema de manipulación proporciona a las aplicaciones para procesar la entrada de usuario multitáctil.
Figure imgf000008_0001
(continuación)
Figure imgf000008_0002
Figure imgf000009_0001
_____________________________________
En la tabla anterior, MANIPULATION_ID es un identificador que la aplicación asigna a cada objeto de aplicación que un usuario puede manipular. La aplicación utiliza pruebas de impacto u otros métodos comunes para determinar a qué objeto se aplica la entrada táctil recibida, busca el identificador asociado con el objeto y pasa el identificador y la entrada táctil a la API de manipulación para su procesamiento.
A partir de lo anterior, se apreciará que se han descrito realizaciones específicas del sistema de manipulación en esta invención con fines ilustrativos, pero que se pueden realizar diversas modificaciones. Por ejemplo, aunque las manipulaciones de rotación, escalado y traslación se han utilizado como ejemplos, se pueden usar otros tipos de manipulaciones con el sistema en función de cualquier tipo de manipulación que los usuarios quieran realizar con hardware multitáctil. Por consiguiente, la invención no está limitada excepto por las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES
1. Método de transformación de la entrada multitáctil en uno o más eventos de manipulación, teniendo el método realizado en un dispositivo informático hardware multitáctil, comprendiendo el método:
recibir (410) desde la entrada táctil de bajo nivel de hardware multitáctil que corresponde a toques en el hardware multitáctil;
identificar (420) un objeto de aplicación al que se aplica la entrada táctil de bajo nivel recibida;
enviar (430) la entrada táctil de bajo nivel recibida y la información sobre el objeto de aplicación identificado a una interfaz de programación de aplicaciones, API, de manipulación, para interpretar la entrada táctil de bajo nivel recibida como uno o más eventos de manipulación, en el que la API de manipulación es invocable por múltiples aplicaciones y proporciona una plataforma independiente de aplicación para procesar entradas multitáctiles; recibir (440) un evento de manipulación que describe una o más manipulaciones del objeto de aplicación identificado, comprendiendo el evento de manipulación una transformación afín 2D del objeto de aplicación identificado y manejar (450) el evento de manipulación recibido modificando el objeto de aplicación identificado, de manera que la aplicación reciba uno o más eventos de manipulación sin realizar las etapas específicas para un dispositivo hardware multitáctil y sin interpretar entradas táctiles individuales de bajo nivel.
2. El método de la reivindicación 1, en el que recibir una entrada táctil de bajo nivel comprende recibir un evento táctil de hardware desde un sistema operativo.
3. El método de la reivindicación 1, en el que la identificación de un objeto de aplicación comprende pruebas de impacto de las coordenadas de la entrada táctil de bajo nivel recibida comparando las coordenadas con las coordenadas de los objetos mostrados por la aplicación para determinar si la entrada táctil está dentro de los límites de un objeto de aplicación particular.
4. El método de la reivindicación 1, en el que la aplicación crea un identificador numérico para cada objeto de aplicación visualizado y pasa el identificador numérico de un objeto a la API de manipulación cada vez que la entrada táctil de bajo nivel recibida corresponde al objeto.
5. El método de la reivindicación 4, en el que recibir el evento de manipulación comprende recibir el identificador numérico asociado al objeto de aplicación identificado.
6. El método de la reivindicación 1, en el que el evento de manipulación recibido se refiere a múltiples entradas táctiles de bajo nivel enviadas a la API de manipulación o en el que el evento de manipulación recibido es una rotación y en el que el manejo del evento de manipulación recibido comprende girar el objeto de aplicación en una pantalla.
7. El método de la reivindicación 1, en el que la aplicación realiza el método en un bucle de entrada para procesar la entrada multitáctil recibida mientras la aplicación se está ejecutando.
8. Sistema informático para manejar la entrada táctil desde hardware multitáctil, comprendiendo el sistema un sistema de manipulación que comprende:
una interfaz de hardware (110) configurada para comunicarse con el hardware multitáctil para recibir información de contacto táctil e información del movimiento del contacto táctil;
uno o más procesadores de manipulación (120), siendo cada procesador de manipulación una instancia del sistema de manipulación invocado por una interfaz de programación de aplicaciones, API, de manipulación, en el que la API de manipulación es invocable por múltiples aplicaciones y proporciona una plataforma independiente de aplicación para procesar entrada multitáctil; estando configurado dicho procesador de manipulación para recibir identificación de un objeto de aplicación al que se aplica la información de contacto táctil recibida y para gestionar la interpretación del movimiento de cada contacto asociado con el objeto de la aplicación;
un administrador de contactos (130) configurado para almacenar información sobre uno o más contactos asociados con cada procesador de manipulación;
un componente de transformación de entrada (140) configurado para interpretar un significado de los movimientos recibidos de diversos contactos para producir manipulaciones de objetos de aplicación como eventos de manipulación, comprendiendo los eventos de manipulación transformaciones afines 2D de los objetos de la aplicación y
una interfaz de aplicación (150) configurada para comunicarse con la aplicación para recibir información del movimiento del contacto y proporcionar transformaciones de manipulación a la aplicación.
9. El sistema de la reivindicación 8, en el que la interfaz de hardware coordina el hardware multitáctil, un controlador de hardware y una capa multitáctil del sistema operativo para proporcionar información de entrada táctil.
10. El sistema de la reivindicación 9, en el que la capa multitáctil del sistema operativo proporciona un modelo de controlador común para que los fabricantes de hardware multitáctil proporcionen información táctil para su hardware particular.
11. El sistema de la reivindicación 9, en el que la capa multitáctil del sistema operativo traduce la información táctil recibida del hardware multitáctil en mensajes de ventana y proporciona los mensajes a una o más aplicaciones, en particular, en el que la capa multitáctil del sistema operativo proporciona un mensaje cuando se establece un nuevo contacto en el hardware multitáctil, cuando el contacto se mueve y cuando el contacto se levanta del hardware multitáctil.
12. El sistema de la reivindicación 8, en el que los procesadores de manipulación están configurados además para determinar que un usuario está usando múltiples contactos para realizar una sola manipulación.
13. El sistema de la reivindicación 8, en el que la interfaz de aplicación está configurada además para recibir información de inicialización de la aplicación que especifica un punto de pivote y manipulaciones admitidas por objetos de la aplicación.
14. Medio de almacenamiento legible por computadora codificado con instrucciones para controlar un sistema informático para interpretar la entrada multitáctil como una o más manipulaciones de objetos de aplicación, mediante un método que comprende:
recibir (505) desde una aplicación entrada táctil e información que identifica un objeto de aplicación con el que la entrada táctil está asociada;
invocar, mediante una interfaz de programación de aplicaciones, API, de manipulación, que es invocable por múltiples aplicaciones y proporciona una plataforma independiente de aplicación para procesar entrada multitáctil, un procesador de manipulación que es una instancia de un sistema de aplicación específica y está asociado con el objeto de aplicación identificado, interpretar el movimiento de múltiples contactos del hardware multitáctil como una o más manipulaciones del objeto de aplicación identificado;
procesar (580), mediante el procesador de manipulación, la entrada táctil recibida para interpretar las manipulaciones representadas por la entrada táctil, en el que las manipulaciones incluyen al menos uno o más de rotación, traslación y escalado del objeto de aplicación identificado y
disparar (590) un evento de manipulación que envía información de transformación que describe la manipulación interpretada a la aplicación.
15. El medio legible por computadora de la reivindicación 14 que comprende además, cuando la entrada táctil recibida indica que la aplicación recibió un nuevo contacto, añadir el nuevo contacto a una lista de contactos asociados con el procesador de manipulación identificado o que comprende además, cuando la entrada táctil recibida indica que la aplicación recibió notificación de que se eliminó un contacto táctil, eliminar el contacto de una lista de contactos asociados con el procesador de manipulación identificado o en el que el sistema informático proporciona una API a través de la cual la aplicación proporciona entrada táctil y recibe información de transformación relacionada con el objeto de aplicación identificado.
ES09822480T 2008-10-26 2009-10-16 Manipulación multitáctil de objetos de aplicación Active ES2800976T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/258,437 US8466879B2 (en) 2008-10-26 2008-10-26 Multi-touch manipulation of application objects
PCT/US2009/060974 WO2010048050A2 (en) 2008-10-26 2009-10-16 Multi-touch manipulation of application objects

Publications (1)

Publication Number Publication Date
ES2800976T3 true ES2800976T3 (es) 2021-01-07

Family

ID=42117009

Family Applications (1)

Application Number Title Priority Date Filing Date
ES09822480T Active ES2800976T3 (es) 2008-10-26 2009-10-16 Manipulación multitáctil de objetos de aplicación

Country Status (7)

Country Link
US (5) US8466879B2 (es)
EP (1) EP2342620B1 (es)
CN (1) CN102197359B (es)
AR (1) AR073980A1 (es)
ES (1) ES2800976T3 (es)
TW (1) TWI502503B (es)
WO (1) WO2010048050A2 (es)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US9524085B2 (en) * 2009-05-21 2016-12-20 Sony Interactive Entertainment Inc. Hand-held device with ancillary touch activated transformation of active element
US20110157023A1 (en) * 2009-12-28 2011-06-30 Ritdisplay Corporation Multi-touch detection method
TWI581131B (zh) * 2010-06-15 2017-05-01 陞達科技股份有限公司 分析二維軌跡以產生至少一非線性指標之方法以及使用該方法之觸控模組
CN102339192B (zh) * 2010-07-19 2015-12-16 联想(北京)有限公司 电子设备及其显示处理方法
TWI417782B (zh) * 2010-11-16 2013-12-01 Altek Corp 具有觸控顯示介面之電子裝置及依時間區間顯示影像圖示之方法
USD680125S1 (en) * 2010-11-16 2013-04-16 Apple Inc. Display screen or portion thereof with graphical user interface
US9152395B2 (en) 2010-12-13 2015-10-06 Microsoft Technology Licensing, Llc Response to user input based on declarative mappings
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
JP5747235B2 (ja) * 2010-12-20 2015-07-08 アップル インコーポレイテッド 事象認識
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US20120249468A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Virtual Touchpad Using a Depth Camera
US9727227B2 (en) * 2011-07-28 2017-08-08 Microsoft Technology Licensing, Llc Multi-touch remoting
US20130027433A1 (en) * 2011-07-29 2013-01-31 Motorola Mobility, Inc. User interface and method for managing a user interface state between a locked state and an unlocked state
TWI465960B (en) * 2011-08-30 2014-12-21 Three-dimensional human interface system and method thereof
US9274642B2 (en) 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US9367230B2 (en) 2011-11-08 2016-06-14 Microsoft Technology Licensing, Llc Interaction models for indirect interaction devices
KR101383840B1 (ko) * 2011-11-17 2014-04-14 도시바삼성스토리지테크놀러지코리아 주식회사 리모트 컨트롤러와, 이를 이용한 제어 시스템 및 제어 방법
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
US9069968B2 (en) * 2012-01-30 2015-06-30 Nokia Technologies Oy Method and apparatus providing privacy benchmarking for mobile application development
US8854325B2 (en) 2012-02-29 2014-10-07 Blackberry Limited Two-factor rotation input on a touchscreen device
JP5502943B2 (ja) * 2012-06-29 2014-05-28 楽天株式会社 情報処理装置、認証装置、情報処理方法及び情報処理プログラム
KR102073601B1 (ko) 2012-07-25 2020-02-06 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
US10222975B2 (en) 2012-08-27 2019-03-05 Apple Inc. Single contact scaling gesture
US9405379B2 (en) * 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
CN110045886B (zh) 2013-07-08 2022-09-27 益逻触控系统公司 触摸传感方法、触摸传感系统及计算机可读设备
JP6211327B2 (ja) * 2013-07-22 2017-10-11 アルプス電気株式会社 入力装置
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9870083B2 (en) 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
TWI578213B (zh) * 2014-12-11 2017-04-11 義隆電子股份有限公司 觸控信號的處理方法及電腦系統
CN105808082B (zh) * 2014-12-30 2020-10-09 深圳富泰宏精密工业有限公司 多点触摸处理系统及方法
CN107431741B (zh) * 2015-03-25 2020-05-01 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质
US10120735B2 (en) 2015-03-30 2018-11-06 Microsoft Technology Licensing, Llc Touch application programming interfaces
EP3093767A1 (en) * 2015-05-12 2016-11-16 Optofidelity OY Method, apparatus and computer program product for testing a device
US20170277311A1 (en) * 2016-03-25 2017-09-28 Microsoft Technology Licensing, Llc Asynchronous Interaction Handoff To System At Arbitrary Time
US11029836B2 (en) * 2016-03-25 2021-06-08 Microsoft Technology Licensing, Llc Cross-platform interactivity architecture
AU2017347847B2 (en) 2016-10-26 2022-03-24 Soroco Private Limited Systems and methods for discovering automatable tasks
US10507385B2 (en) 2017-01-25 2019-12-17 Kieran S. Lyden Game controller
US11816112B1 (en) 2020-04-03 2023-11-14 Soroco India Private Limited Systems and methods for automated process discovery
USD940737S1 (en) 2020-06-21 2022-01-11 Apple Inc. Display screen or portion thereof with graphical user interface
CN112202965B (zh) * 2020-09-23 2021-06-22 广州华欣电子科技有限公司 通信设备控制方法、装置、系统和存储介质
US12020046B1 (en) 2021-04-02 2024-06-25 Soroco India Private Limited Systems and methods for automated process discovery

Family Cites Families (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5153577A (en) 1986-04-28 1992-10-06 Xerox Corporation Mapping character color attributes into grey pixel patterns
US5261098A (en) * 1991-08-28 1993-11-09 Sun Microsystems, Inc. Method and apparatus for deriving object type and obtaining object type attribute values
JP2827612B2 (ja) 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US7345675B1 (en) 1991-10-07 2008-03-18 Fujitsu Limited Apparatus for manipulating an object displayed on a display device by using a touch screen
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5475803A (en) 1992-07-10 1995-12-12 Lsi Logic Corporation Method for 2-D affine transformation of images
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5563632A (en) 1993-04-30 1996-10-08 Microtouch Systems, Inc. Method of and apparatus for the elimination of the effects of internal interference in force measurement systems, including touch - input computer and related displays employing touch force location measurement techniques
US5553224A (en) * 1993-08-04 1996-09-03 Xerox Corporation Method for dynamically maintaining multiple structural interpretations in graphics system
US5621434A (en) * 1993-08-11 1997-04-15 Object Technology Licensing Corp. Cursor manipulation system and method
US5650941A (en) * 1994-09-07 1997-07-22 Intel Corporation Computer architecture for creating and manipulating displayable objects
US5495566A (en) * 1994-11-22 1996-02-27 Microsoft Corporation Scrolling contents of a window
US5692143A (en) * 1994-12-30 1997-11-25 International Business Machines Corporation Method and system for recalling desktop states in a data processing system
EP0731333B1 (de) 1995-03-10 2001-01-31 Dr. Johannes Heidenhain GmbH Mehrkoordinaten-Tastkopf mit gleichen Auslenkungen
US5691898A (en) * 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US5798769A (en) * 1996-08-15 1998-08-25 Xerox Corporation Method and apparatus for maintaining links between graphic objects in a free-form graphics display system
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US6636197B1 (en) 1996-11-26 2003-10-21 Immersion Corporation Haptic feedback effects for control, knobs and other interface devices
US6005551A (en) 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
US6052735A (en) * 1997-10-24 2000-04-18 Microsoft Corporation Electronic mail object synchronization between a desktop computer and mobile device
US7840912B2 (en) 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
KR100595912B1 (ko) * 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6529210B1 (en) 1998-04-08 2003-03-04 Altor Systems, Inc. Indirect object manipulation in a simulation
JP2000089913A (ja) 1998-09-08 2000-03-31 Gunze Ltd タッチパネル入力座標変換装置
US6154210A (en) * 1998-11-25 2000-11-28 Flashpoint Technology, Inc. Method and system for implementing button interface compatibility in touch-screen equipped digital imaging device
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US6597378B1 (en) * 2000-01-18 2003-07-22 Seiko Epson Corporation Display device, portable information processing apparatus, information storage medium, and electronic apparatus
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
GB0008537D0 (en) * 2000-04-06 2000-05-24 Ananova Ltd Character animation
US6590568B1 (en) 2000-11-20 2003-07-08 Nokia Corporation Touch screen drag and drop input technique
US7039234B2 (en) * 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
US7038670B2 (en) 2002-08-16 2006-05-02 Sipix Imaging, Inc. Electrophoretic display with dual mode switching
US20030225890A1 (en) * 2002-06-03 2003-12-04 Dunstan Robert A. State token for thin client devices
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7027054B1 (en) 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7103852B2 (en) 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
US7884804B2 (en) 2003-04-30 2011-02-08 Microsoft Corporation Keyboard with input-sensitive display device
US7324121B2 (en) 2003-07-21 2008-01-29 Autodesk, Inc. Adaptive manipulators
JP3968717B2 (ja) 2003-09-25 2007-08-29 松下電工株式会社 照明器具
US7302650B1 (en) * 2003-10-31 2007-11-27 Microsoft Corporation Intuitive tools for manipulating objects in a display
US7495659B2 (en) * 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US7167162B2 (en) 2003-12-12 2007-01-23 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus and method for controlling a screen pointer
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7345681B2 (en) * 2004-02-17 2008-03-18 Microsoft Corporation Pen data capture and injection
FR2866726B1 (fr) 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US8023466B2 (en) 2004-06-22 2011-09-20 Jianglei Ma Soft handoff in OFDMA system
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
DE202005021492U1 (de) 2004-07-30 2008-05-08 Apple Inc., Cupertino Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US7434173B2 (en) 2004-08-30 2008-10-07 Microsoft Corporation Scrolling web pages using direct interaction
US20060077183A1 (en) * 2004-10-08 2006-04-13 Studt Peter C Methods and systems for converting touchscreen events into application formatted data
US7211789B2 (en) * 2004-10-14 2007-05-01 International Business Machines Corporation Programmable molecular manipulating processes
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US7711681B2 (en) * 2004-11-05 2010-05-04 Accenture Global Services Gmbh System for distributed information presentation and interaction
US7574593B2 (en) * 2004-12-03 2009-08-11 Hewlett-Packard Development Company, L.P. Persistent memory manipulation using EFI
DE102004060405A1 (de) 2004-12-14 2006-07-06 Voith Paper Patent Gmbh Verfahren und Vorrichtung zum Beladen von in einer Suspension enthaltenen Fasern oder enthaltenem Zellstoff mit einem Füllstoff
US7728825B2 (en) * 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
US7499058B2 (en) * 2005-04-22 2009-03-03 Microsoft Corporation Programmatical access to handwritten electronic ink in a tree-based rendering environment
US20060250352A1 (en) * 2005-05-05 2006-11-09 Mice Technoligies, Inc. System and method for improved cursor functionality
US7928959B1 (en) * 2005-05-05 2011-04-19 Imi Innovations Inc. System and method for multiple independent computer inputs using unique device and source identification systems
KR100811160B1 (ko) * 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
US8085318B2 (en) * 2005-10-11 2011-12-27 Apple Inc. Real-time image capture and manipulation based on streaming data
US20060292531A1 (en) * 2005-06-22 2006-12-28 Gibson Kenneth H Method for developing cognitive skills
US7463263B2 (en) * 2005-07-15 2008-12-09 Sap Portals Israel Ltd. Declarative specification of model visualizations
US20110157196A1 (en) * 2005-08-16 2011-06-30 Exent Technologies, Ltd. Remote gaming features
US8355410B2 (en) 2007-08-17 2013-01-15 At&T Intellectual Property I, L.P. Location-based mobile gaming application and method for implementing the same using a scalable tiered geocast protocol
CN101379461A (zh) * 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070174490A1 (en) * 2006-01-25 2007-07-26 Greystripe Inc. System and methods for managing content in pre-existing mobile applications
US8681098B2 (en) * 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8334841B2 (en) * 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US9063647B2 (en) * 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US8924269B2 (en) * 2006-05-13 2014-12-30 Sap Ag Consistent set of interfaces derived from a business object model
KR100866484B1 (ko) 2006-05-17 2008-11-03 삼성전자주식회사 다접점 터치 센서를 이용한 손가락의 이동 감지 장치 및방법
US8169421B2 (en) 2006-06-19 2012-05-01 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
US8269725B2 (en) * 2006-06-28 2012-09-18 Microsoft Corporation Input simulation system for touch based devices
US9007299B2 (en) 2006-07-14 2015-04-14 Ailive Inc. Motion control used as controlling device
US20120208639A1 (en) 2006-07-14 2012-08-16 Ailive Inc. Remote control with motion sensitive devices
US20080030486A1 (en) 2006-08-04 2008-02-07 Quiteso Technologies, Llc Multi-functional pen input device
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8147316B2 (en) * 2006-10-10 2012-04-03 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
US20080122878A1 (en) * 2006-11-24 2008-05-29 Keefe Gary W Apparatus and method for publishing computer-readable media
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US8970501B2 (en) 2007-01-03 2015-03-03 Apple Inc. Proximity and multi-touch sensor detection and demodulation
US7924271B2 (en) * 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8656311B1 (en) 2007-01-07 2014-02-18 Apple Inc. Method and apparatus for compositing various types of content
US7903115B2 (en) * 2007-01-07 2011-03-08 Apple Inc. Animations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) * 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7844915B2 (en) * 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US7872652B2 (en) 2007-01-07 2011-01-18 Apple Inc. Application programming interfaces for synchronization
US8674948B2 (en) * 2007-01-31 2014-03-18 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
US8436815B2 (en) * 2007-05-25 2013-05-07 Microsoft Corporation Selective enabling of multi-input controls
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8194117B2 (en) 2007-08-08 2012-06-05 Qnx Software Systems Limited Video phone system
US20110210931A1 (en) * 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
US20090079745A1 (en) 2007-09-24 2009-03-26 Wey Fun System and method for intuitive interactive navigational control in virtual environments
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
EP2243072A2 (en) * 2008-01-23 2010-10-27 N-Trig Ltd. Graphical object manipulation with a touch sensitive screen
US20090273560A1 (en) * 2008-02-04 2009-11-05 Massachusetts Institute Of Technology Sensor-based distributed tangible user interface
US20090207175A1 (en) 2008-02-15 2009-08-20 Apple Inc. Animation Using Animation Effect and Trigger Element
US20090213083A1 (en) 2008-02-26 2009-08-27 Apple Inc. Simulation of multi-point gestures with a single pointing device
US8797271B2 (en) * 2008-02-27 2014-08-05 Microsoft Corporation Input aggregation for a multi-touch device
WO2009108334A2 (en) * 2008-02-28 2009-09-03 New York University Method and apparatus for providing input to a processor, and a sensor pad
US8416196B2 (en) * 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) * 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
JP5743553B2 (ja) 2008-03-05 2015-07-01 ザ ボード オブ トラスティーズ オブ ザ ユニヴァーシティー オブ イリノイ 伸張可能及び折畳み可能な電子デバイス
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
RU2008113045A (ru) 2008-04-07 2008-08-20 Александр Виль мович Казакевич (RU) Способ ввода информации с компактной сенсорной панели (варианты)
US8154524B2 (en) 2008-06-24 2012-04-10 Microsoft Corporation Physics simulation-based interaction for surface computing
WO2010006277A1 (en) * 2008-07-11 2010-01-14 Wms Gaming Inc. Methods of receiving electronic wagers in a wagering game via a handheld electronic wager input device
US20100214243A1 (en) 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8390577B2 (en) * 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
US8142283B2 (en) * 2008-08-20 2012-03-27 Cfph, Llc Game of chance processing apparatus
US8654085B2 (en) * 2008-08-20 2014-02-18 Sony Corporation Multidimensional navigation for touch sensitive display
US20100053111A1 (en) * 2008-09-04 2010-03-04 Sony Ericsson Mobile Communications Ab Multi-touch control for touch sensitive display
US8421756B2 (en) * 2008-09-23 2013-04-16 Sony Ericsson Mobile Communications Ab Two-thumb qwerty keyboard
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
WO2010062481A1 (en) 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
US8866699B2 (en) 2008-12-02 2014-10-21 Fuji Xerox Co., Ltd. Systems and methods for interacting with mobile devices using external displays
US8957918B2 (en) 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8878787B2 (en) 2010-08-13 2014-11-04 Fujitsu Limited Multi-touch user input based on multiple quick-point controllers
JP5100809B2 (ja) 2010-09-27 2012-12-19 京セラ株式会社 液晶表示装置およびそれを用いた表示体
US20140096092A1 (en) 2011-03-20 2014-04-03 William J. Johnson System and Method for Indirect Manipulation of User Interface Object(s)
US20130162519A1 (en) 2011-12-23 2013-06-27 Sap Ag Cross-platform human input customization
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application

Also Published As

Publication number Publication date
WO2010048050A3 (en) 2010-07-08
US20130278529A1 (en) 2013-10-24
TW201020919A (en) 2010-06-01
WO2010048050A2 (en) 2010-04-29
US20150022478A1 (en) 2015-01-22
US8466879B2 (en) 2013-06-18
TWI502503B (zh) 2015-10-01
US20190113997A1 (en) 2019-04-18
EP2342620B1 (en) 2020-04-22
CN102197359A (zh) 2011-09-21
EP2342620A2 (en) 2011-07-13
US20100103117A1 (en) 2010-04-29
US8884907B2 (en) 2014-11-11
US20170115760A1 (en) 2017-04-27
AR073980A1 (es) 2010-12-15
US9477333B2 (en) 2016-10-25
US10198101B2 (en) 2019-02-05
EP2342620A4 (en) 2017-03-15
CN102197359B (zh) 2013-10-23

Similar Documents

Publication Publication Date Title
ES2800976T3 (es) Manipulación multitáctil de objetos de aplicación
ES2771356T3 (es) Simulación de inercia de objetos multitáctiles
US20180348883A1 (en) Operating environment with gestural control and multiple client devices, displays, and users
Au et al. Multitouch gestures for constrained transformation of 3d objects
JP2019516189A (ja) タッチスクリーントラック認識方法及び装置
EP2941739A2 (en) Operating environment with gestural control and multiple client devices, displays, and users
EP2524319A1 (en) Method for handling and transferring data in an interactive input system, and interactive input system executing the method
Bellucci et al. Light on horizontal interactive surfaces: Input space for tabletop computing
CN108595010B (zh) 虚拟现实中虚拟物体的交互方法及装置
Ramanahally et al. DRAFT: SPARSH UI: A MULTI-TOUCH FRAMEWORK FOR COLLABORATION AND MODULAR GESTURE RECOGNITION