ES2702718T3 - Interacción basada en superposición con contenido representado - Google Patents

Interacción basada en superposición con contenido representado Download PDF

Info

Publication number
ES2702718T3
ES2702718T3 ES15757043T ES15757043T ES2702718T3 ES 2702718 T3 ES2702718 T3 ES 2702718T3 ES 15757043 T ES15757043 T ES 15757043T ES 15757043 T ES15757043 T ES 15757043T ES 2702718 T3 ES2702718 T3 ES 2702718T3
Authority
ES
Spain
Prior art keywords
screen
front surface
content
enlarged window
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15757043T
Other languages
English (en)
Inventor
Himanshu Niranjani
Craig Lichtenstein
Shailendra Mittal
Devin Jensen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Application granted granted Critical
Publication of ES2702718T3 publication Critical patent/ES2702718T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un procedimiento que comprende: representar (1202) un contenido en una pantalla; detectar (1204) un objeto delante de, pero no en contacto con, una superficie delantera de la pantalla; determinar (1206), al menos en parte en respuesta a la detección del objeto, una ubicación en la superficie delantera de la pantalla que está separada una distancia lo más corta con respecto al objeto en relación con las distancias desde el objeto hasta otras ubicaciones en la superficie delantera de la pantalla; determinar (1208) una porción del contenido que se representa en la ubicación o dentro de una distancia umbral con respecto a la ubicación; representar (1210), en una región de la pantalla, una ventana ampliada de la porción del contenido; y mover (1304) la ventana ampliada con el objeto a través de la superficie delantera de la pantalla a otra región de la pantalla, en el que la ventana ampliada, después del movimiento, contiene otra porción del contenido que se representa en, o dentro de una distancia umbral con respecto a, una ubicación nueva en la superficie delantera de la pantalla que se corresponde con una posición del objeto después de que el objeto se haya movido a través de la superficie delantera de la pantalla, caracterizado porque dicho movimiento (1304) de la ventana ampliada se lleva a cabo en respuesta a determinar (1302) que el objeto se ha movido por debajo de una velocidad previamente determinada a través de la superficie delantera de la pantalla al tiempo que mantiene la relación de separación con la superficie delantera de la pantalla.

Description

DESCRIPCIÓN
Interacción basada en superposición con contenido representado
Antecedentes
Los ordenadores de sobremesa eran predominantes hace tiempo como la configuración de ordenador personal más común, lo que llevaba a que los desarrolladores de soporte lógico crearan un contenido que se diseñaba para una representación óptima en una pantalla de sobremesa. Por ejemplo, a menudo los desarrolladores de sitios web favorecen un contenido rico y denso para una página web de tal modo que la representación “bienes inmuebles” en un dispositivo de visualización se puede aprovechar plenamente. Un factor que impulsa a los desarrolladores de sitios web hacia un contenido de página web rico y denso es el hecho de que terceras partes están dispuestas a pagar por que su contenido (por ejemplo, anuncios publicitarios) se proporcione en la página web de un proveedor de contenidos. Esto quiere decir que, en la práctica, los proveedores de contenidos pierden dinero cuando estos optan por dejar espacio vacío en una página web.
En general, el diseño de un contenido que es rico y denso no supone un problema con las pantallas de sobremesa. Por ejemplo, un usuario promedio cuyos ojos están situados a aproximadamente 30,5 cm de una pantalla de sobremesa de 19 pulgadas (48,26 cm) es capaz de leer sin ayuda un contenido denso que se representa en la pantalla, y es capaz adicionalmente de navegar por y explorar el contenido mediante la manipulación de un cursor en la pantalla con un ratón o un dispositivo apuntador similar.
A medida que la tecnología informática ha ido progresando, no obstante, ciertos dispositivos informáticos que tienen un factor de forma pequeño se han vuelto ubicuos. Por ejemplo, muchos individuos poseen un teléfono inteligente (por lo general, con un tamaño de pantalla en el intervalo de aproximadamente 4 a 5 pulgadas (de 10,16 a 12,70 cm)) y lo llevan con ellos a donde quiera que vayan. Además, los consumidores se están familiarizando en la actualidad con la práctica de la navegación por Internet desde la comodidad de su propia sala de estar en una pantalla de televisión (TV) doméstica. En cualquiera de estos escenarios, al menos un cierto contenido que se representa en la pantalla del usuario puede ser difícil de leer y / o seleccionar cuando se intenta interaccionar con el contenido. Con respecto a los dispositivos con un factor de forma pequeño, algunos problemas de legibilidad y / o de susceptibilidad de selección tienen su origen en la representación de un contenido denso en una pantalla pequeña. Un problema similar surge en el escenario de una TV de sala de estar cuando un usuario está situado a una distancia sustancial con respecto a la pantalla que hace que sea difícil leer y /o seleccionar el contenido que se proporciona en un diseño rico y denso. Como consecuencia, los usuarios continúan experimentando frustración cuando navegan por y exploran un contenido en sus dispositivos de consumo.
El documento US 2007/0268317 A1 divulga una interfaz de usuario para seleccionar una porción de una pantalla para su ampliación y representar entonces una representación ampliada de esa porción de la pantalla. La representación ampliada contiene los aspectos funcionales e interactivos del contenido de origen subyacente y sin ampliar. La selección de una porción para su ampliación se puede llevar a cabo mediante el uso de un ratón u otro dispositivo de entrada, y en el caso de una pantalla táctil, la ampliación se puede iniciar a través de un conjunto previamente definido de golpecitos en la pantalla u otros mecanismos de entrada.
El documento US 2012/0120002 A1 divulga una interfaz de usuario de pantalla táctil para identificar un punto objetivo en la pantalla táctil de acuerdo con la trayectoria del objeto y una distancia del objeto con respecto a la pantalla, y llevar a cabo un evento de interfaz en ese punto objetivo. Los eventos de interfaz que se pueden llevar a cabo incluyen la totalidad de las funciones que se pueden llevar a cabo con unas interfaces de tipo bola de seguimiento o ratón convencionales. Además de los eventos de interfaz convencionales, la interfaz de usuario de pantalla táctil puede realizar un seguimiento de múltiples objetos de forma simultánea, y de forma sensible al movimiento de múltiples objetos, llevar a cabo una rotación o un acercamiento / alejamiento de la pantalla.
El documento US 2010/0328351 A1 divulga una interfaz de usuario de pantalla táctil para detectar un evento de entrada que es realizado por un objeto puntual en las proximidades de la pantalla táctil, y llevar a cabo eventos de salida o eventos de ampliación basándose en parámetros de ese evento de entrada. Como eventos de ampliación únicos, se presentan el ajuste del tamaño del campo de visión para la ampliación y / o la escala de la ampliación, y la congelación / des congelación de un campo de visión ampliado.
El documento US 2010/0090964 A1 divulga una arquitectura de interfaz de usuario (UI, user interface) para monitorizar una posición de un objeto selector a medida que el objeto selector realiza un sobrevuelo, y modificar una porción de la representación de UI que sustancialmente está centrada en la coordenada que se determina basándose en la posición. La modificación de una porción de la representación de UI incluye poner en práctica una lupa virtual, o cambiar los atributos (por ejemplo, el color, el contraste, el brillo o RGB) en la porción de la representación de UI.
El documento US 2010/026723 A1 divulga un sistema de interfaz informática que comprende una pantalla de interfaz de usuario que está configurada para representar un contenido visual y un sistema de entrada que está configurado para detectar una presencia de un objeto de entrada dentro de una distancia umbral a lo largo de un eje normal de la pantalla de interfaz de usuario. El sistema comprende adicionalmente un controlador gráfico que está configurado para ampliar una porción del contenido visual que está ubicada en una ubicación aproximada de una base del eje normal en la pantalla de interfaz de usuario.
Sumario
En el presente documento se describen técnicas y sistemas para habilitar una interacción “basada en sobrevuelo” con un contenido que se representa en una pantalla de un dispositivo de visualización. El término “sobrevuelo”, (que a veces se denomina toque “tridimensional (3D)”) se usa para describir una condición en la que un objeto está situado delante de, pero no en contacto con, la superficie delantera de la pantalla, y se encuentra dentro de un volumen o espacio en 3D previamente determinado delante de la pantalla. Por consiguiente, un objeto que está realizando un sobrevuelo se puede definir como un objeto que está situado delante de la pantalla del dispositivo informático dentro del espacio en 3D previamente determinado sin entrar en realidad en contacto con la superficie delantera de la pantalla. Las dimensiones del espacio en 3D en el que están restringidas las interacciones de sobrevuelo y, en particular, una dimensión que es perpendicular con respecto a la superficie delantera de la pantalla, puede depender del tamaño de la pantalla y /o el contexto en el que se usa la pantalla, tal como se describirá con más detalle en lo sucesivo.
En algunas formas de realización, un proceso de habilitación de una interacción basada en sobrevuelo con un contenido incluye representar el contenido en una pantalla, detectar un objeto delante de, pero no en contacto con, una superficie delantera de la pantalla, y en respuesta a detectar el objeto, determinar una ubicación en la superficie delantera de la pantalla que está separada una distancia lo más corta con respecto al objeto en relación con las distancias desde el objeto hasta otras ubicaciones en la superficie delantera. La ubicación determinada en la superficie delantera de la pantalla se puede usar entonces para determinar una porción del contenido que se representa en la ubicación o dentro de una distancia umbral con respecto a la ubicación, y una ventana ampliada de la porción del contenido se puede representar entonces en una región de la pantalla. El proceso de habilitación de una interacción basada en sobrevuelo con un contenido incluye adicionalmente determinar que el objeto se ha movido por debajo de una velocidad previamente determinada a través de la superficie delantera de la pantalla al tiempo que se mantiene la relación de separación con la superficie delantera de la pantalla y, en respuesta, mover la ventana ampliada con el objeto a través de la superficie delantera de la pantalla a otra región de la pantalla. La ventana ampliada, después del movimiento, contiene otra porción del contenido que se representa en, o dentro de una distancia umbral con respecto a, una ubicación nueva en la superficie delantera de la pantalla que se corresponde con una posición del objeto después de que el objeto se haya movido a través de la superficie delantera de la pantalla. En algunas formas de realización, la porción del contenido dentro de la ventana ampliada es accionable mediante la respuesta a una entrada de usuario cuando la entrada de usuario se proporciona dentro de la ventana ampliada. En el presente documento también se divulgan algunos sistemas y medios legibles por ordenador para poner en práctica el proceso que se ha mencionado en lo que antecede.
Mediante la representación de una ventana ampliada en una región de la pantalla en respuesta a detectar un objeto que está realizando un sobrevuelo delante de la pantalla, un usuario puede experimentar una exploración y una navegación potenciadas de un contenido representado. En concreto, el contenido representado puede permanecer al nivel de acercamiento / alejamiento más bajo (es decir, con alejamiento), y el usuario puede identificar, de forma conveniente, porciones del contenido representado que son de interés para el usuario sin cambiar el nivel de acercamiento / alejamiento del contenido representado. Dicho de otra forma, la característica de ventana ampliada elimina las etapas que se requieren para realizar un movimiento de pinza sobre y acercar / alejar (y, potencialmente, realizar un movimiento panorámico de) el contenido con el fin de hallar, leer y /o seleccionar un contenido que se representa en la pantalla, ahorrar tiempo al usuario y eliminar la frustración cuando se está explorando un contenido. Tras el hallazgo de una porción interesante del contenido por medio de la ventana ampliada, el usuario puede entonces tener la capacidad de realizar un acercamiento / alejamiento hasta la porción de interés por medio de una orden de entrada de usuario. Además, la característica de ventana ampliada también posibilita que los proveedores de contenidos continúen diseñando un contenido que es rico y denso sin gastar recursos en versiones “móviles” de su contenido (por ejemplo, sitios móviles) que tienden a retirar de su sitio cierto contenido, lo que conduce, a su vez, a la pérdida de ingresos.
En algunas formas de realización, el contenido accionable que se representa en una pantalla de un dispositivo de visualización está configurado para responder a las interacciones de sobrevuelo recibidas mediante la modificación del contenido representado y /o la representación de un contenido adicional en respuesta a las interacciones de sobrevuelo detectadas. En este escenario, una interacción basada en sobrevuelo con el contenido representado se puede habilitar por medio de un proceso que incluye representar un contenido en una pantalla, detectar un objeto delante de, pero no en contacto con, una superficie delantera de la pantalla, y en respuesta a detectar el objeto, identificar un evento de puntero que está asociado con una porción del contenido debajo del objeto. Una función relacionada con la representación que está asociada con el evento de puntero identificado se puede determinar y llevar a cabo para modificar la porción representada del contenido y /o representar un contenido adicional en la pantalla. En algunas formas de realización, la interacción de sobrevuelo a partir del objeto se puede proporcionar dentro de la ventana ampliada de tal modo que la porción del contenido en la ventana ampliada se modifica y / o un contenido adicional se representa dentro de la ventana ampliada como la misma lo sería fuera de la ventana ampliada.
El presente sumario se proporciona para presentar una selección de conceptos en una forma simplificada que se describe adicionalmente en lo sucesivo en la descripción detallada. El presente sumario no tiene por objeto identificar características clave o características esenciales de la materia objeto reivindicada, ni se tiene por objeto que se use para limitar el alcance de la materia objeto reivindicada.
Breve descripción de los dibujos
La descripción detallada se describe con referencia a las figuras adjuntas. En las figuras, el dígito o dígitos más a la izquierda de un número de referencia identifica o identifican la figura en la que aparece por primera vez el número de referencia. Los mismos números de referencia en diferentes figuras indican elementos similares o idénticos.
La figura 1 ilustra un sistema informático a modo de ejemplo que comprende un dispositivo informático configurado para habilitar una interacción basada en sobrevuelo con un contenido representado.
La figura 2 ilustra un entorno de sistema informático a modo de ejemplo que muestra un dispositivo informático a modo de ejemplo que está configurado para recibir un contenido a partir de un proveedor o proveedores de contenidos ubicados de forma remota.
La figura 3A ilustra una vista en alzado frontal de un dispositivo informático a modo de ejemplo que tiene una pantalla a modo de ejemplo que representa un contenido accionable, estando configurado el dispositivo informático para habilitar una interacción basada en sobrevuelo con el contenido representado.
La figura 3B ilustra una vista en alzado lateral del dispositivo informático a modo de ejemplo de la figura 3A. La figura 3C ilustra la vista en alzado frontal del dispositivo informático a modo de ejemplo de la figura 3A cuando un objeto está realizando un sobrevuelo delante de la pantalla del dispositivo informático.
La figura 3D ilustra la vista en alzado lateral del dispositivo informático a modo de ejemplo de la figura 3B cuando el objeto de la figura 3C está realizando un sobrevuelo delante de la pantalla del dispositivo informático.
La figura 3E ilustra la vista en alzado frontal del dispositivo informático a modo de ejemplo cuando se representa una ventana ampliada en una región de la pantalla en respuesta a una interacción de sobrevuelo detectada a partir del objeto.
La figura 4 ilustra una vista en alzado frontal del dispositivo informático a modo de ejemplo de las figuras 3A - 3E que muestra una entrada de usuario que es proporcionada por el objeto dentro de la ventana ampliada.
La figura 5A ilustra una vista en alzado frontal del dispositivo informático a modo de ejemplo de las figuras 3 -4 que muestra el objeto moviéndose a través de una superficie delantera de la pantalla y la ventana ampliada moviéndose con el objeto.
La figura 5B ilustra una vista en alzado lateral parcial del dispositivo informático a modo de ejemplo y el objeto en movimiento de la figura 5A.
La figura 6 ilustra una vista en alzado frontal del dispositivo informático a modo de ejemplo que muestra una entrada de usuario que es proporcionada por el objeto dentro de la ventana ampliada.
La figura 7A ilustra una vista en alzado lateral parcial y una vista en alzado frontal parcial del dispositivo informático a modo de ejemplo que muestra un objeto que está realizando un sobrevuelo a una primera distancia con respecto a la superficie delantera de la pantalla, así como un primer nivel de ampliación de la ventana ampliada.
La figura 7B ilustra las vistas en alzado frontal y lateral parcial del dispositivo informático a modo de ejemplo que muestra el objeto que está realizando un sobrevuelo a una segunda distancia con respecto a la superficie delantera de la pantalla, así como un segundo nivel de ampliación de la ventana ampliada.
La figura 8A ilustra una vista en alzado frontal del dispositivo informático a modo de ejemplo que muestra el objeto moviéndose desde el interior de un área de control de un explorador hasta una posición fuera de un límite del área de control, dando lugar a que la ventana ampliada desaparezca de la pantalla.
La figura 8B ilustra una vista en alzado lateral del dispositivo informático a modo de ejemplo y el objeto en movimiento de la figura 8A.
La figura 9 ilustra una vista en alzado frontal del dispositivo informático a modo de ejemplo que muestra el objeto moviéndose desde una posición cerca del límite de un área de control en la pantalla hasta una posición más cercana al límite, dando lugar a que el contenido dentro de la ventana ampliada realice un movimiento panorámico mientras la ventana ampliada permanece estacionaria dentro de una región en la pantalla.
La figura 10A ilustra una vista en alzado frontal parcial del dispositivo informático a modo de ejemplo que muestra el objeto proporcionando una entrada basada en toque en una ubicación en la pantalla.
La figura 10B ilustra una vista en alzado lateral parcial del dispositivo informático a modo de ejemplo y el objeto de la figura 10A que muestra el objeto proporcionando la entrada basada en toque en la ubicación.
La figura 10C ilustra una vista en alzado frontal parcial del dispositivo informático a modo de ejemplo de las figuras 10A y 10B después de la recepción de la entrada basada en toque que muestra una porción acercada del contenido que se corresponde con la ubicación en la que se recibió la entrada basada en toque.
La figura 11 ilustra una vista en alzado frontal parcial del dispositivo informático a modo de ejemplo que muestra el objeto que sobrevuela por encima de un elemento interactivo en la pantalla para dar lugar a que se lleve a cabo una función relacionada con la representación en respuesta al objeto que está realizando un sobrevuelo. La figura 12 es un diagrama de flujo de un proceso ilustrativo para detectar un objeto que está realizando un sobrevuelo y, en respuesta, representar una ventana ampliada con un contenido accionable en la misma.
La figura 13 es un diagrama de flujo de un proceso ilustrativo para detectar el movimiento de un objeto que está realizando un sobrevuelo y, en respuesta, mover una ventana ampliada en una pantalla con el objeto que está realizando un sobrevuelo.
La figura 14 es un diagrama de flujo de un proceso ilustrativo para cambiar un nivel de ampliación del contenido dentro de una ventana ampliada en respuesta al movimiento de un objeto en una dirección perpendicular con respecto a una superficie delantera de una pantalla.
Descripción detallada
Algunas formas de realización de la presente divulgación se dirigen, entre otras cosas, a técnicas y sistemas para habilitar una interacción “basada en sobrevuelo” con un contenido que se representa en una pantalla de un dispositivo de visualización. A pesar de que en el presente documento se proporcionan ejemplos, predominantemente con referencia a un dispositivo informático móvil (por ejemplo, un teléfono inteligente), se ha de apreciar que las técnicas y sistemas no se limitan a los dispositivos móviles. Por ejemplo, los dispositivos de visualización que se pueden beneficiar de las técnicas que se divulgan en el presente documento pueden incluir, sin limitación, dispositivos móviles (por ejemplo, teléfonos inteligentes, ordenadores de tipo tableta, reproductores de medios portátiles, ordenadores ponibles, etc.), así como pantallas de televisión (TV), pantallas que se ponen en práctica dentro de vehículos en movimiento (por ejemplo, pantallas de navegación en automóviles, aeronaves, etc.), y similares. En este sentido, las pantallas que se describen en el presente documento, sobre los cuales se pueden detectar interacciones de sobrevuelo, pueden ser móviles (por ejemplo, integradas en un dispositivo informático móvil, un vehículo, etc.) o estar situados (por ejemplo, pantallas montadas en pared).
Las características de la entrada basada en sobrevuelo que se pueden proporcionar a la diversidad de dispositivos que se contemplan en el presente documento puede variar con el tamaño del dispositivo, el contexto del uso del dispositivo, y /o el soporte físico (por ejemplo, unos sensores) que habilita tal entrada basada en sobrevuelo. Por ejemplo, una pantalla de TV en una sala de estar puede tener un tamaño de pantalla grande, puede ser estacionario, y puede utilizar un dispositivo de captación de imagen (por ejemplo, una cámara de profundidad) para detectar interacciones de sobrevuelo. En contraposición, un dispositivo móvil y pequeño, tal como un teléfono inteligente, puede utilizar un sensor o una matriz de sensores que se incrusta en la propia pantalla (por ejemplo, un sensor de pantalla táctil basado en el efecto capacitivo con unas capacidades de detección de proximidad). Se ha de apreciar que, sin importar el tipo de dispositivo, los sensores o el contexto de uso, “sobrevuelo”, tal como se usa en el presente documento, puede hacer referencia a un estado físico de un objeto que está situado dentro de un espacio en 3D previamente determinado delante de la pantalla sin entrar en realidad en contacto con la superficie delantera de la pantalla. Las dimensiones del espacio en 3D previamente determinado se pueden definir por medio de un área bidimensional (2D) en la pantalla y una distancia en una dirección perpendicular con respecto a la superficie delantera de la pantalla. En este sentido, se puede considerar que los objetos que están situados fuera del área en 2D en la pantalla, en contacto con la pantalla, o más allá de una distancia umbral en una dirección perpendicular con respecto a la superficie delantera de la pantalla, no se encuentran en un estado de sobrevuelo.
Las técnicas y sistemas que se describen en el presente documento se pueden poner en práctica de una serie de formas. En lo sucesivo se proporcionan unas puestas en práctica a modo de ejemplo con referencia a las siguientes figuras.
Sistema informático a modo de ejemplo
La figura 1 ilustra un sistema informático 100 a modo de ejemplo. El sistema 100 puede incluir un dispositivo informático 102 configurado para habilitar una interacción basada en sobrevuelo con un contenido representado. El sistema 100 es meramente un sistema a modo de ejemplo para poner en práctica las técnicas que se describen en el presente documento de tal modo que las técnicas que se describen en el presente documento no se limitan a una puesta en práctica usando el sistema de la figura 1.
El dispositivo informático 102 se puede poner en práctica como cualquier número de dispositivos informáticos (ejemplos no limitantes de los cuales se muestran en la figura 2) incluyendo un teléfono móvil (un teléfono inteligente), un ordenador de tipo tableta, un lector de libros electrónicos (e-book), un ordenador portátil, un ordenador miniportátil, una televisión, una unidad de adaptación multimedios que está acoplado a una pantalla, una consola de juegos que está acoplada con una pantalla, un dispositivo de navegación (por ejemplo, un dispositivo de sistema global de determinación de posición (GPS, global positioning system)), una pantalla montada en un vehículo, un ordenador ponible (por ejemplo, un reloj inteligente), un dispositivo médico de formación de imágenes, una cámara digital y /o un aparato de grabación de vídeo, y así sucesivamente.
El dispositivo informático 102 se puede equipar con uno o más procesadores 104 y una memoria de sistema 106. Dependiendo de la configuración y el tipo exactos de dispositivo informático, la memoria de sistema 106 puede ser volátil (por ejemplo, memoria de acceso aleatorio (RAM, random access memory)), no volátil (por ejemplo, memoria de solo lectura (ROM, read only memory), memoria flash, etc.), o una cierta combinación de las dos. La memoria de sistema 106 puede incluir, sin limitación, un sistema operativo 108, un módulo de explorador 110, unos datos de programa 112 y un almacén de contenidos local 114 a los que puede acceder el procesador o procesadores 104. El sistema operativo 108 puede incluir un marco de trabajo basado en componentes 116 que soporta componentes (incluyendo propiedades y eventos), objetos, herencia, polimorfismo, reflexión, y proporciona una interfaz de programación de aplicaciones (API, application programming interface) basada en componentes y orientada a objetos, tal como la del modelo de programación para Win32 ™ y el Marco de Trabajo .NET ™ facilitado comercialmente por la Corporación Microsoft® de Redmond, WA. La API que es proporcionada por el marco de trabajo basado en componentes 116 puede comprender un conjunto de rutinas, protocolos y /o herramientas que está asociado con el sistema operativo 108 y /o un programa de aplicación del sistema operativo 108 que proporciona una interfaz con el sistema operativo 108 y / o los programas de aplicación asociados.
El sistema operativo 108 puede incluir adicionalmente un módulo de interfaz de sobrevuelo 118 configurado para habilitar una interacción basada en sobrevuelo con una pantalla del dispositivo informático 102 y el contenido que se representa en el mismo. En general, el sistema operativo 108 se puede configurar con una o más pilas para accionar una clase convencional de dispositivos de interfaz humana (HID, human interface device) (por ejemplo, teclados, ratones, etc.) así como habilitar una entrada de pantalla táctil (es decir, una entrada basada en contacto con una pantalla asociada). El módulo de interfaz de sobrevuelo 118 posibilita adicionalmente que el dispositivo informático 102 determine e interprete una entrada basada en sobrevuelo que se recibe a partir de objetos (por ejemplo, el dedo o la mano de un usuario, un lápiz, un bolígrafo, una varita, etc.) que realizan un sobrevuelo delante de una pantalla asociada, y que lleve a cabo unas funciones relacionadas con la representación que están relacionadas con la entrada basada en sobrevuelo. Con el fin de determinar e interpretar una entrada basada en sobrevuelo a partir de un objeto, el módulo de interfaz de sobrevuelo 118 se puede basar en uno o más componentes de soporte físico y / o de soporte lógico adicionales del dispositivo informático 102, tal como el módulo de explorador 110 y uno o más sensores de soporte físico del dispositivo informático 102 que están configurados para detectar un objeto que está realizando un sobrevuelo (es decir, un objeto delante de, pero sin entrar en contacto con, la pantalla del dispositivo informático 102).
El módulo de explorador 110 se puede configurar para recibir un contenido, y para representar el contenido recibido por medio de un explorador (por ejemplo, un explorador web) en una pantalla del dispositivo informático 102. La ejecución del módulo de explorador 110 puede, por ejemplo, proporcionar acceso a un sitio web mediante la representación de páginas web que son atendidas por el sitio web en una pantalla asociada. El módulo de explorador 110 se puede configurar adicionalmente para interaccionar con el módulo de interfaz de sobrevuelo 118 por medio de la API del sistema operativo 108 para habilitar una interacción basada en sobrevuelo con un contenido que se representa por medio del explorador. El contenido que se va a representar puede comprender documentos, aplicaciones, contenido web, y similares, que se pueden recibir / a los que se puede acceder a partir del almacén de contenidos local 114 cuando el contenido se almacena de forma local en el dispositivo informático 102, o a partir de fuentes remotas, tal como a partir de los otros dispositivos informáticos 120 que se muestran en la figura 1 (por ejemplo, servidores de proveedores de contenidos).
En algunas formas de realización, el contenido que es recibido por el módulo de explorador 110 puede comprender un contenido de página web basándose en código de lenguaje de marcado de hipertexto (HTML, hyper text markup language) que configura el contenido para que sea “accionable” en que el contenido sea sensible a una entrada de usuario. Cualquier lenguaje de secuencias de comandos (por ejemplo, JavaScript, Jscript, una secuencia de comandos de la Asociación Europea de Fabricantes de Ordenadores (ECMAScript, European Computer Manufacturers Association script), etc.) o programa (por ejemplo, un subprograma de Java) que sea adecuado se puede utilizar para habilitar un contenido accionable, incluyendo un contenido que se puede vincular con una funcionalidad de sobrevuelo. En este sentido, el contenido que es recibido por el módulo de explorador 110 se puede codificar con lenguajes de programación accionados por eventos para registrar unidades de escucha / manejadores de eventos en los nodos de elemento en el interior de un árbol de modelo de objetos de documento (DOM, document object model) para cualquier tipo de contenido. Un modelo de evento adecuado que se puede utilizar para hacer que el contenido sea accionable es el modelo del Consorcio para la Red Informática Mundial (W3C, World Wide Web Consortium) para eventos de puntero, incluyendo eventos de sobrevuelo.
En un ejemplo ilustrativo, el contenido que es recibido por el módulo de explorador 110 puede comprender un contenido de página web que incluye un texto seleccionable (es decir, accionable) que responde a una selección que se introduce mediante la modificación del texto seleccionado con resaltado, barras de redimensionamiento de selección de texto, u otra modificación basada en representación adecuada. Como otro ejemplo, el contenido en una página web puede incluir vínculos (por ejemplo, hipervínculos) a otras páginas o sitios web, botones de reproducción de vídeo o de audio para contenido de vídeo/audio incrustado, y así sucesivamente. Por consiguiente, tras la selección de tal contenido accionable, el contenido puede responder al navegar a otra página web o al reproducir archivos de vídeo / audio, de forma respectiva. Cuando ciertos eventos de sobrevuelo están asociados con porciones del contenido, esas porciones pueden ser accionables al cambiar de apariencia (es decir, una modificación de representación) o mediante la representación de un contenido adicional (por ejemplo, un menú desplegable en sentido descendente, un globo emergente con información acerca del contenido) en respuesta a que un cursor esté situado por encima del contenido, y estas modificaciones de representación y /o un contenido adicional pueden desaparecer de la pantalla cuando se hace que el cursor se mueva lejos del contenido habilitado para sobrevuelo.
El dispositivo informático 102 también puede incluir dispositivos adicionales de almacenamiento de datos (extraíbles y / o no extraíbles) tales como, por ejemplo, discos magnéticos, discos ópticos o cinta. Tal almacenamiento adicional se ilustra en la figura 1 por medio del almacenamiento extraíble 122 y el almacenamiento no extraíble 124. Los medios legibles por ordenador, tal como se usan en el presente documento, pueden incluir, al menos, dos tipos de medios legibles por ordenador, en concreto, medios de almacenamiento informático y medios de comunicación. Los medios de almacenamiento informático pueden incluir medios volátiles y no volátiles, extraíbles y no extraíbles que se ponen en práctica en cualquier procedimiento o tecnología para el almacenamiento de información, tal como instrucciones legibles por ordenador, estructuras de datos, módulos de programa u otros datos. La memoria de sistema 106, el almacenamiento extraíble 122 y el almacenamiento no extraíble 124 son, todos ellos, ejemplos de medios de almacenamiento informático. Los medios de almacenamiento informático incluyen, pero sin limitarse a, RAM, ROM, memoria de solo lectura eléctricamente borrable y programable (EEPROm , electrically erasable programmable read only memory), memoria flash u otra tecnología de memoria, disco compacto - memoria de solo lectura (CD-ROM, compact disk read -only memory), discos versátiles digitales (DVD, digital versatile disk), u otro almacenamiento óptico, casetes magnéticos, cinta magnética, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que no sea transmisión que se pueda usar para almacenar la información deseada y al que se pueda acceder por medio del dispositivo informático 102. Cualquier medio de almacenamiento informático de ese tipo puede ser parte del dispositivo 102.
En algunas formas de realización, cualquiera o la totalidad de la memoria de sistema 106, el almacenamiento extraíble 122 y el almacenamiento no extraíble 124 pueden almacenar instrucciones de programación, estructuras de datos, módulos de programa y otros datos, que, cuando son ejecutados por el procesador o procesadores 104, ponen en práctica parte o la totalidad de los procesos que se describen en el presente documento.
En contraposición, los medios de comunicación pueden materializar instrucciones legibles por ordenador, estructuras de datos, módulos de programa u otros datos en una señal de datos modulada, tal como una onda portadora, u otro mecanismo de transmisión. Tal como se define en el presente documento, los medios de almacenamiento informático no incluyen medios de comunicación.
El dispositivo informático 102 también puede incluir uno o más dispositivos de entrada 126 tales como un teclado, dispositivos apuntadores (por ejemplo, un ratón, un panel táctil, una palanca de control, etc.), un bolígrafo, un lápiz o una varita, una pantalla táctil (por ejemplo, capacitiva, resistiva, de infrarrojos, de ondas acústicas superficiales (SAW, surface acoustic wave), óptica), una cámara (por ejemplo, un sensor de 3D), un sensor de proximidad, un micrófono, etc., a través de los cuales un usuario puede introducir órdenes e información en el dispositivo informático 102. A pesar de que en la figura 1 se muestra que el dispositivo o dispositivos de entrada 126 se encuentran dentro del dispositivo informático 102, se ha de apreciar que el dispositivo o dispositivos de entrada 126 se pueden incrustar físicamente dentro del dispositivo informático 102 (por ejemplo, una pantalla táctil), o el dispositivo o dispositivos de entrada 126 pueden ser dispositivos periféricos que se acoplan de forma extraíble con el dispositivo informático 102 a través de una conexión o bien cableada o bien inalámbrica (por ejemplo, un dispositivo de entrada basado en cámara periférico). Por consiguiente, el dispositivo o dispositivos de entrada 126 se puede acoplar con el procesador o procesadores 104 a través de una conexión cableada (por ejemplo, una interfaz de bus serie universal (USB, universal serial bus)), o una interfaz de entrada de usuario inalámbrica tal como WiFi o Bluetooth ®.
En algunas formas de realización, el dispositivo o dispositivos de entrada 126 pueden incluir uno o más sensores basados en proximidad 128 que están configurados para detectar un objeto que está realizando un sobrevuelo delante de una pantalla del dispositivo informático 102. El sensor o sensores basados en proximidad 128 posibilitan que el dispositivo informático 102 diferencie entre eventos de toque basados en contacto e interacciones sin contacto (es decir, de sobrevuelo), en lugar de meramente detectar los objetos cerca de la pantalla y resolver el objeto detectado como un evento de toque basado en contacto. En este sentido, se puede considerar que el dispositivo informático 102 es “capaz de sobrevuelo” debido a que el mismo puede detectar interacciones de sobrevuelo e interacciones de toque / contacto de una forma mutuamente exclusiva.
El sensor o sensores de proximidad 128 pueden incluir cualquier tecnología adecuada de detección de proximidad. Un ejemplo ilustrativo de una tecnología adecuada de detección de proximidad es un sensor capacitivo o una matriz de sensores capacitivos que se configura para detectar un objeto que está realizando un sobrevuelo delante de la pantalla del dispositivo informático 102. Un sensor capacitivo o una matriz de sensores capacitivos de ese tipo puede incluir una rejilla bidimensional (2D) de electrodos que sustancialmente abarca un área de la pantalla del dispositivo informático 102 con una tensión que se aplica a los electrodos de tal modo que los electrodos están configurados para medir los cambios de capacidad en cada electrodo. Los cambios de capacidad en los electrodos se pueden ver afectados por un objeto (tal como un dedo humano) en las proximidades de los electrodos de tal modo que una ubicación en la superficie delantera de la pantalla a la que el objeto se encuentra más cercano se puede indicar con precisión basándose en unos electrodos que miden los cambios de capacidad correspondientes. Con el fin de detectar un objeto que está realizando un sobrevuelo, un sensor capacitivo o una matriz de sensores capacitivos se puede basar al menos en parte en la capacidad propia, que se sabe que proporciona una detección de señal más fuerte en comparación con los sensores de capacidad mutua de tal modo que un objeto se puede detectar delante de la superficie delantera de la pantalla sin que el objeto entre en contacto con la pantalla. Un sensor de proximidad 128 basándose en una combinación de la capacidad propia y la capacidad mutua puede disfrutar de los beneficios de ambos tipos de sensores capacitivos, en concreto, detección de proximidad y múltiples toques (es decir, detección de múltiples ubicaciones de toque al mismo tiempo), de forma respectiva. En algunos casos, el sensor o sensores de proximidad 128 se pueden configurar para detectar un objeto delante de la pantalla que se encuentra a una distancia dentro del intervalo de aproximadamente 0,001 pulgadas (0,0254 mm) a aproximadamente 8 pulgadas (20,32 cm) con respecto a la superficie delantera de la pantalla en una dirección perpendicular con respecto a la superficie delantera.
Un ejemplo de un dispositivo de entrada de relativamente “largo alcance” 126 que está configurado para detectar un objeto que está situado delante de la pantalla del dispositivo informático 102 es una cámara de profundidad (por ejemplo, el sensor Kinect® que se usa con el sistema de consola Xbox® facilitado por la Corporación Microsoft® de Redmond, Washington). Una cámara de profundidad se puede configurar para captar datos de imagen e información de profundidad usando cualquier técnica adecuada tal como tiempo de vuelo (ToF, time of flight), formación de imágenes de luz estructurada, formación de imágenes en estéreo, y similares. En algunos casos, el sensor o sensores de proximidad 128 con unas capacidades de detección de mayor alcance se pueden configurar para detectar un objeto delante de la pantalla que se encuentra a una distancia dentro del intervalo de aproximadamente 20 pulgadas (50,80 cm) a aproximadamente 170 pulgadas (431,8 cm) con respecto a la superficie delantera de la pantalla.
Se ha de apreciar que el dispositivo o dispositivos de entrada 126 no se limitan a los ejemplos que se han descrito en lo que antecede, y cualesquiera sensor o sensores de proximidad 128 adecuados se pueden usar para detectar un objeto que está realizando un sobrevuelo delante de una pantalla del dispositivo informático 102, incluyendo, pero sin limitarse a, sensores inductivos, magnéticos, de ultrasonidos, u otros sensores de proximidad 128 adecuados.
El dispositivo informático 102 también puede incluir un dispositivo o dispositivos de salida 130, tal como una pantalla 132 (por ejemplo, una pantalla de cristal líquido (LCD, liquid crystal display), de plasma, de retroproyección, etc.), uno o más altavoces, una impresora o cualquier otro dispositivo de salida adecuado que esté acoplado de forma comunicativa con el procesador o procesadores 104. En general, el dispositivo o dispositivos de salida 130 se pueden configurar para proporcionar una salida a un usuario del dispositivo informático 102. En algunas formas de realización, el dispositivo o dispositivos de salida 130 se pueden integrar en el dispositivo informático 102 (por ejemplo, una pantalla incrustada 132), o proporcionarse de forma externa como un dispositivo de salida periférico 130 (por ejemplo, una pantalla periférica 132).
La figura 1 ilustra una representación en pantalla 134 a modo de ejemplo que se puede emitir por medio de la pantalla 132 del dispositivo informático 102 cuando un contenido se representa en la pantalla 132. En el ejemplo de la figura 1, la representación en pantalla 134 representa un explorador web que representa un contenido de página web. Por consiguiente, la representación en pantalla 134 puede incluir una barra de navegación 136 que tiene un campo de dirección para introducir un localizador uniforme de recursos (URL, uniform resource locator) de un sitio web (en el presente caso, “www.sitioweb.com”) y diversos otros controles que pueden dotar a un usuario con una funcionalidad de exploración para abrir ventanas de explorador adicionales, refrescar el contenido de página web, y así sucesivamente. La representación en pantalla 134 puede incluir adicionalmente el contenido 138 dentro de un área de control del explorador que se representa en la pantalla 132. Cabe destacar que el contenido 138 en el ejemplo de la figura 1 es “rico y denso” debido a que la página web se ha diseñado para una representación óptima en una pantalla de ordenador de sobremesa.
La figura 1 ilustra adicionalmente un área 140 en una superficie delantera de la pantalla 132 en la que se detecta que un objeto está sobrevolando por encima de la superficie delantera de la pantalla 132. Tal como se analizará con más detalle en lo sucesivo, el área 140 se puede resolver como una ubicación puntual en la superficie delantera de la pantalla 132 que es representativa de la ubicación del objeto en relación con la pantalla cuando el objeto está realizando un sobrevuelo delante de la pantalla. El sensor o sensores de proximidad 128 pueden detectar el objeto que está realizando un sobrevuelo, y el módulo de interfaz de sobrevuelo 118 puede determinar que la posición de los objetos delante de la pantalla 132 que se representa por medio del área 140 se encuentra en una ubicación dentro de un área de control en la que se habilita una funcionalidad de sobrevuelo. En algunas formas de realización, el módulo de explorador 110 puede interaccionar con el sistema operativo 108 por medio de la API del sistema operativo 108 con el fin de especificar el área de control como que limita el contenido 138, pero no la barra de navegación 136. El módulo de explorador 110 puede especificar adicionalmente un nivel de acercamiento / alejamiento del contenido representado 138 (en este caso, el contenido 138 se puede alejar al nivel de acercamiento / alejamiento más bajo). Con esta información, el módulo de interfaz de sobrevuelo 118 puede determinar que un contenido representado se encuentra al nivel de acercamiento / alejamiento más bajo y que el objeto está realizando un sobrevuelo dentro del área de control del explorador web de tal modo que un evento de sobrevuelo se puede detectar con respecto al contenido representado 138.
Cuando se detecta un evento de sobrevuelo, el módulo de interfaz de sobrevuelo 118 puede dar lugar a que se lleve a cabo una función relacionada con la representación que se refleja en la pantalla 130 del dispositivo informático 102. Las funciones relacionadas con la representación que se pueden llevar a cabo en respuesta a la detección de un evento de sobrevuelo incluyen, sin limitación, representar una ventana ampliada 142 de una porción del contenido 138 (por ejemplo, una porción del contenido 138 debajo del objeto), modificar la representación de la porción del contenido 138, y /o representar un contenido adicional en asociación con la porción del contenido 138. La porción del contenido 138 que se representa dentro de la ventana ampliada 142 de la figura 1 puede representar una porción del contenido 138 que se representa en una ubicación dentro del área 140 o dentro de una distancia umbral con respecto a una ubicación de ese tipo (por ejemplo, justo por encima de la ubicación del objeto). Se ha de apreciar que la capacidad de interacción de sobrevuelo del dispositivo informático 102 se puede “activar” o “desactivar” por medio de ajustes de usuario o una configuración de usuario similar del dispositivo 102 en casos en los que no se desea una interacción de sobrevuelo.
El dispositivo informático 102 puede operar en un entorno en red y, en ese sentido, el dispositivo informático 102 puede incluir adicionalmente unas conexiones de comunicación 142 que permiten que el dispositivo se comunique con los otros dispositivos informáticos 120, tales proveedores de contenidos ubicados de forma remota. Las conexiones de comunicación 142 se puede utilizar para transmitir y / o recibir datos, tales como un contenido que se puede almacenar en el almacén de contenidos local 114.
La figura 2 ilustra un entorno de sistema informático 200 a modo de ejemplo que muestra unos dispositivos informáticos a modo de ejemplo 102 que están configurados para recibir un contenido a partir de un proveedor o proveedores de contenidos ubicados de forma remota 202. A pesar de que algunas formas de realización se describen en el contexto de un sistema basado en web, se podrían usar otros tipos de comunicaciones basadas en cliente / servidor y la lógica de aplicación que está asociada. La figura 2 ilustra que el contenido que se va a representar en la pantalla 132 del dispositivo informático 102 se puede descargar o recibirse por lo demás a partir del proveedor o proveedores de contenidos 202 que pueden almacenar el contenido en un almacén de contenidos remoto 204. En algunos ejemplos, el contenido recibido puede ser un contenido de página web a partir de un sitio web del proveedor o proveedores de contenidos 202. En este escenario, el proveedor de contenidos 202 puede utilizar uno o más servidor o servidores 206(1), 206(2), ... , 206 (N) (206, de forma colectiva), que tal vez estén dispuestos en una agrupación o como una granja de servidores, para albergar uno o más sitios web. Un usuario que está asociado con un dispositivo informático 102 puede entonces acceder al sitio web mediante el envío de una solicitud, tal como en forma de URL que se introduce en un campo de dirección de un explorador web que se está ejecutando en el dispositivo informático 102, al servidor o servidores 206 a través de una red 208. Tras recibir la solicitud, el servidor o servidores 206 pueden devolver una página web de vuelta al dispositivo informático 102 que realiza la solicitud a través de la red 208. El sitio web puede ser capaz de manejar solicitudes a partir de muchos usuarios y atender, en respuesta, diversas páginas web que se pueden representar en pantallas asociadas de los dispositivos informáticos 102. La red 208 representa una red cualquiera o una combinación de múltiples tipos diferentes de redes, tales como redes de área extensa (WAN, wide area network) o redes de área local (LAN, local area network) e incluyendo redes por cable, Internet y redes inalámbricas.
La figura 3A ilustra una vista en alzado frontal de un dispositivo informático 102 a modo de ejemplo que tiene una pantalla 132 a modo de ejemplo que representa un contenido accionable en el mismo, tal como el contenido 138 de la figura 1. En algunas formas de realización, el área de control que se ha mencionado en lo que antecede dentro de la cual pueden estar restringidas las interacciones de sobrevuelo coincide con el área en 2D en la pantalla en la que se representa el contenido 138. El dispositivo informático 102 que se muestra en la figura 3a representa un dispositivo “capaz de sobrevuelo” en el sentido de que el mismo incluye los componentes que se describen en la figura 1 que habilitan una interacción basada en sobrevuelo con el contenido representado 138. La figura 3B ilustra una vista en alzado lateral del dispositivo informático 102 de la figura 3A.
Las figuras 3A y 3B también muestran diversos planos de referencia. En ese sentido, la figura 3A muestra un plano medio sagital imaginario que puede pasar a través de la parte media del dispositivo informático 102 y dividir el dispositivo informático 102 en unos lados derecho e izquierdo. Un plano transversal, que es un plano imaginario que divide el dispositivo informático 102 en unas partes superior (de arriba / alta) e inferior (de debajo / baja), se muestra pasando en sentido horizontal a través de las figuras 3a y 3B. Además, un plano frontal se muestra por medio de la figura 3B como un plano vertical imaginario que divide el dispositivo informático 102 en unas partes delantera y trasera. Por consiguiente, la figura 3B ilustra una superficie delantera 300 de la pantalla 132 como que es una superficie paralela con respecto al plano frontal en la parte delantera del dispositivo informático 102. La figura 3A ilustra adicionalmente que un plano de referencia de coordenadas en 2D (por ejemplo, un plano x - y ) paralelo con respecto al plano frontal se puede utilizar para hacer referencia a unas ubicaciones puntuales (x, y) en la superficie delantera 300 de la pantalla 132. Las ubicaciones en la superficie delantera 300 de la pantalla 132 también se pueden representar por medio de los píxeles de la pantalla 132, y unas áreas que se definen por medio de grupos de píxeles. La figura 3B ilustra que una dirección perpendicular con respecto a la superficie delantera 300 de la pantalla 132 se puede representar por medio de una dirección z en términos de coordenadas cartesianas.
La figura 3C ilustra la vista en alzado frontal del dispositivo informático 102 a modo de ejemplo de las figuras 3A y 3B cuando un objeto 302 (en este caso, el dedo de un usuario) está realizando un sobrevuelo delante de la pantalla 132 del dispositivo informático 102. La figura 3D ilustra una vista en alzado lateral del dispositivo informático 102 y el objeto 302 de la figura 3C. En concreto, en la figura 3D se muestra que el objeto 302 está ubicado a (separado) una distancia, d, a partir de la superficie delantera 300 de la pantalla 132 en la dirección z (una dirección perpendicular con respecto a la superficie delantera 300). Se ha de apreciar que la distancia, d, representa la distancia más corta desde el objeto 302 hasta la superficie delantera 300 en relación con otras distancias desde el objeto 302 hasta otras ubicaciones en la superficie delantera 300. En un ejemplo ilustrativo, el dispositivo informático 102 puede representar un teléfono inteligente que utiliza un sensor o sensores de proximidad 128 (por ejemplo, una matriz de sensores capacitivos) que se incrustan dentro de, o que están dispuestos por detrás de, la pantalla 132, y la distancia, d, se puede encontrar dentro del intervalo de aproximadamente 0,001 pulgadas (0,0254 mm) a aproximadamente 1,5 pulgadas (3,81 cm). En algunas formas de realización, el sensor o sensores de proximidad 128 se pueden configurar para detectar el objeto 302 cuando el mismo está situado dentro de una distancia umbral con respecto a la superficie delantera 300, tal como una distancia umbral que puede no ser mayor que aproximadamente 8 pulgadas (20,32 cm). Para unos dispositivos informáticos 102 con unos tamaños de pantalla más grandes, y /o unos dispositivos informáticos 102 que se ponen en práctica en contextos diferentes (por ejemplo, una TV de sala de estar) con tipos diferentes de sensor o sensores de proximidad 128 (por ejemplo, una cámara de profundidad), una distancia umbral puede ser mayor que 8 pulgadas (20,32 cm) de tal modo que la distancia, d, puede ser de hasta aproximadamente 170 pulgadas (431,8 cm) con respecto a la superficie delantera 300 de la pantalla 132, y el sensor o sensores de proximidad 128 del dispositivo informático 102 puede seguir siendo capaz de detectar el objeto 302 (por ejemplo, la mano del usuario) que está realizando un sobrevuelo delante de la superficie delantera 300 a esa distancia, d. También se ha de apreciar que el sensor o sensores de proximidad 128 se pueden configurar para detectar múltiples objetos 302 que están realizando un sobrevuelo, incluso a pesar de que en las figuras 3C y 3D se muestra un único objeto 302.
La figura 3C muestra adicionalmente una ubicación puntual 304 en la superficie delantera 300 que es representativa de la ubicación del objeto en relación con la pantalla 132 cuando el objeto 302 está realizando un sobrevuelo delante de la pantalla 132. La ubicación 304 se puede determinar por medio del módulo de interfaz de sobrevuelo 118 después de recibir la indicación del objeto 302 detectado a partir del sensor o sensores de proximidad 128. Con el fin de determinar la ubicación 304, el módulo de interfaz de sobrevuelo 118 puede acceder a datos con respecto a las coordenadas x - y o los píxeles de la pantalla 132 que son generalmente conocidos por el sistema operativo 108 y /o datos a partir del sensor o sensores de proximidad 128. Tal como se ilustra por medio de la figura 3D, la ubicación 304 puede representar una ubicación 304 en la superficie delantera 300 de la pantalla 132 que es la distancia más corta, d, desde el objeto 302 hasta la superficie delantera 300 debido a que el objeto 302 se encuentra sustancialmente en una dirección con respecto a la ubicación 304 que es perpendicular con respecto a la superficie delantera 300 de la pantalla 132.
La figura 3C muestra adicionalmente que el módulo de interfaz de sobrevuelo 118 se puede configurar adicionalmente para determinar una porción 306 del contenido 138 que se representa dentro de una distancia umbral, h, con respecto a la ubicación 304. En el ejemplo de la figura 3C, la porción 306 del contenido 138 que se selecciona se representa a una distancia, h, por encima de (es decir, hacia la parte de arriba del dispositivo informático 102) la ubicación 304. En otras formas de realización, la porción 306 que se determina por medio del módulo de interfaz de sobrevuelo 118 puede ser la porción del contenido 138 que se representa en la ubicación 304 (es decir, el contenido que se encuentra directamente por debajo del objeto 302 que está realizando un sobrevuelo). Puede ser ventajoso seleccionar la porción 306 que se representa a una distancia, h, por encima de la ubicación 304 de tal modo que el objeto 302 no obstruye la visión de un usuario de la porción 306, pero se ha de apreciar que una porción directamente por debajo del objeto 302 o dentro de una distancia de la ubicación 304 en una dirección diferente se puede seleccionar sin cambiar las características básicas del sistema.
La figura 3E ilustra la vista en alzado frontal del dispositivo informático 102 a modo de ejemplo de las figuras 3A - 3D en la que una ventana ampliada, tal como la ventana ampliada 142 de la figura 1, se representa en una región de la pantalla 132 en respuesta a una interacción de sobrevuelo detectada a partir del objeto 302. El objeto 302 (un dedo) que se muestra en la figura 3E se encuentra en la misma posición que se muestra por medio de las figuras 3C y 3D (es decir, una posición de sobrevuelo). La ventana ampliada 142 puede contener la porción 306 del contenido 138 que se muestra en la figura 3C. Tal como se describirá con más detalle con referencia a la figura 4, el contenido que se representa dentro de la ventana ampliada 142 puede ser accionable mediante la respuesta a una entrada de usuario que se recibe dentro de la ventana ampliada 142 de la misma forma que o de una forma similar a cómo el contenido está configurado para responder a una entrada de usuario fuera de la ventana ampliada 142. Por ejemplo, el texto en el que se lee “Empleado de tienda frustra intento de robo” está incluido en la porción 306 del contenido 138, tal como se muestra en la figura 3C, y el mismo se puede codificar como un hipertexto que, tras la selección fuera de la ventana ampliada 142 (por ejemplo, un dedo que toca la pantalla 132 sobre el elemento de texto), hace que un usuario navegue, por medio de un explorador web, a otra página que contiene la totalidad del artículo que está asociado con ese texto. De la misma forma, o al menos de una forma similar, un usuario puede proporcionar una entrada dentro de la ventana ampliada 142 para, por ejemplo, seleccionar el texto en el que se lee “Empleado de tienda frustra intento de robo”. Tras la recepción de la entrada de usuario dentro de la ventana ampliada 142, el módulo de explorador 110 puede hacer que el usuario navegue a la página web diferente con la totalidad del artículo que está asociado con ese texto. De esta forma, la ventana ampliada 142 actúa como una ventana de “miniexplorador” que proporciona un contenido accionable dentro de la propia ventana ampliada 142 mediante la respuesta a una entrada de usuario que se proporciona dentro de la ventana ampliada 142.
En algunas formas de realización, la ventana ampliada 142 es de una anchura, w, que puede ser menor que una anchura global de la pantalla 132. En un ejemplo, la anchura, w, no es mayor que aproximadamente un 75 % de la anchura de la pantalla 132. En otro ejemplo, la anchura, w, no es mayor que aproximadamente un 50% de la anchura de la pantalla 132. En aún otro ejemplo, la anchura, w, no es mayor que aproximadamente un 25 % de la anchura de la pantalla 132. Una restricción sobre la anchura, w, para que sea una fracción de la anchura de la pantalla 132 puede prever una ampliación óptima de la porción 306 del contenido 138 que se representa dentro de la ventana ampliada 142, y esta puede facilitar que se explore de forma selectiva el contenido de una forma de izquierda a derecha, o viceversa.
En algunas formas de realización, la región en la que la ventana ampliada 142 se representa puede incluir un límite de debajo que está ubicado a una distancia previamente determinada, b, con respecto a la ubicación 304 en la superficie delantera 300 que se corresponde con el objeto 302. Por ejemplo, la distancia previamente determinada, b, se puede encontrar dentro del intervalo de aproximadamente 0,2 pulgadas (0,508 cm) a aproximadamente 0,5 pulgadas (1,27 cm). En otro ejemplo, la distancia previamente determinada, b, puede no ser mayor que aproximadamente 1 pulgada (2,54 cm). La representación de la ventana ampliada 142 a una distancia previamente determinada, b, por encima de la ubicación 304 puede evitar que el objeto 302 obstruya la visión del usuario del contenido dentro de la ventana ampliada 142 o una porción del mismo.
En algunas formas de realización, el módulo de interfaz de sobrevuelo 118 puede identificar un gesto de entrada a partir del objeto 302 antes de dar lugar a la representación de la ventana ampliada 142. En este sentido, la ventana ampliada 142 se puede representar en respuesta a la recepción del gesto de entrada, que puede adoptar cualquier forma adecuada. Un gesto de entrada a modo de ejemplo que puede desencadenar la representación de la ventana de ampliación 142 se encuentra en la forma del objeto 302 que permanece en una primera posición que se muestra en las figuras 3C - 3E durante un periodo de tiempo previamente determinado. “Que permanece en la primera posición” puede comprender realizar un sobrevuelo delante de la superficie delantera 300 dentro de un área previamente determinada 306 durante el periodo de tiempo previamente determinado. El área previamente determinada 306 puede estar circunscrita en torno a la ubicación 304 de tal modo que, si el objeto 302 tiembla ligeramente, se puede considerar que ha “permanecido en la primera posición”. El periodo de tiempo previamente determinado que el objeto 302 va a permanecer en la primera posición se puede encontrar dentro de un intervalo de aproximadamente 50 milisegundos a aproximadamente 100 milisegundos. En otras formas de realización, el periodo de tiempo previamente determinado puede no ser mayor que aproximadamente 2000 milisegundos. En este escenario, un usuario puede proporcionar un gesto de entrada al sostener un dedo en una posición de sobrevuelo dentro del área previamente determinada 306 durante un periodo de tiempo previamente determinado y, en respuesta, el módulo de interfaz de sobrevuelo 118 puede dar lugar a la representación de la ventana ampliada 142 para proporcionar una exploración potenciada del contenido 138.
A pesar de que la ventana ampliada 142 que se muestra en las figuras 1 y 3E es de forma rectangular, se ha de apreciar que la ventana ampliada 142 puede comprender cualquier forma adecuada, tal como circular, triangular, cuadrada, hexagonal, o cualquier tipo de forma poligonal adecuada para contener una vista ampliada de una porción 306 del contenido 138.
La figura 4 ilustra una vista en alzado frontal del dispositivo informático 102 a modo de ejemplo de las figuras 3A - 3E que muestra una entrada de usuario que es proporcionada por el objeto 302 dentro de la ventana ampliada 142. La entrada de usuario que se proporciona dentro de la ventana ampliada 142 para interaccionar con el contenido en la misma puede adoptar cualquier forma adecuada, tal como el objeto 302 en contacto con la superficie delantera 300 de la pantalla 132 para proporcionar una entrada basada en toque para seleccionar un elemento que se representa dentro de la ventana ampliada 142. En el ejemplo de la figura 4, un usuario ha tocado con su dedo la superficie delantera 300 de la pantalla 132 sobre el texto dentro de la ventana ampliada 142 en el que se lee “Empleado de tienda frustra intento de robo”. Exactamente igual que el usuario es capaz de proporcionar una entrada basada en toque a la pantalla 132 para seleccionar elementos de contenido interactivos (por ejemplo, hipervínculos), el usuario puede entrar en contacto con la superficie delantera 300 de la pantalla 132 en el hipertexto “Empleado de tienda frustra intento de robo” que se proporciona dentro de la ventana ampliada 142 para seleccionar el texto y ordenar al módulo de explorador 110 que navegue a otra página web con la totalidad del artículo que está asociado con el texto. En este sentido, una porción del contenido dentro de la ventana ampliada 142 es accionable mediante la respuesta a una entrada de usuario cuando la entrada de usuario se proporciona dentro de la ventana ampliada 142, exactamente igual que la porción 306 responde a la entrada de usuario fuera de la ventana ampliada 142.
En algunas formas de realización, la entrada de usuario que se proporciona dentro de la ventana ampliada 142, tal como se ilustra en la figura 4, puede comprender una interacción de sobrevuelo a partir del objeto 302. Por ejemplo, el objeto 302 puede sobrevolar por encima del contenido que se representa dentro de la ventana ampliada 142 a una distancia con respecto a la superficie delantera 300 de la pantalla 132, y el contenido accionable, si está codificado para responder a los eventos de sobrevuelo, puede responder a la entrada de usuario basada en sobrevuelo al llevar a cabo una función relacionada con la representación, tal como cambiar la apariencia del contenido (por ejemplo, subrayando el texto “Empleado de tienda frustra robo”), representar un contenido adicional (por ejemplo, un elemento emergente con información acerca del contenido, un menú desplegable en sentido descendente, etc.), y así sucesivamente.
La figura 5A ilustra una vista en alzado frontal del dispositivo informático 102 a modo de ejemplo de las figuras 3 -4 que muestra el objeto 302 moviéndose a través de la superficie delantera 300 de la pantalla 132 al tiempo que mantiene una relación de separación con la superficie delantera 300. Por consiguiente, la figura 5B ilustra una vista en alzado lateral parcial del dispositivo informático 102 y el objeto en movimiento 302 para ilustrar la relación de separación que se mantiene durante el movimiento del objeto 302 a través de la superficie delantera 300. En respuesta al movimiento del objeto 302 que se muestra en las figuras 5A y 5B, la ventana ampliada 142 se muestra como que se ha movido a través de la pantalla 132 junto con el objeto en movimiento 302 desde una primera región (que se representa por medio del recuadro de trazo discontinuo) de la pantalla 132 hasta una segunda región de la pantalla 132. En algunas formas de realización, el módulo de interfaz de sobrevuelo 118 puede determinar si el objeto 302 se mueve a través de la superficie delantera 300 por debajo de una velocidad previamente determinada.
Tal como se describirá con más detalle en lo sucesivo, en algunas formas de realización, si el objeto 302 se mueve demasiado rápido (es decir, por encima de una velocidad umbral) a través de la superficie delantera 300, la ventana ampliada 142 puede desaparecer de la pantalla 132. Por lo tanto, de acuerdo con algunas formas de realización, siempre que el objeto 302 se mueva por debajo de una velocidad previamente determinada cuando recorre la superficie delantera 300 en una relación de separación con la misma, la ventana ampliada 142 se puede mover junto con el objeto 302 a una región nueva de la pantalla 132 que se corresponde con una posición nueva del objeto 302. En el ejemplo de la figura 5A, la ventana ampliada 142 en la región nueva / segunda región después del objeto 302 se haya movido contiene otra porción del contenido 138 que se representa en, o dentro de una distancia umbral con respecto a, una ubicación nueva en la superficie delantera 300 de la pantalla 132 que se corresponde con la posición actualizada del objeto 302. De esta forma, el objeto 302 puede recorrer la superficie delantera 300 de una forma controlada (es decir, por debajo de una velocidad previamente determinada) para representar de forma dinámica porciones diferentes del contenido 138 a medida que el objeto 302 se mueve. Esto da a un usuario del dispositivo informático 102 una experiencia virtual similar a mover una lupa por encima de un periódico.
La figura 6 ilustra una vista en alzado frontal del dispositivo informático 102 de las figuras 3 -5 que muestra una entrada de usuario que es proporcionada por el objeto 302 dentro de la ventana ampliada 142. La entrada de usuario que se proporciona dentro de la ventana ampliada 142 se puede proporcionar con el fin de interaccionar con el contenido en la misma, y esta puede adoptar cualquier forma adecuada, tal como se ha descrito en lo que antecede con referencia a la figura 4. En el ejemplo de la figura 6, el objeto 302 puede entrar en contacto con la superficie delantera 300 de la pantalla 132 para proporcionar una entrada basada en toque para seleccionar un elemento que se representa dentro de la ventana ampliada 142. En concreto, el objeto 302 (un dedo) puede tocar la superficie delantera 300 de la pantalla 132 sobre el botón de reproducción de vídeo que se representa ampliado dentro de la ventana ampliada 142. Se reconoce que, cuando la ventana ampliada 142 no se representa en la pantalla 132, el objeto 302 puede tocar la superficie delantera 300 de la pantalla 132 sobre el botón de reproducción de vídeo para dar lugar a que un vídeo se reproduzca al usuario en la pantalla 132. La ventana ampliada 142 también representa un contenido accionable que responde de la misma forma que el contenido accionable 138 que se representa en la pantalla 132 fuera de la ventana ampliada 142. En este sentido, el objeto 302 puede proporcionar órdenes de entrada (por ejemplo, entrar en contacto con la superficie delantera 300 de la pantalla 132) dentro de la ventana ampliada 142 para seleccionar elementos interactivos (por ejemplo, el botón de reproducción de vídeo) y, en respuesta, el módulo de explorador 110 puede responder a la entrada de usuario, tal como al iniciar la reproducción del archivo de vídeo que está asociado con el botón de reproducción.
En algunas formas de realización, la entrada de usuario que se proporciona dentro de la ventana ampliada 142 puede comprender una interacción de sobrevuelo a partir del objeto 302. Por ejemplo, el objeto 302 puede sobrevolar por encima del contenido que se representa dentro de la ventana ampliada 142 a una distancia con respecto a la superficie delantera 300 de la pantalla 132, y el contenido accionable, si está codificado para responder a los eventos de sobrevuelo, puede responder a la entrada de usuario basada en sobrevuelo al llevar a cabo una función relacionada con la representación, tal como cambiar la apariencia del contenido (por ejemplo, resaltando el círculo del botón de reproducción de vídeo), representar un contenido adicional, y así sucesivamente.
La figura 7A ilustra una vista en alzado lateral parcial y una vista en alzado frontal parcial del dispositivo informático 102 que muestra un objeto 302 que está realizando un sobrevuelo a una primera distancia, d1, a partir de la superficie delantera 300 de la pantalla 132, así como un primer nivel de ampliación de la ventana ampliada 142. La figura 7B ilustra las vistas en alzado frontal y lateral parcial del dispositivo informático 102 que muestra el objeto 302 que está realizando un sobrevuelo a una segunda distancia, d2, a partir de la superficie delantera 300 de la pantalla 132, así como un segundo nivel de ampliación de la ventana ampliada 142. Por consiguiente, las figuras 7a y 7B ilustran que un nivel de ampliación / acercamiento / alejamiento del contenido dentro de la ventana ampliada 142 se puede ajustar o controlar en respuesta al movimiento del objeto 302 en la dirección z (es decir, la dirección perpendicular con respecto a la superficie delantera 300), permitiendo que un usuario controle el tamaño representado del contenido dentro de la ventana ampliada 142 cuando se representa la ventana ampliada 142. El módulo de interfaz de sobrevuelo 118 puede posibilitar tal control de acercamiento / alejamiento en la dirección z mediante el acceso a unos datos de correlación en los datos de programa 112 que establecen una correlación entre niveles de ampliación y las distancias en la dirección z con respecto a la superficie delantera 300 de la pantalla 132. De esta forma, un objeto 302 que se detecta a una primera distancia, d1, a partir de la superficie delantera 300 se puede traducir a un primer nivel de ampliación para el contenido dentro de la ventana ampliada 142 de tal modo que el contenido dentro de la ventana ampliada 142 se puede representar al primer nivel de ampliación, y en respuesta a determinar que el objeto 302 se ha movido más lejos con respecto a la superficie delantera 300 en la dirección z hasta una segunda distancia, d2, el nivel de ampliación del contenido dentro de la ventana ampliada 142 se puede ajustar (por ejemplo, disminuirse). La detección de la distancia del objeto desde la superficie delantera 300 se puede llevar a cabo por medio del sensor o sensores de proximidad 128 basándose en la intensidad de señal recibida, el tiempo de vuelo (ToF, time of flight), u otros medios para determinar la distancia del objeto 302 con respecto a la superficie delantera 300 de la pantalla 132.
La figura 8A ilustra una vista en alzado frontal del dispositivo informático 102 que muestra el objeto 302 moviéndose desde el interior de un área de control 800 de un explorador hasta una posición fuera de un límite del área de control 800, dando lugar a que la ventana ampliada 142 desaparezca de la pantalla 132. La figura 8B ilustra una vista en alzado lateral del dispositivo informático 102 y el objeto 302 para mostrar que el movimiento del objeto 302 a través de la superficie delantera 300 de la pantalla 132 tiene lugar mientras el objeto 302 mantiene una relación de separación con respecto a la superficie delantera 300 (es decir, el objeto 302 se mueve a través de la superficie delantera 300 en un estado de sobrevuelo). Las figuras 8A y 8B muestran un ejemplo de un criterio para dar lugar a que la ventana ampliada 142 desaparezca de la pantalla 132 una vez que la misma se ha representado inicialmente; en concreto, que el objeto 302 se mueve fuera del área de control 800 que se designa en la pantalla 132. Por ejemplo, el módulo de explorador 110 puede especificar el área de control 800 como que comprende un área en la pantalla 132 que encierra el contenido 138 que se representa por medio de un explorador web. Por consiguiente, la barra de navegación 136, a pesar de que parte de la representación en pantalla 134, se puede designar como que se encuentra fuera del área de control 800, de tal modo que la ventana ampliada 142 desaparece en respuesta a que el objeto 302 se mueva a una posición por encima de la barra de navegación 136 del explorador web. Cualquier tipo de barra de menú o panel de control de un programa de aplicación (por ejemplo, un programa de procesamiento de textos) se puede designar, de una forma similar, como que se encuentra fuera del área de control 800 de tal modo que la ventana ampliada 142 se representa cuando el objeto 302 está sobrevolando por encima del contenido 138, pero no cuando este está sobrevolando por encima de otras porciones de la pantalla 132 que no representan el contenido real 138. Se ha de apreciar que al menos una porción del límite de la pantalla 132 puede ser coincidente con el área de control 800 de tal modo que, cuando el objeto 302 se mueve hasta una posición fuera del límite de la propia pantalla 132, la ventana ampliada 142 también puede desaparecer en ese caso.
En algunas formas de realización, se pueden utilizar otros criterios para representar de forma selectiva la ventana ampliada 142 en la pantalla 132. Un criterio a modo de ejemplo puede ser que el objeto 302 se mueva a través de la superficie delantera 300 de la pantalla 132 por encima de una velocidad previamente determinada (es decir, el objeto se mueve demasiado rápido). Se hizo referencia a este criterio al tiempo que se describía el movimiento del objeto 302 por debajo de una velocidad previamente determinada con referencia a las figuras 5A y 5B. Es decir, cuando el objeto 302 se mueve en un estado de sobrevuelo a través de la superficie delantera 300 de la pantalla 132 por debajo de una velocidad previamente determinada, la ventana ampliada 142 se puede mover junto con el objeto 132 a una región nueva de la pantalla, pero cuando el objeto supera la velocidad previamente determinada, la ventana ampliada 142 puede desaparecer de la pantalla 132. Otro criterio a modo de ejemplo para hacer desaparecer la ventana ampliada 142 puede ser que el objeto 302 entre en contacto con la superficie delantera 300 o la pantalla 132 fuera de la región en la que se representa la ventana ampliada 142. Aún otro criterio a modo de ejemplo para hacer desaparecer la ventana ampliada 142 puede ser que el objeto 302 se haya movido lejos de la superficie delantera 300 en la dirección z más allá de una distancia umbral con respecto a la superficie delantera 300 en la dirección z. En cualquier caso, puede que haya casos en los que se represente la ventana ampliada 142 y casos en los que no se represente, y los criterios que se han descrito en lo que antecede se pueden utilizar para determinar aquellos casos en los que hacer desaparecer de la pantalla el objeto 302.
La figura 9 ilustra una vista en alzado frontal del dispositivo informático 102 que muestra el objeto 302 moviéndose desde una posición cerca del límite del área de control 800 en la pantalla 132 hasta una posición más cercana al límite. En concreto, el módulo de interfaz de sobrevuelo 118 puede determinar la ubicación 304 en la que el objeto 302 está sobrevolando por encima de la superficie delantera 300, y puede determinar adicionalmente que la ubicación 304 se encuentra a una distancia, p, con respecto al límite del área de control 800, en la que la distancia, p, se encuentra dentro de una distancia umbral con respecto al límite del área de control 800. Tras determinar que el objeto se mueve más cerca del límite del área de control 800 con respecto a la ubicación 304, tal como se muestra en la figura 9, el módulo de interfaz de sobrevuelo 118 puede realizar un movimiento panorámico del contenido dentro de la ventana ampliada 142 en un sentido opuesto al sentido del movimiento del objeto 302. El movimiento panorámico del contenido dentro de la ventana ampliada 142 en estas circunstancias puede tener lugar en lugar de mover la propia ventana ampliada 142 a una región nueva de la pantalla 132. Esto puede ser ventajoso debido a que, cuando el objeto 302 se encuentra en la ubicación 304, el límite lateral de la ventana ampliada 142 puede encontrarse sustancialmente apoyado en el límite del área de control 800 que, en algunos casos, puede ser coincidente con el límite de la pantalla 132. En este escenario, en lugar de mover la ventana ampliada 142 fuera del límite del área de control 800, se puede realizar un movimiento panorámico del contenido dentro de la ventana ampliada 142 para revelar una porción del contenido 138 en un límite del contenido 138 que no era por lo demás visible dentro de la ventana ampliada cuando el objeto 302 estaba sobrevolando por encima de la ubicación 304. De esta forma, un usuario puede ver porciones del contenido 138 cerca de un límite exterior del contenido 138.
La figura 10A ilustra una vista en alzado frontal parcial del dispositivo informático 102 que muestra el objeto 302 proporcionando una entrada basada en toque en la ubicación 304 en la pantalla 132 en la que el objeto 302 puede previamente haber estado realizando un sobrevuelo para dar lugar a la representación de la ventana ampliada 142. La entrada basada en toque que se proporciona en la ubicación 304 puede ser cualquier tipo adecuado de entrada basada en contacto en la que el objeto 302 entra en contacto con la superficie delantera 300 de la pantalla 132 en la ubicación 304. Para realizar una distinción con respecto a un contacto que es indicativo de la intención de un usuario de hacer que desaparezca la ventana ampliada 142, el módulo de interfaz de sobrevuelo 118 puede determinar si la entrada basada en toque se proporciona como un tipo de entrada basada en toque de múltiples contactos (por ejemplo, un “golpecito doble”). De esta forma, dos contactos sucesivos dentro de un periodo de tiempo previamente determinado pueden indicar al módulo de interfaz de sobrevuelo 118 que un usuario desea realizar un acercamiento / alejamiento hasta una porción del contenido que está asociada con la ubicación 304.
La figura 10C ilustra una vista en alzado frontal parcial del dispositivo informático 102 de las figuras 10A y 10B después de la recepción de la entrada basada en toque en la ubicación 304 en la superficie delantera 300 de la pantalla 132. Cabe destacar que la pantalla 132 muestra una vista acercada del contenido que se representa en torno a la ubicación 304; en este caso, el artículo por encima del cual estaba sobrevolando el objeto 302. De esta forma, un usuario puede explorar el contenido usando la ventana ampliada 142 como una ayuda para leer el contenido sin, en realidad, realizar un acercamiento sobre el contenido, y entonces el usuario puede realizar un acercamiento de imagen sobre una porción del contenido 138 que le resulta de interés.
La figura 11 ilustra una vista en alzado frontal parcial del dispositivo informático 102 que muestra el objeto 302 que sobrevuela por encima de un elemento interactivo (por ejemplo, el texto de menú en el que se lee “Deportes”) en la pantalla 132 para dar lugar a que se lleve a cabo una función relacionada con la representación en respuesta al objeto 302 que está realizando un sobrevuelo. En concreto, ciertas porciones del contenido 138 se pueden codificar para responder a los eventos de sobrevuelo. En el contexto de un ordenador de sobremesa, un evento de sobrevuelo puede tener lugar después de que el cursor se coloque por encima de un elemento interactivo en el contenido con una funcionalidad de sobrevuelo. En el contexto de un dispositivo informático habilitado para sobrevuelo, tal como el dispositivo informático 102, los eventos de sobrevuelo a partir de los objetos 302 se pueden vincular con eventos de puntero para dar lugar a que unas funciones relacionadas con la representación se lleven a cabo en respuesta a detectar un objeto 302 que sobrevuela por encima de la superficie delantera 300 de la pantalla 132.
La figura 11 muestra múltiples funciones relacionadas con la representación que se están llevando a cabo en respuesta a un objeto 302 detectado que está realizando un sobrevuelo por encima del texto de menú de “Deportes”. Por ejemplo, el módulo de interfaz de sobrevuelo 118 puede dar lugar a que la representación del texto interactivo en el que se lee “Deportes” realice una transición de una fuente sin negrita a una fuente en negrita para indicar al usuario que un objeto 302 se está detectando actualmente como que sobrevuela por encima del texto de menú de “Deportes”. También se pueden llevar a cabo otras funciones relacionadas con la representación, tales como representar un contenido adicional 1100; en este caso, un menú desplegable en sentido descendente de subcategorías para la categoría de “Deportes”.
La figura 11 es ilustrativa de cómo el módulo de interfaz de sobrevuelo 118 puede proporcionar un soporte completo de ratón / puntero para un contenido accionable que es recibido por el módulo de explorador 110. Es decir, los exploradores web y otras aplicaciones de representación de contenido se pueden poner en práctica de una forma que proporcione una “paridad de sobremesa” en un dispositivo capaz de sobrevuelo, tal como el dispositivo informático 102. Por ejemplo, un teléfono inteligente con un factor de forma pequeño puede proporcionar un soporte de ratón pleno para habilitar eventos de sobrevuelo (por ejemplo, eventos de puntero de W3C) con un contenido representado cuando un objeto, tal como el objeto 302, realiza un sobrevuelo delante de una pantalla 132. En el ejemplo ilustrativo de la figura 11, un objeto 302 se puede sobrevolar por encima del texto de menú de “Deportes”, y el texto de menú se puede modificar (por ejemplo, ponerse en negrita, resaltarse, etc.) y /o un contenido adicional (por ejemplo, un menú desplegable en sentido descendente de subcategorías) se puede representar de una forma similar a cómo reacciona el mismo a un cursor que sobrevuela por encima del contenido accionable en un ordenador de sobremesa. De esta forma, todos los eventos de puntero (por ejemplo, pasar el ratón por encima, etc.) se pueden vincular con eventos de sobrevuelo para posibilitar tal paridad de sobremesa en otros dispositivos informáticos 102. Tal vinculación es posible en dispositivos capaces de sobrevuelo debido a la capacidad de distinguir entre interacciones de sobrevuelo e interacciones basadas en toque a partir de un objeto 302.
Para fines de ilustración adicional, la tabla 1 muestra un ejemplo de la lógica de “contacto” primario que puede ser utilizada por el módulo de interfaz de sobrevuelo 118 para determinar cómo responder a un objeto 302 que interacciona con la pantalla 132 por medio de una combinación de una entrada basada en sobrevuelo y una entrada basada en toque cuando la ventana ampliada 142 no se está representando actualmente.
T l 1:
Figure imgf000014_0001
Continuación
Figure imgf000015_0001
Adicionalmente, los siguientes son escenarios de ordenación de eventos a modo de ejemplo que pueden ir seguidos del módulo de interfaz de sobrevuelo 118 en respuesta a diversas interacciones entre el objeto 302 y la pantalla 132:
Tocar hacia abajo: Tocar hacia abajo sobre un elemento que se representa en la superficie delantera 300 de la pantalla 132 puede producir la siguiente secuencia de eventos en el nodo sometido a una prueba de posicionamiento del mensaje de WM_PunteroAbajo: movimiento de ratón, pasar el puntero por encima, pasar el ratón por encima, intro ratón, puntero abajo, ratón abajo.
Elevar: Elevar con respecto a un elemento que se representa en la superficie delantera 300 de la pantalla 132 puede producir la siguiente secuencia de eventos en el nodo sometido a una prueba de posicionamiento del mensaje de WM_PunteroArriba: puntero arriba, ratón arriba, puntero fuera, ratón fuera, salir ratón.
Mover el contacto (el objeto 302 permanece en contacto): Mover el contacto sobre la pantalla mientras se encuentra en contacto (después del toque hacia abajo) puede producir la siguiente secuencia:
[puntero fuera, ratón fuera], {salir ratón},
movimiento de puntero, movimiento de ratón,
[pasar el puntero por encima, pasar el ratón por encima], (intro ratón),
En el presente caso, los corchetes [ ] indican unos eventos que se desencadenan cuando el resultado nuevo de la prueba de posicionamiento no es igual al resultado previo de la prueba de posicionamiento. Estos eventos son desencadenados en el resultado previo de la prueba de posicionamiento. Las llaves { } indican unos eventos que se desencadenan cuando la actualización realiza una transición dentro / fuera de los límites de un elemento. Mover el contacto - SOBREVUELO: Producir actualizaciones de coordenadas sin encontrarse en contacto con la pantalla (objetos / dispositivos de entrada de campo cercano). La secuencia de eventos es tal como sigue:
[puntero fuera, ratón fuera], {salir ratón},
sobrevuelo de puntero, movimiento de ratón,
[pasar el puntero por encima, pasar el ratón por encima], (intro ratón),
Mover el contacto dando lugar a que comience la manipulación: Cuando una manipulación directa se hace cargo del contacto primario para fines de manipulación (que se señaliza por medio de un mensaje de WM_CAMBIOCAPTACIÓNPUNTERO), entonces se pueden enviar los siguientes eventos: puntero fuera, ratón fuera, salir ratón, cancelación puntero, ratón arriba. En el presente caso, el evento de “ratón arriba” selecciona como objetivo el elemento de HTML (una ventana).
Procesos a modo de ejemplo
Las figuras 12, 13, y 14 ilustran unos procesos como una colección de bloques en una gráfica de flujo lógico, que representa una secuencia de operaciones que se puede poner en práctica en soporte físico, soporte lógico, o una combinación de los mismos. En el contexto del soporte lógico, los bloques representan unas instrucciones ejecutables por ordenador que, cuando son ejecutadas por uno o más procesadores, llevan a cabo las operaciones enumeradas. En general, las instrucciones ejecutables por ordenador incluyen rutinas, programas, objetos, componentes, estructuras de datos, y similares, que llevan a cabo funciones particulares o ponen en práctica tipos de datos abstractos particulares. No se tiene por objeto que el orden en el que se describen las operaciones se interprete como una limitación, y se puede combinar cualquier número de los bloques descritos en cualquier orden y / o en paralelo para poner en práctica los procesos.
La figura 12 es un diagrama de flujo de un proceso ilustrativo 1200 para detectar un objeto 302 que está realizando un sobrevuelo y, en respuesta, representar una ventana ampliada 142 con un contenido accionable en la misma. Para fines de análisis, el proceso 1200 se describe con referencia al entorno de sistema informático 100 de la figura 1 y, en particular, el módulo de explorador 110, el módulo de interfaz de sobrevuelo 118, el sensor o sensores de proximidad 128, y la pantalla o pantallas 132.
En 1202, el módulo de explorador 110 puede representar el contenido 138 en la pantalla 132 del dispositivo informático 102. Tal como se ha descrito en lo que antecede, al menos parte del contenido 138 puede ser accionable mediante la respuesta a una entrada de usuario. Por ejemplo, el contenido 138 que se representa en la pantalla 132 en 1202 puede comprender un contenido de página web que incluye, sin limitación, parte o la totalidad del texto interactivo (por ejemplo, un texto seleccionable), vínculos (por ejemplo, hipervínculos), botones programables (por ejemplo, botones de reproducción de vídeo / audio), y similares, que, en respuesta a una entrada de usuario, puede dar lugar a que se lleve a cabo una función de navegación (por ejemplo, al hacer que el explorador navegue a una página web diferente tras la selección de un vínculo), una función relacionada con la representación (por ejemplo, modificar la representación del contenido 138, representar un contenido adicional, etc.), y así sucesivamente.
En 1204, el sensor o sensores de proximidad 128 pueden detectar un objeto 302 que está realizando un sobrevuelo delante de la pantalla 132. Es decir, el objeto 302 se puede encontrar delante de, pero no en contacto con, una superficie delantera 300 de la pantalla 132 a una distancia con respecto a la superficie delantera 300 de tal modo que el sensor o sensores de proximidad 128 pueden detectar el objeto 302. En un ejemplo ilustrativo, el sensor o sensores de proximidad 128 comprenden una matriz de sensores capacitivos que se incrusta dentro de o por detrás de la pantalla 132, y la intensidad de señal de la matriz de sensores capacitivos puede ser suficiente para detectar los objetos 302 en las proximidades (por ejemplo, dentro del intervalo de aproximadamente 0,001 pulgadas (0,0254 mm) a aproximadamente 8 pulgadas (20,32 cm)) de la superficie delantera 300.
En 1206, el módulo de interfaz de sobrevuelo 118 puede determinar una ubicación 304 en la superficie delantera 300 de la pantalla 132 que se corresponde con la posición del objeto en relación con la superficie delantera 300 de la pantalla 132. En algunas formas de realización, el módulo de interfaz de sobrevuelo 118 puede recibir la ubicación 304 a partir de unos datos que se obtienen a partir del sensor o sensores de proximidad 128 (por ejemplo, una posición de un electrodo particular del sensor o sensores de proximidad 128). En otras formas de realización, el módulo de interfaz de sobrevuelo 118 puede acceder a los datos de programa 112 para obtener una ubicación o ubicaciones de píxel que se corresponden con una posición del objeto 132 que se detecta por medio del sensor o sensores de proximidad 128. En cualquier caso, la ubicación 304 puede estar separada una distancia lo más corta con respecto al objeto 302 en relación con las distancias desde el objeto 302 hasta otras ubicaciones en la superficie delantera 300 de la pantalla 132. De esta forma, la posición del objeto se puede resolver como la ubicación 304 basándose en una dirección desde el objeto 302 hasta la superficie delantera 300 de la pantalla 132 que es perpendicular con respecto a la superficie delantera 300.
En algunas formas de realización, el módulo de interfaz de sobrevuelo 118 puede determinar si la ubicación 304 se encuentra dentro de un área de control 800 de un explorador con el fin de responder de forma selectiva a los objetos 302 que están realizando un sobrevuelo dentro del área de control 800, pero no responder a los objetos 302 fuera del área de control 800. Por ejemplo, se puede determinar que un objeto 302 que sobrevuela por encima de una barra de navegación de un explorador web que se representa en la pantalla 132 está situado fuera del área de control 800. En algunas formas de realización, el módulo de interfaz de sobrevuelo 118 puede determinar adicionalmente si un gesto de entrada se recibe a partir del objeto 302 cuando se encuentra en un estado de sobrevuelo. Por ejemplo, si el objeto 302 permanece dentro de un área 306 que rodea la ubicación 304 durante un periodo de tiempo previamente determinado (por ejemplo, 50 milisegundos), se puede determinar que un gesto de entrada ha sido proporcionado por el objeto 302.
En 1208, el módulo de interfaz de sobrevuelo 118 puede determinar una porción 306 del contenido 138 que se representa en la ubicación 304 o dentro de una distancia umbral, h, con respecto a la ubicación 304. La porción 306 se va a representar dentro de una ventana ampliada 142 para facilitar la legibilidad de la porción 306 para un usuario del dispositivo informático 102. En ese sentido, la porción 306 se ha de corresponder con la ubicación 304 en que esta sea una porción del contenido 138 que se encuentra en una proximidad relativamente cercana a la ubicación 304. En este sentido, la porción 306 del contenido 308 que se determina / selecciona en 1208 se puede encontrar directamente debajo del objeto 304 (es decir, en la ubicación 304), o al menos dentro de una distancia umbral, h, con respecto a la ubicación 304 (por ejemplo, directamente por encima del objeto 302, tal como se muestra en la figura 3C).
En 1210, el módulo de interfaz de sobrevuelo 118 puede representar una ventana ampliada 142 en una región de la pantalla que contiene la porción 306 del contenido. La porción 306 que se representa dentro de la ventana ampliada 142 se puede representar en una forma accionable (es decir, la porción 306 dentro de la ventana ampliada 142 puede ser accionable mediante la respuesta a una entrada de usuario cuando la entrada de usuario se proporciona dentro de la ventana ampliada 142). El proceso 1200 facilita una exploración conveniente del contenido 138 que se representa en la pantalla 132, en especial en circunstancias en las que el contenido 138 es rico y denso, lo que hace que la legibilidad y la susceptibilidad de selección sean un problema en algunas pantallas 132.
Para fines de ilustración adicional, la tabla 2 muestra la lógica de interacción de sobrevuelo que puede ser utilizada por el módulo de interfaz de sobrevuelo 118 para determinar cómo responder a un objeto 302 que interacciona con la pantalla 132 por medio de una combinación de una entrada basada en sobrevuelo y una entrada basada en toque.
Tabla 2:
Figure imgf000017_0001
La figura 13 es un diagrama de flujo de un proceso ilustrativo 1300 para detectar el movimiento de un objeto 302 que está realizando un sobrevuelo y, en respuesta, mover una ventana ampliada 142 en una pantalla 132 con el objeto 302 que está realizando un sobrevuelo. Para fines de análisis, el proceso 1300 se describe con referencia al entorno de sistema informático 100 de la figura 1 y, en particular, el módulo de interfaz de sobrevuelo 118, el sensor o sensores de proximidad 128, y la pantalla o pantallas 132. El proceso 1300 puede continuar a partir de la etapa 1210 del proceso 1200 de la figura 12.
En 1302, el módulo de interfaz de sobrevuelo 118 puede determinar que el objeto 302 se ha movido por debajo de una velocidad previamente determinada a través de la superficie delantera 300 de la pantalla 132 al tiempo que mantiene una relación de separación con la superficie delantera 300 de la pantalla 132. La velocidad previamente determinada se puede establecer de tal modo que un objeto 302 que se mueve demasiado rápido (por ejemplo, a o por encima de la velocidad previamente determinada) a través de la superficie delantera 300 de una forma con sobrevuelo puede dar lugar a que una ventana ampliada 142 previamente representada desaparezca de la pantalla 132. Con el fin de determinar que el objeto 302 se está moviendo a través de la superficie delantera 300 de la pantalla 132, el módulo de interfaz de sobrevuelo 118 puede aprovechar/acceder a datos a partir del sensor o sensores de proximidad 128 que indican unas ubicaciones detectadas que se corresponden con el objeto 302, y puede hacer referencia adicionalmente a un reloj o a un temporizador similar para determinar una velocidad del movimiento del objeto a través de la superficie delantera 300.
En 1304, el módulo de interfaz de sobrevuelo 118 puede representar la ventana ampliada 142 (que se representó previamente en una primera región de la pantalla 132) en otra región de la pantalla 132 en respuesta al movimiento detectado del objeto en 1302. Esto se puede llevar a cabo a unos intervalos de tiempo que hacen que a un usuario le parezca, a simple vista, como si la ventana ampliada 142 se estuviera moviendo con el movimiento del objeto 302. Cada ubicación nueva del objeto 302 puede dar lugar al movimiento de la ventana ampliada 142 a una región nueva de la pantalla 132 en 1304. El proceso 1300 puede permitir que un usuario arrastre / mueva un objeto 302 en una relación de separación por encima de la superficie delantera 300 de la pantalla 132 para explorar porciones diferentes del contenido representado 138.
La figura 14 es un diagrama de flujo de un proceso ilustrativo 1400 para cambiar un nivel de ampliación del contenido dentro de una ventana ampliada 142 en respuesta al movimiento de un objeto 302 en una dirección perpendicular con respecto a una superficie delantera 300 de una pantalla 132. Para fines de análisis, el proceso 1400 se describe con referencia al entorno de sistema informático 100 de la figura 1 y, en particular, el módulo de interfaz de sobrevuelo 118, el sensor o sensores de proximidad 128, y la pantalla o pantallas 132.
En 1402, el sensor o sensores de proximidad 128 pueden detectar un objeto 302 que está realizando un sobrevuelo delante de la pantalla 132 que está representando el contenido 138. Es decir, el objeto 302 se puede encontrar delante de, pero no en contacto con, una superficie delantera 300 de la pantalla 132 a una distancia con respecto a la superficie delantera 300 de tal modo que el sensor o sensores de proximidad 128 pueden detectar el objeto 302. En 1404, el módulo de interfaz de sobrevuelo 118 puede representar una ventana ampliada 142 en una región de la pantalla que contiene una porción 306 del contenido 138 en una forma accionable que se corresponde con la posición del objeto 302 que se detecta en 1402.
En 1406, el módulo de interfaz de sobrevuelo 118 puede determinar (basándose en los datos que se reciben a partir del sensor o sensores de proximidad 128) que el objeto 302 se ha movido más lejos con respecto a la superficie delantera 300 de la pantalla 132 en una dirección perpendicular con respecto a la superficie delantera 300 (es decir, la dirección z que se muestra en la figura 3B).
En 1408, el módulo de interfaz de sobrevuelo 118 puede disminuir un nivel de ampliación de la porción 306 del contenido 138 dentro de la ventana ampliada 142 de tal modo que la ventana ampliada 142 se aleja para revelar más del contenido 138 dentro de la ventana ampliada 142 cuando el objeto 302 se mueve más lejos con respecto a la superficie delantera 300.
En 1410 el módulo de interfaz de sobrevuelo 118 puede determinar (basándose en los datos que se reciben a partir del sensor o sensores de proximidad 128) que el objeto 302 se ha movido más cerca de la superficie delantera 300 de la pantalla 132 en una dirección perpendicular con respecto a la superficie delantera 300 (es decir, la dirección z que se muestra en la figura 3B).
En 1412, el módulo de interfaz de sobrevuelo 118 puede aumentar el nivel de ampliación de la porción 306 del contenido 138 dentro de la ventana ampliada 142 de tal modo que la ventana ampliada 142 se acerca para revelar menos del contenido 138 dentro de la ventana ampliada 142 cuando el objeto 302 se mueve más cerca de la superficie delantera 300.
El entorno y los elementos individuales que se describen en el presente documento pueden incluir, por supuesto muchos otros componentes lógicos, programáticos y físicos, aquellos de los cuales que se muestran en las figuras adjuntas son meramente ejemplos que están relacionados con el análisis en el presente documento.
Se pueden usar otras arquitecturas para poner en práctica la funcionalidad descrita, y se tiene por objeto que se encuentren dentro del alcance de la presente divulgación. Además, a pesar de que en lo que antecede se han definido unas distribuciones específicas de responsabilidades para fines de análisis, las diversas funciones y responsabilidades se podrían distribuir y dividir de formas diferentes, dependiendo de las circunstancias.

Claims (15)

REIVINDICACIONES
1. Un procedimiento que comprende:
representar (1202) un contenido en una pantalla;
detectar (1204) un objeto delante de, pero no en contacto con, una superficie delantera de la pantalla;
determinar (1206), al menos en parte en respuesta a la detección del objeto, una ubicación en la superficie delantera de la pantalla que está separada una distancia lo más corta con respecto al objeto en relación con las distancias desde el objeto hasta otras ubicaciones en la superficie delantera de la pantalla;
determinar (1208) una porción del contenido que se representa en la ubicación o dentro de una distancia umbral con respecto a la ubicación;
representar (1210), en una región de la pantalla, una ventana ampliada de la porción del contenido; y
mover (1304) la ventana ampliada con el objeto a través de la superficie delantera de la pantalla a otra región de la pantalla, en el que la ventana ampliada, después del movimiento, contiene otra porción del contenido que se representa en, o dentro de una distancia umbral con respecto a, una ubicación nueva en la superficie delantera de la pantalla que se corresponde con una posición del objeto después de que el objeto se haya movido a través de la superficie delantera de la pantalla,
caracterizado porque
dicho movimiento (1304) de la ventana ampliada se lleva a cabo en respuesta a determinar (1302) que el objeto se ha movido por debajo de una velocidad previamente determinada a través de la superficie delantera de la pantalla al tiempo que mantiene la relación de separación con la superficie delantera de la pantalla.
2. El procedimiento de la reivindicación 1, en el que la porción del contenido incluye uno o más elementos interactivos que comprenden al menos uno de un vínculo incrustado, un botón de reproducción de vídeo o un botón de reproducción de audio, y en el que elementos individuales de los uno o más elementos interactivos están configurados para responder a una entrada de usuario cuando la entrada de usuario se proporciona dentro de la ventana ampliada.
3. El procedimiento de la reivindicación 2, en el que la entrada de usuario comprende que el objeto entre en contacto con la superficie delantera de la pantalla sobre los elementos individuales de los uno o más elementos interactivos dentro de la ventana ampliada.
4. El procedimiento de la reivindicación 1, en el que la ventana ampliada comprende una ventana de explorador que representa la porción del contenido.
5. El procedimiento de la reivindicación 1, en el que la detección del objeto delante de, pero no en contacto con, la superficie delantera de la pantalla comprende determinar un gesto de entrada a partir del objeto.
6. El procedimiento de la reivindicación 5, en el que el gesto de entrada se determina al:
detectar que el objeto se encuentra en una primera posición que se encuentra dentro de una distancia umbral con respecto a la superficie delantera que se mide en una dirección perpendicular con respecto a la superficie delantera; y
determinar que el objeto se encuentra dentro de un área previamente determinada de la primera posición durante un periodo de tiempo previamente determinado, siendo el área previamente determinada paralela con respecto a la superficie delantera de la pantalla.
7. El procedimiento de la reivindicación 1, en el que la superficie delantera de la pantalla comprende una porción de arriba, una porción de debajo, un lado izquierdo y un lado derecho, apuntando una dirección vertical positiva hacia la porción de arriba, y en el que la región incluye un límite de debajo que se encuentra a una distancia previamente determinada con respecto a la ubicación en la dirección vertical positiva.
8. El procedimiento de la reivindicación 1, que comprende adicionalmente:
determinar (1406) que el objeto se ha movido más lejos con respecto a la superficie delantera de la pantalla en una dirección perpendicular con respecto a la superficie delantera; y
en respuesta a la determinación de que el objeto se ha movido más lejos con respecto a la superficie delantera, disminuir (1408) un nivel de ampliación de la porción del contenido dentro de la ventana ampliada.
9. El procedimiento de la reivindicación 1, en el que la región tiene una anchura que no es mayor que aproximadamente un 75 % de una anchura de la pantalla.
10. El procedimiento de la reivindicación 1, que comprende adicionalmente dar lugar a que la vista ampliada desaparezca de la pantalla en respuesta a al menos uno de: (i) determinar que el objeto se mueve fuera de un área de control de la pantalla, (ii) determinar que el objeto se mueve a través de la superficie delantera de la pantalla por encima de una velocidad previamente determinada, (iii) determinar que el objeto entra en contacto con la superficie delantera de la pantalla fuera de la región, o (iv) determinar que el objeto se ha movido lejos de la superficie delantera de la pantalla en una dirección perpendicular con respecto a la superficie delantera de la pantalla más allá de una distancia umbral con respecto a la superficie delantera de la pantalla que se mide a lo largo de la dirección.
11. El procedimiento de la reivindicación 1, que comprende adicionalmente:
determinar que la ubicación se encuentra dentro de una distancia umbral con respecto a un límite de un área de control de la pantalla;
determinar que el objeto se ha movido a través de la superficie delantera de la pantalla al tiempo que mantiene una relación de separación con la superficie delantera de la pantalla a una ubicación nueva que se encuentra más cerca del límite del área de control en relación con una distancia con respecto a la ubicación hasta el límite del área de control; y
en respuesta a la determinación de que el objeto se ha movido a la ubicación nueva, realizar un movimiento panorámico de la porción del contenido dentro de la ventana ampliada para revelar otra porción del contenido que se representa más cerca del límite del área de control en relación con una distancia desde la porción del contenido hasta el límite del área de control.
12. El procedimiento de la reivindicación 1, que comprende adicionalmente:
mientras se representa la ventana ampliada, detectar un primer contacto basado en toque a partir del objeto en la superficie delantera de la pantalla en la ubicación y un segundo contacto basado en toque a partir del objeto en la superficie delantera de la pantalla en la ubicación, detectándose el segundo contacto dentro de un periodo de tiempo umbral desde la detección del primer contacto; y
en respuesta a la detección del primer contacto y el segundo contacto, representar, en la pantalla, una vista acercada del contenido en torno a la ubicación.
13. El procedimiento de la reivindicación 1, que comprende adicionalmente:
mientras se representa la ventana ampliada, detectar un contacto basado en toque a partir del objeto en la superficie delantera de la pantalla en la ubicación; y
en respuesta a la detección del contacto basado en toque, retirar la ventana ampliada.
14. Un sistema que comprende:
una pantalla (132) que está configurado para representar un contenido;
uno o más sensores (128) que están configurados para detectar un objeto delante de, pero no en contacto con, una superficie delantera de la pantalla;
uno o más procesadores (104); y
una memoria (106, 122) que almacena unas instrucciones ejecutables por ordenador que, cuando son ejecutadas por los uno o más procesadores, dan lugar a que los uno o más procesadores lleven a cabo unos actos que comprenden:
determinar (1204, 1206), al menos en parte en respuesta a detectar el objeto delante de, pero no en contacto con, la superficie delantera de la pantalla, una ubicación en la superficie delantera de la pantalla que está separada una distancia lo más corta con respecto al objeto en relación con las distancias desde el objeto hasta otras ubicaciones en la superficie delantera de la pantalla;
determinar (1208) una porción del contenido que se representa en la ubicación o dentro de una distancia umbral con respecto a la ubicación;
dar lugar a (1210) una presentación, en una región de la pantalla, de una ventana ampliada de la porción del contenido; y
mover (1304) la ventana ampliada con el objeto a través de la superficie delantera de la pantalla a otra región de la pantalla, en el que la ventana ampliada, después del movimiento, contiene otra porción del contenido que se representa en, o dentro de una distancia umbral con respecto a, una ubicación nueva en la superficie delantera de la pantalla que se corresponde con una posición del objeto después de que el objeto se haya movido a través de la superficie delantera de la pantalla,
caracterizado porque
dicho movimiento (1304) de la ventana ampliada se lleva a cabo en respuesta a determinar (1302) que el objeto se ha movido por debajo de una velocidad previamente determinada a través de la superficie delantera de la pantalla al tiempo que mantiene la relación de separación con la superficie delantera de la pantalla.
15. El sistema de la reivindicación 14, en el que los uno o más sensores están configurados adicionalmente para determinar una distancia entre la superficie delantera de la pantalla y el objeto en una dirección perpendicular con respecto a la superficie delantera de la pantalla, comprendiendo adicionalmente los actos:
determinar (1406) que el objeto se ha movido más lejos con respecto a la superficie delantera en la dirección; y en respuesta a la determinación de que el objeto se ha movido más lejos con respecto a la superficie delantera, disminuir (1408) un nivel de ampliación de la porción del contenido dentro de la ventana ampliada.
ES15757043T 2014-08-12 2015-08-10 Interacción basada en superposición con contenido representado Active ES2702718T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/458,136 US9594489B2 (en) 2014-08-12 2014-08-12 Hover-based interaction with rendered content
PCT/US2015/044406 WO2016025356A1 (en) 2014-08-12 2015-08-10 Hover-based interaction with rendered content

Publications (1)

Publication Number Publication Date
ES2702718T3 true ES2702718T3 (es) 2019-03-05

Family

ID=54015184

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15757043T Active ES2702718T3 (es) 2014-08-12 2015-08-10 Interacción basada en superposición con contenido representado

Country Status (6)

Country Link
US (2) US9594489B2 (es)
EP (1) EP3180687B1 (es)
KR (1) KR102384130B1 (es)
CN (1) CN106575203B (es)
ES (1) ES2702718T3 (es)
WO (1) WO2016025356A1 (es)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063563B1 (en) * 2012-09-25 2015-06-23 Amazon Technologies, Inc. Gesture actions for interface elements
KR102135092B1 (ko) * 2013-06-03 2020-07-17 엘지전자 주식회사 영상표시장치의 동작 방법
US10073578B2 (en) 2013-08-13 2018-09-11 Samsung Electronics Company, Ltd Electromagnetic interference signal detection
US10042504B2 (en) 2013-08-13 2018-08-07 Samsung Electronics Company, Ltd. Interaction sensing
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
EP3040839B1 (en) * 2014-12-31 2020-08-12 Dassault Systèmes Selection of a graphical element
US10963143B2 (en) * 2015-09-09 2021-03-30 Huawei Technologies Co., Ltd. Data editing method and apparatus
CN106598972B (zh) * 2015-10-14 2020-05-08 阿里巴巴集团控股有限公司 一种信息显示方法、装置及智能终端
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10732719B2 (en) * 2016-03-03 2020-08-04 Lenovo (Singapore) Pte. Ltd. Performing actions responsive to hovering over an input surface
KR102526860B1 (ko) * 2016-03-18 2023-05-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR102160255B1 (ko) 2016-04-07 2020-09-25 삼성전자주식회사 객체-장치간 상호동작을 위한 상호동작 모드들
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
CN108139799B (zh) * 2016-04-22 2022-01-14 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的系统和方法
WO2018000382A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 一种查看应用程序的图形用户界面、方法及终端
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US11435888B1 (en) * 2016-09-21 2022-09-06 Apple Inc. System with position-sensitive electronic device interface
WO2018132596A1 (en) * 2017-01-11 2018-07-19 Bgc Partners, L.P. Graphical user interface for order entry with hovering functionality
US20180267691A1 (en) * 2017-03-20 2018-09-20 Tempo Music Design Oy Method and system for generating audio associated with a user interface
CN108153464A (zh) * 2018-01-26 2018-06-12 北京硬壳科技有限公司 一种控制方法和装置
US11354030B2 (en) * 2018-02-22 2022-06-07 Kyocera Corporation Electronic device, control method, and program
CN110312000B (zh) * 2018-03-20 2021-06-29 Oppo广东移动通信有限公司 滑出结构的控制方法、检测组件及电子装置
US10942633B2 (en) * 2018-12-20 2021-03-09 Microsoft Technology Licensing, Llc Interactive viewing and editing system
US20200257442A1 (en) * 2019-02-12 2020-08-13 Volvo Car Corporation Display and input mirroring on heads-up display
CN111580803B (zh) * 2019-02-15 2022-09-06 广汽埃安新能源汽车有限公司 生成带悬浮提示的流程图的方法及系统、电子设备、介质
JP7335487B2 (ja) * 2019-04-02 2023-08-30 船井電機株式会社 入力装置
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
CN113032605B (zh) * 2019-12-25 2023-08-18 中移(成都)信息通信科技有限公司 一种信息展示方法、装置、设备及计算机存储介质
US11635883B2 (en) * 2020-02-18 2023-04-25 Micah Development LLC Indication of content linked to text
JP2021176049A (ja) * 2020-05-01 2021-11-04 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び情報処理方法
US11933625B2 (en) 2020-09-24 2024-03-19 International Business Machines Corporation Managing navigation interface display
KR20220122328A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN115967831B (zh) * 2022-10-28 2023-08-22 北京优酷科技有限公司 视频显示方法、装置、电子设备及存储介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7256770B2 (en) 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US6501464B1 (en) 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US20030020733A1 (en) 2001-07-24 2003-01-30 Yin Memphis Zhihong Computer display having selective area magnification
US20030025676A1 (en) 2001-08-02 2003-02-06 Koninklijke Philips Electronics N.V. Sensor-based menu for a touch screen panel
US6907576B2 (en) * 2002-03-04 2005-06-14 Microsoft Corporation Legibility of selected content
US7314165B2 (en) 2004-07-01 2008-01-01 American Express Travel Related Services Company, Inc. Method and system for smellprint recognition biometrics on a smartcard
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
JP4602166B2 (ja) 2005-06-07 2010-12-22 富士通株式会社 手書き情報入力装置。
US7636794B2 (en) 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US7778874B1 (en) * 2005-11-14 2010-08-17 A9.Com, Inc. Automated generation of suggested online advertising campaign parameters
US20070268317A1 (en) * 2006-05-18 2007-11-22 Dan Banay User interface system and method for selectively displaying a portion of a display screen
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8650505B2 (en) 2007-02-28 2014-02-11 Rpx Corporation Multi-state unified pie user interface
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8363019B2 (en) 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US9658765B2 (en) 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US20100107067A1 (en) 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
EP2425322A4 (en) 2009-04-30 2013-11-13 Synaptics Inc CONTROL CIRCUIT ELEMENTS AND METHOD
EP2252055B1 (en) 2009-05-13 2013-09-18 Sony Europe Limited A system for retrieval of executable applications for broadcast television
US8466934B2 (en) 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
US8347221B2 (en) 2009-10-07 2013-01-01 Research In Motion Limited Touch-sensitive display and method of control
US8358281B2 (en) 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US20110261030A1 (en) * 2010-04-26 2011-10-27 Bullock Roddy Mckee Enhanced Ebook and Enhanced Ebook Reader
US8982060B2 (en) 2010-08-27 2015-03-17 Apple Inc. Touch and hover sensor compensation
US8780060B2 (en) 2010-11-02 2014-07-15 Apple Inc. Methods and systems for providing haptic control
US20120120002A1 (en) 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9575561B2 (en) 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
JP2012168932A (ja) 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
JP5774327B2 (ja) 2011-02-16 2015-09-09 株式会社テイエルブイ 気液分離器
US8314790B1 (en) 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US9285950B2 (en) 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
KR101748668B1 (ko) 2011-04-14 2017-06-19 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
US9477348B2 (en) 2011-04-15 2016-10-25 Hewlett-Packard Development Company, L.P. Focus-based touch and hover detection
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
JP2012248066A (ja) 2011-05-30 2012-12-13 Canon Inc 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
JP5836105B2 (ja) * 2011-12-20 2015-12-24 シャープ株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
US20130194314A1 (en) 2012-01-26 2013-08-01 Nokia Corporation Desktop extension
WO2013113360A1 (en) 2012-01-30 2013-08-08 Telefonaktiebolaget L M Ericsson (Publ) An apparatus having a touch screen display
CN102719990B (zh) 2012-06-18 2014-07-30 三明学院 智能经编多速电子送经系统
US8907927B2 (en) 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices
JP5798103B2 (ja) * 2012-11-05 2015-10-21 株式会社Ｎｔｔドコモ 端末装置、画面表示方法、プログラム
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
CN103858085A (zh) * 2013-10-31 2014-06-11 华为技术有限公司 悬浮或隔空操作的处理方法及装置
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content

Also Published As

Publication number Publication date
CN106575203A (zh) 2017-04-19
KR102384130B1 (ko) 2022-04-06
US9594489B2 (en) 2017-03-14
WO2016025356A1 (en) 2016-02-18
EP3180687A1 (en) 2017-06-21
US10444961B2 (en) 2019-10-15
US20160048304A1 (en) 2016-02-18
KR20170041219A (ko) 2017-04-14
CN106575203B (zh) 2020-07-31
US20170160914A1 (en) 2017-06-08
EP3180687B1 (en) 2018-09-26

Similar Documents

Publication Publication Date Title
ES2702718T3 (es) Interacción basada en superposición con contenido representado
US10346016B1 (en) Nested zoom in windows on a touch sensitive device
US20180348988A1 (en) Approaches for three-dimensional object display
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
US9378581B2 (en) Approaches for highlighting active interface elements
US9591295B2 (en) Approaches for simulating three-dimensional views
US9256917B1 (en) Nested zoom in windows on a touch sensitive device
CN109643210B (zh) 使用悬停的设备操纵
US20150082180A1 (en) Approaches for three-dimensional object display used in content navigation
EP3623924A1 (en) Approaches for three-dimensional object display
CN105493023A (zh) 对表面上的内容的操纵
JP6404120B2 (ja) モバイル・デバイスにおける完全な３ｄ対話
US10878175B2 (en) Portlet display on portable computing devices
US20150082145A1 (en) Approaches for three-dimensional object display
KR20160094442A (ko) 플로팅 터치에 기초한 클릭 객체 확대 방법 및 장치
US9477373B1 (en) Simultaneous zoom in windows on a touch sensitive device
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
CN105988664B (zh) 用于设置光标位置的设备和方法
ES2736800T3 (es) Dispositivo de visualización, procedimiento de visualización, medio de registro legible por ordenador no transitorio en el que se registra un programa y programa de secuencia de comandos
CN106201301B (zh) 移动终端及其控制方法
KR20180080668A (ko) 증강현실 마커를 포함하는 한자 교재를 이용한 증강현실 한자교육방법 및 그 기록매체
US10402071B1 (en) Simultaneous zoom in windows on a touch sensitive device
KR101363280B1 (ko) 이북 단말에서 넘버단위 기반의 연속적 터치 조작을 통한 페이지 직접 액세스 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체