ES2757587T3 - Aparato y método de interacción de interfaz - Google Patents

Aparato y método de interacción de interfaz Download PDF

Info

Publication number
ES2757587T3
ES2757587T3 ES17151336T ES17151336T ES2757587T3 ES 2757587 T3 ES2757587 T3 ES 2757587T3 ES 17151336 T ES17151336 T ES 17151336T ES 17151336 T ES17151336 T ES 17151336T ES 2757587 T3 ES2757587 T3 ES 2757587T3
Authority
ES
Spain
Prior art keywords
interface
user
head
rotation
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17151336T
Other languages
English (en)
Inventor
Jianming Dong
Weixi Zheng
Zhe Sun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Application granted granted Critical
Publication of ES2757587T3 publication Critical patent/ES2757587T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un aparato de interacción de interfaz, en donde el aparato comprende: una unidad (302) de determinación de instrucción, una unidad (303) de ejecución, y una unidad (301) de obtención de parámetros de detección, en donde la unidad (301) de obtención de parámetros de detección está configurada para obtener parámetros de rotación de la cabeza de un usuario, en donde los parámetros de rotación comprenden una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación; la unidad (302) de determinación de instrucción está configurada para determinar una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos por la unidad (301) de obtención de parámetros de detección y una regla de determinación de instrucción preestablecida; y la unidad (303) de ejecución está configurada para ejecutar la instrucción de interacción determinada por la unidad (302) de determinación de instrucción, para implementar el control de interacción de las interfaces mostradas por un componente (120) de visualización; en donde las interfaces mostradas comprenden al menos dos interfaces, y las al menos dos interfaces pertenecen a diferentes grupos de interfaces, en donde cada grupo de interfaces comprende al menos una interfaz, y solo se muestra una interfaz en cada grupo de interfaces a la vez; en donde las al menos dos interfaces están dispuestas en una secuencia de izquierda a derecha, y una primera interfaz que mira hacia una línea de visión frontal de un usuario está en un estado activo; y caracterizado por que la unidad (302) de determinación de instrucción está configurada específicamente para determinar si r>t es cierto, en donde r es un ángulo de rotación de la cabeza del usuario en la dirección vertical, y t es un ángulo de rotación de la cabeza del usuario en la dirección horizontal; y si r>t es cierto, la unidad (302) de determinación de instrucción está configurada para generar un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical; o si r>t es falso, la unidad (302) de determinación de instrucción está configurada para generar un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal.

Description

DESCRIPCIÓN
Aparato y método de interacción de interfaz
Campo técnico
La presente invención se refiere al campo de las tecnologías de realidad aumentada, y en particular, a un aparato y método de interacción de interfaz.
Antecedentes
Con el desarrollo continuo de tecnologías electrónicas y de visualización, las personas imponen un requisito más alto en la comodidad del acceso a la información. Una tecnología de realidad aumentada es una de las tecnologías de vanguardia que puede cumplir con este requisito.
En una tecnología de realidad aumentada existente, un objeto en una imagen en tiempo real recopilada por un dispositivo de recopilación de imágenes puede ser analizado automáticamente, la información relacionada con el objeto identificado es consultada, tal como un texto, una imagen, un video, y un sonido, y la información consultada está integrada en la imagen en tiempo real para su visualización. Las gafas inteligentes son utilizadas como un ejemplo. Las gafas inteligentes incluyen una o más cámaras que tienen la misma vista de disparo que un usuario. Cuando las cámaras capturan un objeto, tal como un edificio alto, las gafas inteligentes identifican el edificio alto, consultan información acerca del edificio de acuerdo con un resultado de identificación, tal como un nombre, una altura, y una fecha de construcción, y muestran la información consultada utilizando lentes de las gafas inteligentes.
En un proceso de implementación de la presente invención, la técnica anterior tiene las siguientes desventajas: En la tecnología de realidad aumentada existente, una manera de mostrar información acerca de un objeto en una imagen en tiempo real es relativamente fija, y un usuario solo puede recibir pasivamente la información mostrada y no puede interactuar con la información mostrada, lo que conduce a una experiencia de usuario relativamente pobre.
El documento US 2013/0246967 A1 describe un método implementado por ordenador que incluye controlar un dispositivo informático portátil (WCD) para proporcionar una interfaz de usuario que tenga uno o más elementos de menú y una región de visualización. El método también incluye recibir datos de movimiento correspondientes al movimiento del WCD desde una primera posición a una segunda posición y, en respuesta a los datos de movimiento, controlar el WCD de tal manera que los uno o más elementos de menú sean visibles en la región de visualización. Además, el método incluye, mientras los uno o más elementos de menú sean visibles en la región de visualización, recibir datos de selección correspondientes a una selección de un elemento de menú y, en respuesta a los datos de selección, controlar el WCD para mantener el elemento de menú seleccionado de manera sustancial totalmente visible en la región de visualización y en una posición sustancialmente fija en la región de visualización que es sustancialmente independiente del movimiento adicional del WCD.
El documento WO 2013/081723 A1 describe métodos y se han descrito dispositivos para aplicar al menos una acción manipulativa a un objeto de contenido seleccionado. En un aspecto, un sistema de dispositivo montado en la cabeza (HMD) incluye al menos un procesador y almacenamiento de datos con lógica de interfaz de usuario ejecutable por al menos un procesador para aplicar la al menos una acción manipulativa a un objeto de contenido mostrado basándose en datos recibidos que indican una primera dirección en la que el HMD es inclinado y una extensión a la que e1HMD es inclinado en la primera dirección. La al menos una acción manipulativa es aplicada a un grado correspondiente a la extensión indicada a la que el HMD es inclinado en la primera dirección.
El documento US 2015/0346813 A1 describe un sistema y un método para el funcionamiento sin manos de un dispositivo montado en la cabeza. Un método ejemplar incluye leer datos de sensor a partir de sensores asociados con un dispositivo montado en la cabeza utilizado por un usuario. El método permite reconocer, basándose en los datos de sensor, un gesto generado por un movimiento de la cabeza del usuario. En respuesta al reconocimiento, se realiza una operación asociada con el gesto reconocido y un modo del dispositivo montado en la cabeza del dispositivo montado en la cabeza. El gesto puede incluir una rotación, un cabeceo, y un balanceo. La operación incluye hacer zum en una imagen sobre una pantalla del dispositivo montado en la cabeza, hacer una panorámica de la imagen, desplazar una serie de imágenes sobre la pantalla, y cambiar los modos del dispositivo. Una velocidad de ejecución de la operación es proporcional a una relación determinada desde un ángulo del movimiento de la cabeza.
Compendio
Para resolver un problema de la técnica anterior de una experiencia de usuario relativamente pobre porque un usuario solo puede recibir pasivamente la información mostrada y no puede interactuar con la información mostrada, las realizaciones de la presente invención proporcionan un aparato y método de interacción de interfaz. Las soluciones técnicas son las siguientes:
De acuerdo con un primer aspecto, se ha proporcionado un método de interacción de interfaz, donde el método incluye: obtener parámetros de rotación de una cabeza de usuario, donde los parámetros de rotación incluyen una dirección de rotación, un ángulo de rotación y una aceleración angular de rotación; determinar una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida; y ejecutar la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por un componente de visualización, en donde las interfaces mostradas incluyen al menos dos interfaces, y las al menos dos interfaces pertenecen a diferentes grupos de interfaz, donde cada grupo de interfaz incluye al menos una interfaz, y solo una interfaz en cada grupo de interfaz es mostrada a la vez; las al menos dos interfaces están dispuestas de una secuencia de izquierda a derecha; una primera interfaz que mira hacia una línea de visión frontal de un usuario está en un estado activo; y la determinación de una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida incluye: determinar si r>t es cierto, donde r es un ángulo de rotación de la cabeza del usuario en la dirección vertical, y t es un ángulo de rotación de la cabeza del usuario en la dirección horizontal; y generar un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical si un resultado determinante es que r>t es cierto; o generar un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal si un resultado determinante es que r>t es falso. Las diferentes instrucciones de interacción se han determinado de acuerdo con dos dimensiones, la dirección vertical y la dirección horizontal, y se ha expandido una manera de utilizar una interfaz virtual.
En el método de interacción de interfaz previsto en esta realización de la presente invención, se obtienen parámetros de rotación tales como una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación de la cabeza de un usuario, se determina una instrucción de interacción con referencia a los parámetros de rotación y una regla de determinación de instrucción preestablecida, y se ejecuta la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por un componente de visualización. Se ha proporcionado un método para interactuar activamente con una interfaz virtual solo girando la cabeza de un usuario, expandiendo una forma de interacción de la interfaz virtual y mejorando la experiencia del usuario.
Se ha proporcionado una primera forma de visualización de interfaz factible, de modo que un usuario puede cambiar entre diferente información mostrada por medio de un simple movimiento de la cabeza, se ha implementado una disposición bien ordenada de información masiva y el acceso a la información se vuelve más práctico.
En una primera forma de implementación posible del primer aspecto, la generación de una primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical incluye: generar una primera instrucción de interacción cuando la cabeza del usuario gira hacia arriba, |r|e [Ai, Bi], y |a|<ai, donde la primera instrucción de interacción es utilizada para instruir el componente de visualización para sustituir la primera interfaz por una segunda interfaz, la segunda interfaz es una interfaz que está en un grupo de interfaces al que pertenece la primera interfaz y que sigue a la primera interfaz, Ai, Bi, y ai son valores preestablecidos, 0<Ai<Bi, y 0<ai. Se ha proporcionado un método para interactuar con una interfaz virtual dentro de un solo grupo de interfaces rotando la cabeza de un usuario, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia al primer aspecto, en una segunda forma de implementación posible del primer aspecto, la generación de un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical incluye: generar una segunda instrucción de interacción cuando la cabeza del usuario gira hacia abajo, |r|e [A2, B2], y |a|<a2, donde la segunda instrucción de interacción es utilizada para instruir al componente de visualización para mostrar al menos una interfaz de control de la primera interfaz, A2, B2, y a2 son valores preestablecidos, 0<A2<B2, y 0<a2. Se ha proporcionado un método para activar una interfaz de control girando la cabeza de un usuario, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia a la segunda forma de implementación posible del primer aspecto, en una tercera forma de implementación posible del primer aspecto, cada interfaz de control corresponde a una operación de control, y el método incluye además: determinar una interfaz de control de objetivo, donde la interfaz de control de objetivo es una interfaz de control que mira hacia una línea de visión frontal del usuario; controlar la interfaz de control de objetivo para entrar en un estado activo; detectar si una duración que la interfaz de control de objetivo permanece en el estado activo es mayor que una duración predeterminada; y generar una tercera instrucción de interacción si un resultado de detección es que la duración que la interfaz de control de objetivo permanece en el estado activo es mayor que la duración predeterminada, donde la tercera instrucción de interacción es utilizada para instruir al componente de visualización para mostrar un resultado de ejecución después de que una operación de control correspondiente a la interfaz de control de objetivo es realizada en la primera interfaz. Se ha proporcionado un método para controlar una función de interfaz girando la cabeza de un usuario, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia al primer aspecto, en una cuarta forma de implementación posible del primer aspecto, la generación de un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical incluye: generar una cuarta instrucción de interacción cuando la cabeza del usuario gira hacia arriba y |a|>a3 , o cuando la cabeza del usuario gira hacia abajo, |a|>a4, donde la cuarta instrucción de interacción es utilizada para instruir al componente de visualización para controlar la al menos una interfaz que gira alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario. Se ha proporcionado un método para controlar una interfaz para seguir la cabeza de un usuario en rotación, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia al primer aspecto, en una quinta forma de implementación posible del primer aspecto, la generación de un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal incluye: determinar, cuando |a’|<a5, una tercera interfaz mira hacia una línea de visión vista frontal del usuario, donde la tercera interfaz es una interfaz en las al menos dos interfaces que está ubicadas en la izquierda o derecha de la primera interfaz; y generar una quinta instrucción de interacción, donde la quinta instrucción de interacción es utilizada para instruir al componente de visualización para cambiar una interfaz en un estado activo desde la primera interfaz a la tercera interfaz, a5 es un valor preestablecido, y 0<a5. Se ha proporcionado un método para cambiar una interfaz activa entre múltiples grupos de interfaces girando la cabeza de un usuario, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia al primer aspecto, en una sexta forma de implementación posible del primer aspecto, la generación de un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a’ de la cabeza del usuario en la dirección horizontal incluye: generar una sexta instrucción de interacción cuando |a’|<aa, una línea de visión frontal del usuario no mira hacia ninguna interfaz, y ninguna otra interfaz en las al menos dos interfaces existe en la dirección horizontal en la que la cabeza del usuario gira, donde la sexta instrucción de interacción es utilizada instruir al componente de visualización para mostrar una interfaz funcional excepto las al menos dos interfaces, aa es un valor preestablecido, y 0<aa. Se ha proporcionado un método para activar una interfaz funcional adicional girando la cabeza de un usuario, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia al primer aspecto, en una séptima forma de implementación posible del primer aspecto, la generación de un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal incluye: generar una séptima instrucción de interacción cuando |a'|>a7, donde la séptima instrucción de interacción es utilizada para instruir al componente de visualización para controlar la al menos una interfaz para girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario, a7 es un valor preestablecido y 0<a7. Se ha proporcionado un método para controlar una interfaz para seguir la cabeza de un usuario en rotación, y se ha expandido una forma de utilizar una interfaz virtual.
Con referencia a cualquiera de los primeros aspectos, o de la primera a la novena formas de implementación posibles del primer aspecto, en una octava forma de implementación posible del primer aspecto, las interfaces mostradas son interfaces basadas en una tecnología de realidad aumentada o una tecnología de realidad virtual.
De acuerdo con un segundo aspecto, una realización de la presente invención proporciona un dispositivo electrónico, donde el dispositivo electrónico incluye: un componente de visualización, un procesador, y una memoria, y un bus, donde el procesador está configurado para ejecutar una instrucción almacenada en el memoria, y el procesador ejecuta la instrucción para implementar el método de interacción de interfaz de acuerdo con el primer aspecto o cualquiera de las posibles formas de implementación del primer aspecto.
Breve descripción de los dibujos
Para describir las soluciones técnicas en las realizaciones de la presente invención más claramente, a continuación se describen brevemente los dibujos adjuntos requeridos para describir las realizaciones. Aparentemente, los dibujos adjuntos en la siguiente descripción muestran meramente algunas realizaciones de la presente invención, y un experto en la técnica aún puede derivar otros dibujos a partir de estos dibujos adjuntos sin esfuerzos creativos.
La fig. 1 es un diagrama de bloques estructural de un dispositivo electrónico de acuerdo con una realización ejemplar de la presente invención;
La fig. 2A es un diagrama de flujo de método de un método de interacción de interfaz de acuerdo con un ejemplo; La fig. 2B es un diagrama esquemático de un diseño de interfaz de acuerdo con el ejemplo mostrado en la fig. 2A; La fig. 2C es un diagrama de flujo de método de un método de determinación de instrucción de interacción de acuerdo con la realización mostrada en la fig. 2A;
La fig. 2D a la fig. 2G son diagramas esquemáticos para sustituir una interfaz de acuerdo con la realización mostrada en la fig. 2A;
La fig. 2H es un diagrama esquemático para mostrar una interfaz de control de acuerdo con la realización mostrada en la fig. 2A;
La fig. 2I es un diagrama esquemático para girar una interfaz de acuerdo con la realización mostrada en la fig. 2A; La fig. 2J es un diagrama de flujo de un método de generación de un primer tipo de instrucción de interacción de acuerdo con la realización mostrada en la fig. 2A;
La fig. 2K es un diagrama esquemático para cambiar una interfaz activa de acuerdo con la realización mostrada en la fig. 2A;
La fig. 2L es un diagrama de flujo de un método de generación de un segundo tipo de instrucción de interacción de acuerdo con la realización mostrada en la fig. 2A; y
La fig. 3 es un diagrama de bloques de un aparato de interacción de interfaz de acuerdo con una realización ejemplar de la presente invención.
Descripción de las realizaciones
Para aclarar los objetivos, las soluciones técnicas, y las ventajas de la presente invención, lo siguiente describe adicionalmente las realizaciones de la presente invención en detalle con referencia a los dibujos adjuntos.
La fig. 1 es un diagrama de bloques estructural de un dispositivo electrónico de acuerdo con una realización ejemplar de la presente invención. El dispositivo electrónico 100 puede incluir un procesador 110, un componente 120 de visualización, una memoria 150 y un bus 170. El componente 120 de visualización y la memoria 150 están conectados al procesador 110 utilizando el bus 170.
El procesador 110 incluye una parte de lógica aritmética, una parte de registro, una parte de control y similares. El procesador 110 puede ser una unidad de procesamiento central independiente o un procesador integrado, tal como una unidad de microprocesador (Unidad de Microprocesador, MPU para abreviar), una unidad de microcontrolador (Unidad de Microcontrolador, MCU para abreviar) o un procesador de señal digital (Procesador de Señal Digital, DSP para abreviar).
El componente 120 de visualización puede incluir diferentes aparatos de visualización utilizados por dispositivos fijos, o portátiles, tales como una pantalla de cristal líquido, una pantalla táctil de cristal líquido o una pantalla de proyección de transmisión basados en un principio óptico. Alternativamente, el componente 120 de visualización puede ser un aparato de visualización en perspectiva basado en una tecnología de síntesis de video.
La memoria 150 es implementada por cualquier tipo de o una combinación de un dispositivo de almacenamiento volátil y un dispositivo de almacenamiento no volátil, tal como una memoria estática de acceso aleatorio (Memoria Estática de Acceso Aleatorio, SRAM para abreviar), una memoria de solo lectura programable que se puede borrar eléctricamente (Memoria de Solo Lectura Programable que se Puede Borrar Eléctricamente, EEPROM para abreviar), una memoria de solo lectura programable que se puede borrar (Memoria de Solo Lectura Programable que se Puede Borrar, EPROM para abreviar), una memoria de solo lectura programable (Memoria de Solo Lectura Programable, PROM para abreviar), una memoria de solo lectura (Memoria de Solo Lectura, ROM para abreviar), una memoria magnética, una memoria flash, un disco o un disco óptico. La memoria 150 puede ser utilizada para almacenar una instrucción que puede ser ejecutada por un programa de software, una unidad o similares.
El procesador 110 está configurado para ejecutar la instrucción almacenada en la memoria 150. El procesador 110 ejecuta la instrucción para implementar el siguiente método: obtener parámetros de rotación de la cabeza de un usuario, donde los parámetros de rotación incluyen una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación; determinar una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida; y ejecutar la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por el componente de visualización.
Opcionalmente, como se ha mostrado en la fig. 1, el dispositivo electrónico 100 puede incluir además componentes tales como un componente 130 de sensor, un componente 140 de comunicación y un caché 160. El componente 130 de sensor, el componente 140 de comunicación y el caché 160 están conectados al procesador 110 utilizando el bus 170.
El componente 130 de sensor puede incluir un giroscopio y un acelerómetro. El giroscopio puede medir un ángulo y una velocidad angular obtenida girando alrededor de uno o más ejes, y el acelerómetro puede medir una aceleración angular de rotación. Un movimiento completo en un espacio tridimensional puede ser rastreado y capturado con precisión utilizando estos dos sensores juntos. En la presente invención, el componente 130 de sensor puede ser utilizado en la cabeza de un usuario de acuerdo con las configuraciones para medir los parámetros de rotación de la cabeza del usuario.
El componente 140 de comunicación está configurado para comunicarse con el exterior, y puede incluir múltiples tipos de puertos, tales como un puerto Ethernet o un transceptor inalámbrico.
El caché 160 está configurado para almacenar en caché algunos datos intermedios que son producidos por el procesador 110 durante el cálculo.
Opcionalmente, la memoria 150 puede almacenar un sistema operativo 152 y una unidad 154 de programa de aplicación requerida por al menos una función. El sistema operativo 152 puede ser un sistema operativo, tal como un sistema operativo en tiempo real (Ejecutivo en Tiempo Real, RTX), Linux, UNIX, Windows u OS X. La unidad 154 de programa de aplicación puede incluir una unidad 154a de obtención de parámetro de detección, una unidad 154b de determinación de instrucción y una unidad 154c de ejecución.
La unidad 154a de obtención de parámetro de detección está configurada para obtener los parámetros de rotación de la cabeza del usuario, donde los parámetros de rotación incluyen una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación.
La unidad 154b de determinación de instrucción está configurada para determinar una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida.
La unidad 154c de ejecución está configurada para ejecutar la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por el componente de visualización.
Opcionalmente, en la presente invención, el dispositivo electrónico 100 puede incluir además una cámara (no mostrada en la figura).
En un ejemplo de la realización anterior de la presente invención, todos los componentes están dispuestos en una parte independiente. Por ejemplo, el dispositivo electrónico 100 anterior puede ser implementado como un dispositivo portátil inteligente (tal como gafas inteligentes o un dispositivo de realidad virtual montado en la cabeza), y el dispositivo portátil inteligente incluye todos los componentes anteriores.
Opcionalmente, en otra forma posible de implementación, todos los componentes anteriores pueden estar dispuestos en diferentes partes. Por ejemplo, el dispositivo electrónico 100 anterior puede incluir un dispositivo portátil inteligente y un dispositivo de operación auxiliar (tal como un terminal móvil portátil o un servidor en la nube). El componente 120 de visualización, el componente 130 de sensor y el componente 140 de comunicación están dispuestos en el dispositivo portátil inteligente, y el procesador 110, la memoria 150, el caché 160 y el bus 170 están dispuestos en el dispositivo de operación auxiliar.
La fig. 2A es un diagrama de flujo de un método de interacción de interfaz de acuerdo con un ejemplo. El método se puede aplicar al dispositivo electrónico mostrado en la fig. 1. Como se ha mostrado en la fig. 2a , el método de interacción de la interfaz puede incluir las siguientes etapas.
Etapa 201. Controlar un componente de visualización para mostrar al menos dos interfaces, donde las al menos dos interfaces pertenecen a diferentes grupos de interfaces.
Cada grupo de interfaces incluye al menos una interfaz, y solo se muestra una interfaz en cada grupo de interfaces a la vez.
En este ejemplo, las interfaces mostradas por el componente de visualización del dispositivo electrónico pueden ser interfaces basadas en una tecnología de realidad aumentada o una tecnología de realidad virtual. Por ejemplo, las al menos dos interfaces pueden ser interfaces virtuales mostradas en una pantalla de proyección de transmisión o un aparato de visualización en perspectiva basado en una tecnología de síntesis de video. Las al menos dos interfaces pueden estar dispuestas en una secuencia lineal. Por ejemplo, las al menos dos interfaces pueden estar dispuestas en una secuencia de izquierda a derecha, o las al menos dos interfaces pueden estar dispuestas en una secuencia de arriba a abajo. Cada interfaz mostrada pertenece a un grupo de interfaz diferente, es decir, solo una interfaz frontal en un grupo de interfaces es completamente visible, y otra interfaz está parcial o completamente bloqueada por la interfaz frontal. Cuando se muestran las al menos dos anteriores interfaces por primera vez, el dispositivo electrónico muestra de manera predeterminada una primera interfaz en una dirección de una línea de visión frontal de un usuario, y la primera interfaz que mira hacia la línea de visión frontal del usuario está en un estado activo. La interfaz en el estado activo puede tener un efecto de visualización especial, como una forma ampliada, un contorno resaltado, un brillo exterior o una proyección. En una aplicación práctica, limitada por un factor tal como el tamaño de una pantalla o un aparato de visualización, un usuario solo puede ver una interfaz en un rango de vista específico delante del usuario. En este ejemplo descrito, la interfaz que mira hacia la línea de visión frontal del usuario puede ser una interfaz que se cruza con la línea de visión frontal del usuario. Para la vista frontal descrita en este ejemplo, un objeto de referencia es la cabeza del usuario, y no está relacionado con otra parte del cuerpo de un usuario, es decir, la dirección de la vista frontal anterior está en frente de la cara de un usuario.
En la aplicación práctica, en lo anterior al menos dos interfaces, un grupo de interfaces correspondiente a una interfaz ubicada más centralmente puede mostrar contenido relativamente importante, y un grupo de interfaces correspondiente a una interfaz ubicada más en el borde puede mostrar contenido relativamente menos importante. De manera similar, en un mismo grupo de interfaces, una interfaz frontal puede mostrar contenido relativamente importante, y la siguiente interfaz puede mostrar contenido relativamente menos importante. Una interfaz más cercana a la parte frontal muestra contenido más importante.
Por ejemplo, las al menos dos interfaces son mostradas en una secuencia de izquierda a derecha. Con referencia a la fig. 2B, la fig. 2B muestra un diagrama esquemático de un diseño de interfaz proporcionado por el ejemplo. Como se ha mostrado en la fig. 2B, el centro de la cabeza de un usuario es utilizado como origen para crear un sistema de coordenadas espaciales. El lado derecho de un usuario es la dirección positiva del eje x, el lado superior es la dirección positiva del eje y, y la parte frontal es la dirección positiva del eje z. Cinco interfaces mostradas en la fig. 2B se han mostrado en posiciones específicas alrededor de la cabeza del usuario en una secuencia de izquierda a derecha. Las cinco interfaces son una interfaz A01, una interfaz B01, una interfaz C01, una interfaz D01, y una interfaz E01 respectivamente. Opcionalmente, el diseño de la interfaz puede incluir además una interfaz específica de función (no mostrada en la figura), tal como una interfaz de salida. La interfaz específica de función puede ser mostrada detrás de la cabeza del usuario.
En la fig. 2B, la interfaz C01 pertenece a un grupo C de interfaces. El grupo C de interfaces incluye además una interfaz C02 a una interfaz C06, y la interfaz C02 a la interfaz C06 están dispuestas secuencialmente detrás de la interfaz C01 en la dirección positiva del eje y. En consecuencia, la interfaz A01 pertenece a un grupo A de interfaces, la interfaz B01 pertenece a un grupo B de interfaces, la interfaz D01 pertenece a un grupo D de interfaces, y la interfaz E01 pertenece a un grupo E de interfaces. Otras interfaces incluidas en los grupos A, B, C, D y E de interfaces no se han mostrado en la figura.
En la fig. 2B, la interfaz C01 que mira hacia una línea de visión frontal del usuario está en un estado activo. Debajo de la interfaz C01, hay interfaces de control de la interfaz C01: una interfaz C01-1, una interfaz C01-2, una interfaz C01-3, una interfaz C01-4, y una interfaz C01-5. Cada interfaz de control corresponde a una función de control, tal como confirmar, cancelar, añadir, eliminar, editar, guardar, o favoritos. En un estado inicial, las interfaces de control (la interfaz C01-1, la interfaz C01-2, la interfaz C01-3, la interfaz C01-4, y la interfaz C01-5) de la interfaz C01 están ocultas y no se muestran directamente.
En la fig. 2B, la línea de visión frontal del usuario mira hacia la interfaz C01, la línea de visión frontal del usuario es s, y las coordenadas centrales de la interfaz C01 son (x-i, y-i, z-i). En este caso, C01 está en el estado activo.
La etapa 201 puede ser implementada por el procesador 110 en el dispositivo electrónico 100 utilizando la unidad 154c de ejecución.
Etapa 202. Obtener los parámetros de rotación de la cabeza de un usuario, donde los parámetros de rotación incluyen una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación.
El dispositivo electrónico puede obtener los parámetros de rotación de la cabeza del usuario utilizando un componente de sensor utilizado en la cabeza del usuario.
La etapa 202 puede ser implementada por el procesador 110 en el dispositivo electrónico 100 ejecutando la unidad 154a de obtención de parámetro de detección.
Etapa 203. Determinar una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida.
En esta realización de la presente invención, el dispositivo electrónico puede determinar diferentes instrucciones de interacción de acuerdo con diferentes direcciones de rotación y diferentes aceleraciones angulares de rotación de la cabeza del usuario así como la regla de determinación de instrucción preestablecida. Por ejemplo, con referencia a la fig. 2C, la fig. 2C muestra un diagrama de flujo de método de un método de determinación de instrucción de interacción de acuerdo con esta realización de la presente invención. Como se ha mostrado en la fig. 2C, el método de determinación de instrucción de interacción puede incluir las siguientes etapas.
Etapa 203a. Obtener un ángulo de rotación r de la cabeza del usuario en la dirección vertical, y un ángulo de rotación t de la cabeza del usuario en la dirección horizontal.
Después de obtener los parámetros de rotación de la cabeza del usuario, el dispositivo electrónico puede dividir, de acuerdo con la dirección vertical y la dirección horizontal, los parámetros de rotación en dos grupos: un ángulo de rotación y una aceleración angular en la dirección vertical, y un ángulo de rotación y una aceleración angular en la dirección horizontal.
El diseño de interfaz mostrado en la fig. 2B es utilizado como un ejemplo. El dispositivo electrónico puede dividir los parámetros de rotación de la cabeza del usuario en un ángulo de rotación y una aceleración angular en el plano yz (concretamente la dirección vertical), y un ángulo de rotación y una aceleración angular en el plano xz (concretamente la dirección horizontal).
Etapa 203b. Determinar si r>t es cierto; si r>t es cierto", continuar con la etapa 203c; si r>t es falso, continuar con la etapa 203d.
Si el ángulo de rotación r de la cabeza del usuario en la dirección vertical es mayor que el ángulo de rotación t de la cabeza del usuario en la dirección horizontal, indicando un ángulo de rotación relativamente grande de la cabeza del usuario en la dirección vertical, se puede generar una instrucción de interacción de acuerdo con el ángulo de rotación y la aceleración angular de la cabeza del usuario en la dirección vertical. Si el ángulo de rotación r de la cabeza del usuario en la dirección vertical no es mayor que el ángulo de rotación t de la cabeza del usuario en la dirección horizontal, indicando un ángulo de rotación relativamente grande de la cabeza del usuario en la dirección horizontal, se puede generar una instrucción de interacción de acuerdo con el ángulo de rotación y la aceleración angular de la cabeza del usuario en la dirección horizontal. Las instrucciones de interacción generadas de acuerdo con los ángulos de rotación y las aceleraciones angulares en diferentes direcciones tienen diferentes efectos de interacción.
Etapa 203c. Generar un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical.
Una manera de generar el primer tipo de instrucción de interacción de acuerdo con r y la aceleración angular de rotación a de la cabeza del usuario en la dirección vertical puede incluir los siguientes tipos:
1. Cuando la cabeza del usuario gira hacia arriba, |r|e[A-i, B1] y |a|<a-i, se genera una primera instrucción de interacción. La primera instrucción de interacción es utilizada para instruir al componente de visualización para sustituir la primera interfaz por una segunda interfaz, la segunda interfaz es una interfaz que está en un grupo de interfaces al que pertenece la primera interfaz y que sigue a la primera interfaz, Ai, Bi, y a l son valores preestablecidos, 0<Ai<Bi, y 0<ai.
Específicamente, el diseño de la interfaz mostrado en la fig. 2B es utilizado como un ejemplo. Con referencia a la fig. 2D a la fig. 2G, la fig. 2D a la fig. 2G muestran diagramas esquemáticos para sustituir una interfaz. Cuando el dispositivo electrónico detecta que la cabeza del usuario gira hacia arriba, un ángulo de rotación está entre Ai y Bi, y una aceleración angular de rotación es menor que un umbral, se considera que el usuario realiza una operación de sustitución de la interfaz activa actual girando el cabeza. En este caso, el dispositivo electrónico genera la primera instrucción de interacción. Cuando el dispositivo electrónico ejecuta la instrucción, la interfaz C0i se desactiva primero y luego se mueve detrás de la interfaz C06, y al mismo tiempo, la interfaz C02 se mueve en la dirección negativa del eje z hasta que las coordenadas centrales de la interfaz C02 cambien a (xi, yi, zi). Posteriormente, se activa la interfaz C02.
2. Cuando la cabeza del usuario gira hacia abajo, |r|e[A2, B2] y |a|<a2 , se genera una segunda instrucción de interacción. La segunda instrucción de interacción es utilizada para instruir al componente de visualización para mostrar al menos una interfaz de control de la primera interfaz, A2 , B2 y a2 son valores preestablecidos, 0 <A2<B2 y 0 <a2.
Opcionalmente, cada interfaz de control corresponde a una operación de control. Después de que se genere la segunda instrucción de interacción, el dispositivo electrónico puede determinar además una interfaz de control de objetivo, donde la interfaz de control de objetivo es una interfaz de control que mira hacia una línea de visión frontal del usuario; controlar la interfaz de control de objetivo para entrar en un estado activo; detectar si una duración en que la interfaz de control de objetivo permanece en el estado activo es mayor que una duración predeterminada; y generar una tercera instrucción de interacción si un resultado de detección es que la duración en la que la interfaz de control de objetivo permanece en el estado activo es mayor que la duración predeterminada. La tercera instrucción de interacción es utilizada para instruir al componente de visualización para mostrar un resultado de ejecución después de que se realice una operación de control correspondiente a la interfaz de control de objetivo en la primera interfaz.
El dispositivo electrónico puede obtener, mediante el cálculo de acuerdo con una línea de visión frontal del usuario antes de que la cabeza gire y los parámetros de rotación de la cabeza del usuario, la línea de visión frontal del usuario después de que la cabeza gire.
El diseño de interfaz mostrado en la fig. 2B es utilizado como un ejemplo. Con referencia a la fig. 2H, la fig. 2H muestra un diagrama esquemático para mostrar una interfaz de control. Cuando el dispositivo electrónico detecta que la cabeza del usuario gira hacia abajo, un ángulo de rotación está entre A2 y B2, y una aceleración angular de rotación es menor que un umbral, se considera que el usuario realiza una operación de activación de una interfaz de control girando la cabeza. En este caso, el dispositivo electrónico genera la segunda instrucción de interacción. Cuando el dispositivo electrónico ejecuta la instrucción, las interfaces de control (la interfaz C 0 i- i, la interfaz C0i-2, la interfaz C0i-3, la interfaz C0i-4, y la interfaz C0i-5) son mostradas debajo de la interfaz C0i, la interfaz C0i está desactivada y el dispositivo electrónico determina que la interfaz C0i-2 (interfaz de control de objetivo) que mira hacia una línea de visión frontal del usuario está activada. El usuario puede cambiar además, girando la cabeza en dirección horizontal o vertical, una interfaz de control que mira hacia una línea de visión frontal. Además, cuando se detecta que una duración en la que la interfaz C0i-2 permanece en el estado activo es mayor que una duración predeterminada (tal como 2 s), el dispositivo electrónico genera la tercera instrucción de interacción correspondiente a la interfaz de control C0i-2. Después de que el dispositivo electrónico ejecuta la tercera instrucción de interacción, el componente de visualización muestra un resultado después de realizar una operación de control correspondiente a la interfaz C0i-2 en la interfaz C0i.
En otra forma de implementación posible, la primera instrucción de interacción y la segunda instrucción de interacción pueden corresponder a direcciones de rotación inversa. Por ejemplo, cuando una dirección de rotación de la cabeza del usuario es hacia abajo, |r|e[Ai, Bi] y |a|<ai, se genera la primera instrucción de interacción, y la interfaz C0i es cambiada a la interfaz C02; cuando una dirección de rotación de la cabeza del usuario es hacia arriba, |r|e[A2, B2] y |a|<a2, se genera la segunda instrucción de interacción y se muestra al menos una interfaz de control encima de la interfaz C0i.
En la aplicación práctica, cuando se generan la primera instrucción de interacción y la segunda instrucción de interacción, el dispositivo electrónico puede no detectar un ángulo de rotación de la cabeza del usuario en la dirección vertical sino detectar solo una aceleración angular de rotación de la cabeza del usuario en la dirección vertical. Por ejemplo, cuando la cabeza del usuario gira hacia arriba y |a|<ai, se genera la primera instrucción de interacción; o cuando la cabeza del usuario gira hacia abajo y |a|<a2 , se genera la segunda instrucción de interacción.
3. Cuando la cabeza del usuario gira hacia arriba y |a|>a3, o cuando la cabeza del usuario gira hacia abajo y |a|>a4 , se genera una cuarta instrucción de interacción. La cuarta instrucción de interacción es utilizada para instruir al componente de visualización para controlar la al menos una interfaz para girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario.
Debería señalarse que, cuando el dispositivo electrónico admite la generación de la primera instrucción de interacción, la segunda instrucción de interacción, y la cuarta instrucción de interacción, a3 necesita ser mayor o igual que ai, a4 necesita ser mayor o igual que a2, y los valores de ai y a2 pueden ser iguales o diferentes.
El diseño de interfaz mostrado en la fig. 2B es utilizado como un ejemplo. Con referencia a la fig. 2I, la fig. 2I muestra un diagrama esquemático para girar una interfaz. Cuando la cabeza del usuario gira hacia arriba y una aceleración angular de rotación alcanza o supera un umbral, el dispositivo electrónico genera la cuarta instrucción de interacción. Cuando el dispositivo electrónico ejecuta la instrucción, la al menos una interfaz (solo la interfaz C01 se ha mostrado en la fig. 2I) en su conjunto sigue la cabeza del usuario en rotación hacia arriba, con la cabeza del usuario en el centro. Los parámetros de rotación de la al menos una interfaz son consistentes con los parámetros de rotación de la cabeza del usuario, para asegurar que una línea de visión frontal del usuario está ubicada en el centro de la interfaz C01. Alternativamente, en otra forma posible de implementación, los parámetros de rotación de la al menos una interfaz pueden ser consistentes solo con los parámetros de rotación de la cabeza del usuario en la dirección vertical.
De manera similar, cuando la cabeza del usuario gira hacia abajo y una aceleración angular de rotación alcanza o excede un umbral, la al menos una interfaz también sigue a la cabeza del usuario en rotación, con la cabeza del usuario en el centro. Los detalles se han descrito en la presente memoria.
En otra forma de implementación posible, cuando la cabeza del usuario gira hacia arriba, |r|>B1 y |a|<ai, o cuando la cabeza del usuario gira hacia abajo, |r|>B2 y |a|<a2, se genera una cuarta instrucción de interacción. Es decir, cuando un ángulo de rotación hacia arriba o hacia abajo de la cabeza del usuario excede un umbral preestablecido, a pesar de una aceleración angular relativamente pequeña, la al menos una interfaz puede ser controlada para seguir la cabeza del usuario en rotación, con la cabeza del usuario en el centro.
Específicamente, la fig. 2D a la fig. 2I son utilizadas como un ejemplo. Con referencia a la fig. 2J, la fig. 2J muestra un diagrama de flujo de un método de generación de un primer tipo instrucción de interacción, y muestra un posible procedimiento de implementación de la etapa 203c. Por ejemplo, los valores de ai, a2, a3 y a4 son los mismos. Como se ha mostrado en la fig. 2J, el método de generación de un primer tipo de instrucción de interacción puede incluir las siguientes etapas:
Etapa 203c1. Determinar si |a|<ai es cierto; si |a|<a1 es cierto, continuar con la etapa 203c2; si |a|<ai es falso, continuar con la etapa 203c8.
Etapa 203c2. Determinar si la cabeza del usuario gira hacia arriba; si la cabeza del usuario gira hacia arriba, continuar con la etapa 203c3; si la cabeza del usuario no gira hacia arriba, continuar con la etapa 203c5.
Etapa 203c3. Detectar una relación de magnitud entre |r|, Ai y Bi.
Etapa 203c4. Mantener una interfaz actual sin cambios cuando 0<|r|<Ai; o generar una primera instrucción de interacción cuando Ai<|r|<Bi; o generar una cuarta instrucción de interacción cuando |r|>Bi.
Etapa 203c5. Detectar una relación de magnitud entre |r|, A2 y B2.
Etapa 203c6. Mantener una interfaz actual sin cambios cuando 0<|r|<A2; o generar una segunda instrucción de interacción cuando A2<|r|<B2 ; o generar una cuarta instrucción de interacción cuando |r|>B2.
Etapa 203c7. Después de generar la segunda instrucción de interacción, cuando se detecta que una duración en la que una interfaz de control de objetivo permanece en un estado activo es mayor que una duración predeterminada, genera una tercera instrucción de interacción.
Etapa 203c8. Generar una cuarta instrucción de interacción.
Etapa 203d. Generar un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal.
Similar a la etapa 203c, una forma de generar el segundo tipo de instrucción de interacción de acuerdo con t y la aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal puede incluir los siguientes tipos.
i. Cuando |a'|<a5 , se determina una tercera interfaz que mira hacia una línea de visión frontal del usuario, y se genera una quinta instrucción de interacción. La tercera interfaz es una interfaz en las al menos dos interfaces que están ubicadas a la izquierda o derecha de la primera interfaz. La quinta instrucción de interacción es utilizada para instruir al componente de visualización para cambiar una interfaz en un estado activo desde la primera interfaz a la tercera interfaz, a5 es un valor preestablecido y 0 <a5.
El diseño de interfaz mostrado en la fig. 2B es utilizado como un ejemplo. Con referencia a la fig. 2K, la fig. 2K muestra un diagrama esquemático para cambiar una interfaz activa. Cuando el dispositivo electrónico detecta que el usuario gira hacia la derecha, y una aceleración angular de rotación es menor que un umbral, se considera que el usuario tiene la intención de cambiar una interfaz activa actual a otra interfaz a la derecha de la interfaz actual. Cuando un ángulo de rotación de la cabeza del usuario es menor que un ángulo C, se considera que una interfaz que mira hacia la línea de visión frontal del usuario sigue siendo la interfaz C0i. En este caso, la interfaz C0i permanece en un estado activo. Cuando un ángulo de rotación de la cabeza del usuario es mayor que el ángulo C y alcanza un ángulo D, se considera que la interfaz que mira hacia la línea de visión frontal del usuario cambia a la interfaz D0i. En este caso, se genera la quinta instrucción de interacción. Cuando el dispositivo electrónico ejecuta la instrucción, la interfaz C0i es desactivada y, al mismo tiempo, la interfaz D0i es activada. En este caso, la lógica de operación de la interfaz D0i es similar a la de la etapa 203c, y los detalles no se han descrito en la presente memoria. Cuando el usuario continúa girando la cabeza hacia la derecha con una aceleración angular relativamente pequeña, y la interfaz que mira hacia la línea de visión frontal del usuario cambia a la interfaz E0i, la interfaz D0i es desactivada y, al mismo tiempo, la interfaz E0i es activada. De manera similar, cuando el dispositivo electrónico detecta que la cabeza del usuario gira hacia la izquierda, y una aceleración angular de rotación es menor que un umbral, se considera que el usuario tiene la intención de cambiar una interfaz activa actual a otra interfaz a la izquierda de la interfaz actual.
2. Cuando |a’|<aa, una línea de visión frontal del usuario no mira hacia ninguna interfaz, y no existe otra interfaz en las al menos dos interfaces en la dirección horizontal en la que gira la cabeza del usuario, se genera una sexta instrucción de interacción. La sexta instrucción de interacción es utilizada para instruir al componente de visualización para mostrar una interfaz funcional, excepto las al menos dos interfaces.
El diagrama esquemático para cambiar una interfaz activa mostrado en la fig. 2K es utilizado además como un ejemplo. Basado en la fig. 2K, después de activar la interfaz E01, si el usuario continúa girando la cabeza hacia la derecha con una aceleración angular relativamente pequeña, y no hay otra interfaz en la dirección de la línea de visión frontal del usuario, el dispositivo electrónico genera la sexta instrucción de interacción. Después de que el dispositivo electrónico ejecute la sexta instrucción de interacción, la interfaz específica de función que estaba ubicada originalmente detrás de la cabeza del usuario es mostrada en la dirección de la línea de visión frontal del usuario, y al mismo tiempo, la interfaz A01 a la interfaz E01 se mueven detrás de la cabeza del usuario. Después de que el usuario mantiene la cabeza inmóvil durante un período de tiempo, el dispositivo electrónico ejecuta una función correspondiente a la interfaz específica de función, tal como saliendo de un estado de visualización de la interfaz.
Opcionalmente, el usuario puede entrar nuevamente al estado de visualización de la interfaz girando la cabeza, es decir, la etapa 201 es activada nuevamente. Por ejemplo, cuando el dispositivo electrónico detecta, de acuerdo con los parámetros de rotación de la cabeza del usuario, que el usuario gira la cabeza hacia adelante y hacia atrás en dirección horizontal o vertical al menos dos veces, se activa la etapa 201.
3. Cuando |a'|>a7, se genera una séptima instrucción de interacción. La séptima instrucción de interacción es utilizada para instruir al componente de visualización para controlar la al menos una interfaz para girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario.
Por ejemplo, cuando la cabeza del usuario gira hacia la izquierda o hacia la derecha, y una aceleración angular de rotación alcanza o supera un umbral, el dispositivo electrónico genera la séptima instrucción de interacción. Cuando el dispositivo electrónico ejecuta la instrucción, la al menos una interfaz en su conjunto sigue la cabeza del usuario en rotación ascendente, con la cabeza del usuario en el centro. Los parámetros de rotación de la al menos una interfaz son consistentes con los parámetros de rotación de la cabeza del usuario, para asegurar que una línea de visión frontal del usuario está ubicada en el centro de la interfaz C01. Alternativamente, en otra forma de implementación posible, los parámetros de rotación de la al menos una interfaz pueden ser consistentes solo con los parámetros de rotación de la cabeza del usuario en la dirección horizontal.
Debería señalarse que, cuando el dispositivo electrónico admite la generación de la quinta, la sexta, y la séptima instrucciones de interacción, los valores de a5, a6 y a7 pueden ser los mismos.
Específicamente, la fig. 2K es utilizada como un ejemplo. Con referencia a la fig. 2L, la fig. 2L muestra un diagrama de flujo de un método de generación de un segundo tipo de instrucción de interacción, y muestra un posible procedimiento de implementación de la etapa 203d. Por ejemplo, los valores de a6 y a7 son los mismos. Como se ha mostrado en la fig. 2l , el método de generación de un segundo tipo de instrucción de interacción puede incluir las siguientes etapas:
Etapa 203d1. Determinar si |a'|<a5 es cierto; si |a'|<a5 es cierto, continuar con la etapa 203d2; si |a'|<a5 es falso, continuar con la etapa 203d7.
Etapa 203d2. Determinar si hay una interfaz que mira hacia una línea de visión frontal del usuario; si hay una interfaz que mira hacia una línea de visión frontal del usuario, continuar con la etapa 203d3; si no hay una interfaz que mira hacia una línea de visión frontal del usuario, continuar con la etapa 203d5.
Etapa 203d3. Detectar si la interfaz que actualmente mira hacia la línea de visión frontal del usuario es una tercera interfaz a la izquierda o derecha de una primera interfaz.
Etapa 203d4. Generar una quinta instrucción de interacción si la interfaz que actualmente mira hacia la línea de visión frontal del usuario es la tercera interfaz.
Mantener la interfaz actual sin cambios si la interfaz que actualmente mira hacia la línea de visión frontal del usuario sigue siendo la primera interfaz.
Etapa 203d5. Detectar si existe otra interfaz en las al menos dos interfaces en la dirección horizontal en la que gira la cabeza del usuario.
Etapa 203d6. Generar una sexta instrucción de interacción si no existe otra interfaz en la dirección horizontal en la que gira la cabeza del usuario.
Etapa 203d7. Generar una séptima instrucción de interacción.
La etapa 203 puede ser implementada por el procesador 110 en el dispositivo electrónico 100 ejecutando la unidad 154b de determinación de instrucción.
Etapa 204. Ejecutar la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por el componente de visualización.
El diseño de interfaz mostrado en la fig. 2B es utilizado como un ejemplo. Después de que el dispositivo electrónico ejecute la instrucción de interacción generada en la etapa 203, se puede implementar un efecto de interacción descrito en la etapa 203c o la etapa 203d, y los detalles no se han descrito en la presente memoria.
La etapa 204 puede ser implementada por el procesador 110 en el dispositivo electrónico 100 utilizando la unidad 154c de ejecución.
En conclusión, en el método descrito en esta realización de la presente invención, se obtienen parámetros de rotación tales como una dirección de rotación, un ángulo de rotación y una aceleración angular de rotación de la cabeza de un usuario, se determina una instrucción de interacción con referencia a los parámetros de rotación y una regla de determinación de instrucción preestablecida, y se ejecuta la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por un componente de visualización. Se ha proporcionado un método para interactuar activamente con una interfaz virtual solo girando la cabeza de un usuario, expandiendo la forma de interacción de la interfaz virtual y mejorando la experiencia del usuario.
Además, en el método descrito en esta realización de la presente invención, un usuario solo necesita controlar un ángulo de rotación de la cabeza y una aceleración angular para implementar una operación de interacción con una interfaz, y puede navegar por la información en una forma de interacción natural sin la ayuda de otro dispositivo especial o un movimiento de la mano, logrando de este modo un efecto de una operación simplificada de usuario.
Además, en el método descrito en esta realización de la presente invención, se muestran diferentes interfaces que pertenecen a múltiples grupos de interfaces alrededor y enfrente de la cabeza del usuario, y se puede cambiar cada interfaz en un grupo de interfaces correspondiente para implementar una disposición bien ordenada de información masiva. El usuario puede cambiar entre diferente información mostrada por medio de un simple movimiento de la cabeza, y el acceso a la información se vuelve más conveniente.
En un ejemplo de la realización anterior correspondiente a la fig. 2, la al menos una interfaz está dispuesta en la secuencia de izquierda a derecha. En la aplicación práctica, la al menos una interfaz puede estar dispuesta en una secuencia de arriba a abajo, y la lógica de operación puede ser similar a la lógica de operación en la realización anterior correspondiente a la fig. 2. Por ejemplo, cuando un ángulo de rotación horizontal de la cabeza de un usuario es relativamente grande, se genera la primera instrucción de interacción, la segunda instrucción de interacción, o la cuarta instrucción de interacción; o cuando un ángulo de rotación vertical de la cabeza de un usuario es relativamente grande, se genera la quinta instrucción de interacción, la sexta instrucción de interacción, o la séptima instrucción de interacción.
Con referencia a la fig. 3, la fig. 3 muestra un diagrama de bloques de un aparato de interacción de interfaz proporcionado por una realización ejemplar de la presente invención. El aparato de interacción de interfaz puede implementar todas o parte de las funciones del dispositivo electrónico 110 mostrado en la fig. 1 utilizando uno o una combinación de software y hardware. El aparato de interacción de interfaz puede incluir una unidad 301 de obtención de parámetros de detección, una unidad 302 de determinación de instrucción y una unidad 303 de ejecución.
La unidad 301 de obtención de parámetros de detección tiene una función igual o similar a la de la unidad 154a de obtención de parámetro de detección.
La unidad 302 de determinación de instrucción tiene una función igual o similar a la unidad 154b de determinación de instrucción.
La unidad 303 de ejecución tiene una función igual o similar a la de la unidad 154c de ejecución.
Un experto en la técnica puede comprender que todas o algunas de las etapas de las realizaciones pueden ser implementadas mediante hardware o un programa que instruya hardware relacionado. El programa puede ser almacenado en un medio de almacenamiento legible por ordenador. El medio de almacenamiento puede incluir: una memoria de solo lectura, un disco magnético, o un disco óptico.
Las descripciones anteriores son meramente realizaciones ejemplares de la presente invención, pero no pretenden limitar la presente invención. Son posibles numerosas variaciones sin apartarse del alcance de la presente invención como se ha definido por las reivindicaciones adjuntas.

Claims (18)

REIVINDICACIONES
1. Un aparato de interacción de interfaz, en donde el aparato comprende: una unidad (302) de determinación de instrucción, una unidad (303) de ejecución, y una unidad (301) de obtención de parámetros de detección, en donde la unidad (301) de obtención de parámetros de detección está configurada para obtener parámetros de rotación de la cabeza de un usuario, en donde los parámetros de rotación comprenden una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación;
la unidad (302) de determinación de instrucción está configurada para determinar una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos por la unidad (301) de obtención de parámetros de detección y una regla de determinación de instrucción preestablecida; y
la unidad (303) de ejecución está configurada para ejecutar la instrucción de interacción determinada por la unidad (302) de determinación de instrucción, para implementar el control de interacción de las interfaces mostradas por un componente (120) de visualización;
en donde las interfaces mostradas comprenden al menos dos interfaces, y las al menos dos interfaces pertenecen a diferentes grupos de interfaces, en donde cada grupo de interfaces comprende al menos una interfaz, y solo se muestra una interfaz en cada grupo de interfaces a la vez;
en donde
las al menos dos interfaces están dispuestas en una secuencia de izquierda a derecha, y una primera interfaz que mira hacia una línea de visión frontal de un usuario está en un estado activo; y caracterizado por que
la unidad (302) de determinación de instrucción está configurada específicamente para determinar si r>t es cierto, en donde r es un ángulo de rotación de la cabeza del usuario en la dirección vertical, y t es un ángulo de rotación de la cabeza del usuario en la dirección horizontal; y si r>t es cierto, la unidad (302) de determinación de instrucción está configurada para generar un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical; o si r>t es falso, la unidad (302) de determinación de instrucción está configurada para generar un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal.
2. El aparato según la reivindicación 1, en donde
la unidad (302) de determinación de instrucción está configurada específicamente para generar una primera instrucción de interacción cuando la cabeza del usuario gira hacia arriba, |r|e [A1, B1], y |a|<a-i, en donde la primera instrucción de interacción es utilizada para instruir al componente (120) de visualización para sustituir la primera interfaz por una segunda interfaz, la segunda interfaz es una interfaz que está en un grupo de interfaces al que pertenece la primera interfaz y que sigue a la primera interfaz, A1, B1, y a1 son valores preestablecidos, 0<A-i<B-i, y 0<a-i.
3. El aparato según la reivindicación 1, en donde
la unidad (302) de determinación de instrucción está configurada específicamente para generar una segunda instrucción de interacción cuando la cabeza del usuario gira hacia abajo, |r|e [A2, B2], y |a|<a2, en donde la segunda instrucción de interacción es utilizada para instruir al componente (120) de visualización para mostrar al menos una interfaz de control de la primera interfaz, A2 , B2 , y a2 son valores preestablecidos, 0 <A2<B2 y 0 <a2.
4. El aparato según la reivindicación 3, en donde cada interfaz de control corresponde a una operación de control; y la unidad (302) de determinación de instrucción está configurada además para determinar una interfaz de control de objetivo, en donde la interfaz de control de objetivo es una interfaz de control que mira hacia una línea de visión frontal del usuario; controlar la interfaz de control de objetivo para entrar en un estado activo; detectar si una duración en la que la interfaz de control de objetivo permanece en el estado activo es mayor que una duración predeterminada; y generar una tercera instrucción de interacción si un resultado de detección es que la duración que la interfaz de control de objetivo permanece en el estado activo es mayor que la duración predeterminada, en donde la tercera instrucción de interacción es utilizada para instruir al componente (120) de visualización para mostrar un resultado de ejecución después de realizar una operación de control correspondiente a la interfaz de control de objetivo en la primera interfaz.
5. El aparato según la reivindicación 1, en donde
la unidad (302) de determinación de instrucción está configurada específicamente para generar una cuarta instrucción de interacción cuando la cabeza del usuario gira hacia arriba y |a|>a3 , o cuando la cabeza del usuario gira hacia abajo |a|>a4, en donde la cuarta instrucción de interacción es utilizada para instruir al componente (120) de visualización para controlar la al menos una interfaz parar girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario, a3 y a4 son valores preestablecidos 0 <a3, y 0 <a4.
6. El aparato según la reivindicación 1, en donde
la unidad (302) de determinación de instrucción está configurada específicamente para determinar, cuando |a'|<a5 , una tercera interfaz que mira hacia una línea de visión frontal del usuario, en donde la tercera interfaz es una interfaz en las al menos dos interfaces que está ubicada en la izquierda o derecha de la primera interfaz; y generar una quinta instrucción de interacción, en donde la quinta instrucción de interacción es utilizada para instruir al componente (120) de visualización para cambiar una interfaz en un estado activo desde la primera interfaz a la tercera interfaz, a5 es un valor preestablecido, y 0 <a5.
7. El aparato según la reivindicación 1, en donde
la unidad (302) de determinación de instrucción está configurada específicamente para generar una sexta instrucción de interacción cuando |a'| <a6, una línea de visión frontal del usuario no mira hacia ninguna interfaz, y no existe otra interfaz en las al menos dos interfaces en la dirección horizontal en la que gira la cabeza del usuario, en donde la sexta instrucción de interacción es utilizada para instruir al componente (120) de visualización para mostrar una interfaz funcional excepto las al menos dos interfaces, a6 es un valor preestablecido y 0<a6.
8. El aparato según la reivindicación 1, en donde
la unidad (302) de determinación de instrucción está configurada específicamente para generar una séptima instrucción de interacción cuando |a'|>a7, en donde la séptima instrucción de interacción es utilizada para instruir al componente (120) de visualización para controlar la al menos una interfaz para girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario, a7 es un valor preestablecido y 0 <a7.
9. El aparato según una cualquiera de las reivindicaciones 1 a 8, en donde las interfaces mostradas son interfaces basadas en una tecnología de realidad aumentada o una tecnología de realidad virtual.
10. Un método de interacción de interfaz, en donde el método comprende:
obtener (202), parámetros de rotación de la cabeza de un usuario, en donde los parámetros de rotación comprenden una dirección de rotación, un ángulo de rotación, y una aceleración angular de rotación; determinar (203), una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida; y
ejecutar (204), la instrucción de interacción determinada para implementar el control de interacción de las interfaces mostradas por un componente (120) de visualización;
en donde las interfaces presentadas comprenden al menos dos interfaces, y las al menos dos interfaces pertenecen a diferentes grupos de interfaces, en donde cada grupo de interfaces comprende al menos una interfaz, y solo se muestra una interfaz en cada grupo de interfaces a la vez;
en donde
las al menos dos interfaces están dispuestas en una secuencia de izquierda a derecha, una primera interfaz que mira hacia una línea de visión frontal de un usuario está en un estado activo, y caracterizado por que la determinación de una instrucción de interacción de acuerdo con los parámetros de rotación obtenidos y una regla de determinación de instrucción preestablecida comprende:
determinar (203b), si r>t es cierto, en donde r es un ángulo de rotación de la cabeza del usuario en la dirección vertical, y t es un ángulo de rotación de la cabeza del usuario en la dirección horizontal ; y
generar (203c), un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical si un resultado determinante es que r>t es cierto;
generar (203d), un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal si un resultado determinante es que r>t es falso.
11. El método según la reivindicación 10, en donde la generación de un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical comprende: generar una primera instrucción de interacción cuando la cabeza del usuario gira hacia arriba, |r|e [A1, B1], y |a|<a-i, en donde la primera instrucción de interacción es utilizada para instruir al componente de visualización para sustituir la primera interfaz por una segunda interfaz, la segunda interfaz es una interfaz que está en un grupo de interfaces al que pertenece la primera interfaz y que sigue a la primera interfaz, A1, B1, y a1 son valores predeterminados, 0<A-i<B1 y 0 <a1.
12. El método según la reivindicación 10, en donde la generación de un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical comprende: generar una segunda instrucción de interacción cuando la cabeza del usuario gira hacia abajo, |r|e [A2 , B2] y |a|<a2 , en donde la segunda instrucción de interacción es utilizada para instruir al componente (120) de visualización para mostrar al menos una interfaz de control de la primera interfaz, A2, B2, y a2 son valores preestablecidos, 0<A2<B2 y 0 <a2.
13. El método según la reivindicación 12, en donde cada interfaz de control corresponde a una operación de control, y el método comprende además:
determinar una interfaz de control de objetivo, en donde la interfaz de control de objetivo es una interfaz de control que mira hacia una línea de visión frontal del usuario;
controlar la interfaz de control de objetivo para entrar en un estado activo;
detectar si una duración en la que la interfaz de control de objetivo permanece en el estado activo es mayor que una duración predeterminada; y
generar una tercera instrucción de interacción si un resultado de detección es que la duración en la que la interfaz de control de objetivo permanece en el estado activo es mayor que la duración predeterminada, en donde la tercera instrucción de interacción es utilizada para instruir al componente (120) de visualización para mostrar un resultado de ejecución después de realizar una operación de control correspondiente a la interfaz de control de objetivo en la primera interfaz.
14. El método según la reivindicación 10, en donde la generación de un primer tipo de instrucción de interacción de acuerdo con r y una aceleración angular de rotación a de la cabeza del usuario en la dirección vertical comprende: generar una cuarta instrucción de interacción cuando la cabeza del usuario gira hacia arriba y |a|>a3 , o cuando la cabeza del usuario gira hacia abajo y |a|>a4, en donde la cuarta instrucción de interacción es utilizada para instruir al componente (120) de visualización para controlar la al menos una interfaz para girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario, a3 y a4 son valores preestablecidos, 0 <a3 y 0 <a4.
15. El método según la reivindicación 10, en donde la generación de un segundo tipo de instrucción de interacción según t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal comprende:
determinar, cuando |a'|<a5, una tercera interfaz que mira hacia una línea de visión frontal del usuario, en donde la tercera interfaz es una interfaz en las al menos dos interfaces que están ubicadas a la izquierda o derecha de la primera interfaz, a5 es un valor preestablecido y 0 <a5 ; y
generar una quinta instrucción de interacción, en donde la quinta instrucción de interacción es utilizada para instruir al componente de visualización para cambiar una interfaz en un estado activo desde la primera interfaz a la tercera interfaz.
16. El método según la reivindicación 10, en donde la generación de un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal comprende: generar una sexta instrucción de interacción cuando |a’|<aa, una línea de visión frontal del usuario no mira hacia ninguna interfaz, y no existe otra interfaz en las al menos dos interfaces en la dirección horizontal en la que gira la cabeza del usuario, en donde la sexta instrucción de interacción es utilizada para instruir al componente (120) de visualización para mostrar una interfaz funcional excepto las al menos dos interfaces, a6 es un valor preestablecido y 0<aa.
17. El método según la reivindicación 10, en donde la generación de un segundo tipo de instrucción de interacción de acuerdo con t y una aceleración angular de rotación a' de la cabeza del usuario en la dirección horizontal comprende: generar una séptima instrucción de interacción cuando |a'|>a7 , en donde la séptima instrucción de interacción es utilizada para instruir al componente (120) de visualización para controlar la al menos una interfaz para girar alrededor de la cabeza del usuario de acuerdo con los parámetros de rotación de la cabeza del usuario, a7 es un valor preestablecido, y 0 <a7.
18. El método según una cualquiera de las reivindicaciones 10 a 17, en donde las interfaces mostradas son interfaces basadas en una tecnología de realidad aumentada o una tecnología de realidad virtual.
ES17151336T 2016-01-13 2017-01-13 Aparato y método de interacción de interfaz Active ES2757587T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610021040.3A CN106970697B (zh) 2016-01-13 2016-01-13 界面交互装置及方法

Publications (1)

Publication Number Publication Date
ES2757587T3 true ES2757587T3 (es) 2020-04-29

Family

ID=57860660

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17151336T Active ES2757587T3 (es) 2016-01-13 2017-01-13 Aparato y método de interacción de interfaz

Country Status (4)

Country Link
US (2) US10860092B2 (es)
EP (2) EP3629133B1 (es)
CN (1) CN106970697B (es)
ES (1) ES2757587T3 (es)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295409B (zh) * 2017-08-08 2019-09-13 广东小天才科技有限公司 一种控制视频播放的方法、装置、终端设备和存储介质
JP2021096490A (ja) * 2018-03-28 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108710431A (zh) * 2018-03-30 2018-10-26 歌尔科技有限公司 头戴式设备的控制方法、装置、存储介质及头戴式设备
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
JP7300287B2 (ja) * 2019-03-20 2023-06-29 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
CN112416115B (zh) * 2019-08-23 2023-12-15 亮风台(上海)信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
CN114077302A (zh) * 2020-08-21 2022-02-22 华为技术有限公司 一种智能眼镜及其交互方法和交互装置
US11889012B2 (en) * 2021-04-15 2024-01-30 Verizon Patent And Licensing Inc. Systems and methods for utilizing augmented reality to identify an optimal location for providing a wireless network device
CN115737143A (zh) * 2022-11-07 2023-03-07 张博彦 手术成像系统和成像手术的显示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325449B2 (ja) * 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置,表示制御方法,記録媒体
JP5058335B2 (ja) * 2008-04-10 2012-10-24 パイオニア株式会社 画面表示システム及び画面表示プログラム
US20100058248A1 (en) * 2008-08-29 2010-03-04 Johnson Controls Technology Company Graphical user interfaces for building management systems
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
KR102063767B1 (ko) * 2013-09-24 2020-01-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20150346813A1 (en) * 2014-06-03 2015-12-03 Aaron Michael Vargas Hands free image viewing on head mounted display
CN104267833A (zh) * 2014-09-13 2015-01-07 周祥宇 一种人机接口系统
CN104866105B (zh) * 2015-06-03 2018-03-02 塔普翊海(上海)智能科技有限公司 头显设备的眼动和头动交互方法
CN105243362A (zh) * 2015-09-23 2016-01-13 努比亚技术有限公司 一种控制摄像头的装置及方法

Also Published As

Publication number Publication date
US10860092B2 (en) 2020-12-08
EP3629133A1 (en) 2020-04-01
US20210064126A1 (en) 2021-03-04
EP3193240B1 (en) 2019-09-04
US11460916B2 (en) 2022-10-04
EP3193240A1 (en) 2017-07-19
CN106970697B (zh) 2020-09-08
US20170199565A1 (en) 2017-07-13
EP3629133B1 (en) 2022-03-09
CN106970697A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
ES2757587T3 (es) Aparato y método de interacción de interfaz
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
CN108780360B (zh) 虚拟现实导航
KR102304827B1 (ko) 시선 스와이프 선택
RU2643222C2 (ru) Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея
ES2940634T3 (es) Mapeo de la dirección de la mirada
US9411413B2 (en) Three dimensional user interface effects on a display
ES2759054T3 (es) Región basada en gestos del cuerpo humano y selección de volumen para HMD
US20170076497A1 (en) Computer program for directing line of sight
US20170371184A1 (en) Smart Contact Lens With Orientation Sensor
EP3469458A1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
WO2016109121A1 (en) Virtual representations of real-world objects
KR20160106629A (ko) 시선 추적을 갖는 타겟 위치결정
US12020454B2 (en) Image processing method and apparatus for electronic device, and electronic device
KR20210010437A (ko) 광학 위치 추적 장치를 위한 전력 관리
JP2013258614A (ja) 画像生成装置および画像生成方法
US20150138184A1 (en) Spatially interactive computing device
JP2013214252A (ja) 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
JP2016207145A (ja) ウェアラブル装置、制御方法及び制御プログラム
WO2018205426A1 (zh) 桌面型空间立体交互系统
US20200401217A1 (en) Recording medium, information processing system, and information processing method
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP2020100912A (ja) 画像表示システム
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法