ES2763701T3 - Procedimiento y aparato para procesar la pantalla usando el dispositivo - Google Patents

Procedimiento y aparato para procesar la pantalla usando el dispositivo Download PDF

Info

Publication number
ES2763701T3
ES2763701T3 ES18189109T ES18189109T ES2763701T3 ES 2763701 T3 ES2763701 T3 ES 2763701T3 ES 18189109 T ES18189109 T ES 18189109T ES 18189109 T ES18189109 T ES 18189109T ES 2763701 T3 ES2763701 T3 ES 2763701T3
Authority
ES
Spain
Prior art keywords
screen
additional
display
display screen
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18189109T
Other languages
English (en)
Inventor
Myung-Sik Kim
Su-Jung Bae
Moon-Sik Jeong
Sung-Do Choi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Application granted granted Critical
Publication of ES2763701T3 publication Critical patent/ES2763701T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Un procedimiento para procesar una pantalla en un primer dispositivo, realizado por una pantalla (2000) montada en la cabeza HMD, comprendiendo el procedimiento: obtener, en el HMD (2000), una pantalla de visualización real visualizada en el primer dispositivo (1000) e información relacionada con la pantalla de visualización real de acuerdo con una solicitud de visualización de pantalla con respecto al primer dispositivo (1000) (operación 210); determinar, en el HMD (2000), una pantalla adicional que se mostrará a base de la pantalla de visualización real en el primer dispositivo (1000) y la información relacionada con la pantalla de visualización real (operación 220); visualizar la pantalla adicional como una imagen virtual vista cerca de la pantalla de visualización real en el primer dispositivo (1000) (operación 230); detectar una entrada realizada en la pantalla adicional (operación 520); y transmitir la entrada detectada desde el HMD (2000) al primer dispositivo (1000) para que el primer dispositivo (1000) procese un contenido de la pantalla adicional y emita una pantalla de visualización actualizada en el primer dispositivo (1000) (operación 515), la pantalla de visualización actualizada correspondiente a la entrada detectada.

Description

DESCRIPCIÓN
Procedimiento y aparato para procesar la pantalla usando el dispositivo
Referencia cruzada a aplicaciones relacionadas
Esta solicitud reclama el beneficio a tenor de 35 U.S.C § 119 (a) de una solicitud de patente coreana presentada el 15 de octubre de 2014 en la Oficina de Propiedad Intelectual de Corea y con el número de serie asignado 10-2014­ 0139071.
Campo técnico
La presente divulgación se refiere a procedimientos y aparatos para procesar una pantalla vinculada entre dispositivos.
Antecedentes
En general, los dispositivos móviles son dispositivos informáticos que son lo suficientemente pequeños como para caber en un bolsillo e incluyen una pantalla de visualización que tiene una función de entrada táctil o un teclado de tamaño pequeño. Sin embargo, la pantalla de un dispositivo móvil de este tipo es a menudo más pequeña que el tamaño de los contenidos proporcionados al mismo, y por lo tanto, se debe mostrar una ventana adicional o se debe desplazar la pantalla. Los dispositivos de visualización montados en la cabeza (HMD) deben entenderse como varios dispositivos de visualización de imágenes diseñados para que los usuarios vean una imagen virtual mientras usan los dispositivos HMD en sus cabezas como anteojos. Los dispositivos HMD son capaces de proporcionar a los usuarios no solo una función de visualización simple sino también varias funciones convenientes que son combinaciones de una función de visualización con tecnología de realidad aumentada, tecnología de pantalla N, etc. Sin embargo, un usuario de un dispositivo HMD debe intentar indirectamente controlar una imagen virtual que se muestra en las gafas del dispositivo h Md , por ejemplo, haciendo un gesto hacia la imagen virtual, haciendo una entrada de voz o tocando los brazos de los anteojos sin tocar físicamente la imagen virtual. Por lo tanto, la imagen virtual es difícil de controlar con precisión.
La información anterior se presenta como información de antecedentes solo para ayudar con la comprensión de la presente divulgación. No se ha realizado ninguna determinación y no se realiza ninguna afirmación, sobre si cualquiera de lo anterior podría ser aplicable como técnica anterior con relación a la presente divulgación. El documento US 2014/285520 A1 se refiere a un dispositivo de visualización portátil de realidad aumentada y el documento US 2012/302289 A1 se refiere a un procedimiento para controlar un terminal móvil que se comunica con una pantalla montada en la cabeza.
Sumario
La invención es como se establece en las reivindicaciones.
Cualquier realización descrita que no cae dentro del ámbito de las reivindicaciones, no es parte de la invención.
Los aspectos de la presente divulgación tienen por objeto abordar al menos los problemas y/o desventajas anteriormente mencionados y proporcionar al menos las ventajas descritas posteriormente. Por consiguiente, un aspecto de la presente divulgación es proporcionar procedimientos y aparatos para procesar una pantalla adicional vinculada a una pantalla real mediante el uso de un dispositivo.
De acuerdo con un aspecto de la presente divulgación, un procedimiento para procesar una pantalla en un primer dispositivo, que es realizado por un segundo dispositivo, se proporciona. El procedimiento incluye obtener, en el segundo dispositivo, una pantalla de visualización mostrada en el primer dispositivo e información relacionada con la pantalla de visualización de acuerdo con una solicitud de visualización de pantalla con respecto al primer dispositivo, determinar, en el segundo dispositivo, una pantalla adicional basada en la pantalla de visualización del primer dispositivo y la información relacionada con la pantalla de visualización, y que muestra la pantalla adicional cerca de la pantalla de visualización del primer dispositivo.
La información relacionada con la pantalla de visualización puede incluir al menos una información de forma del primer dispositivo, una ubicación de la pantalla adicional que se mostrará cerca de la pantalla de visualización en el primer dispositivo, un tamaño de la pantalla adicional, información de contenido relacionada con la pantalla adicional e información de estado del primer dispositivo capturado con una cámara.
La información de estado del primer dispositivo puede incluir una ubicación y ángulo de una pantalla de visualización del primer dispositivo.
La información de estado del primer dispositivo puede actualizarse periódicamente utilizando la cámara.
La visualización de la pantalla adicional puede incluir la captura de una imagen del primer dispositivo, determinar una ubicación y dirección de una pantalla de visualización del primer dispositivo en función de la imagen capturada del primer dispositivo, y mostrar la pantalla adicional en una ubicación predeterminada en la pantalla de visualización del primer dispositivo, basado en la ubicación y dirección de la pantalla de visualización del primer dispositivo.
La determinación de la ubicación y dirección de la pantalla de visualización del primer dispositivo puede incluir recibir información de forma del primer dispositivo desde el primer dispositivo, extraer puntos característicos de la información de forma del primer dispositivo y comparar puntos característicos de la imagen del primer dispositivo con los puntos característicos de la información de forma del primer dispositivo para determinar la ubicación y dirección de la pantalla de visualización del primer dispositivo.
El procedimiento puede incluir además controlar la pantalla de visualización en el primer dispositivo y la pantalla adicional que se vinculará entre sí según las entradas del usuario realizadas en el primer y segundo dispositivo.
El control de la pantalla de visualización en el primer dispositivo y la pantalla adicional que se vincularán entre sí puede incluir el control de la pantalla de visualización en el primer dispositivo y la pantalla adicional en el segundo dispositivo que se vinculará entre sí de acuerdo con las entradas realizadas por el usuario en los respectivos primer y segundo dispositivo.
El control de la pantalla de visualización en el primer dispositivo y la pantalla adicional que se vincularán entre sí puede incluir reconocer un comando para finalizar la pantalla adicional de acuerdo con una entrada del usuario recibida desde el primer dispositivo, y finalizar la pantalla adicional transmitiendo el comando para finalizar la pantalla adicional al segundo dispositivo.
El control de la pantalla de visualización en el primer dispositivo y la pantalla adicional que se vincularán entre sí puede incluir el reconocimiento de una entrada del usuario en la pantalla adicional en el segundo dispositivo mediante el uso de una cámara, y finalizar la pantalla adicional y transmitir información que indique el final de la pantalla adicional al primer dispositivo cuando se reconoce la entrada del usuario.
De acuerdo con otro aspecto de la presente divulgación, un procedimiento para procesar una pantalla usando un primer dispositivo que comprende un objeto, que es realizado por un segundo dispositivo, se proporciona. El procedimiento incluye reconocer, en el segundo dispositivo, el objeto al recibir información relacionada con el objeto desde el primer dispositivo y transmitir información que indica un resultado de reconocer el objeto al primer dispositivo, obtener, en el segundo dispositivo, información relativa a una pantalla de visualización relacionada con el objeto reconocido de acuerdo con una solicitud de visualización de pantalla adicional con respecto al primer dispositivo, determinar, en el segundo dispositivo, una pantalla adicional que se mostrará en una ubicación predeterminada en el objeto, basado en la información con respecto a la pantalla de visualización relacionada con el objeto, y mostrando la pantalla adicional en la ubicación predeterminada del objeto.
El procedimiento puede incluir además obtener información con respecto a la región de visualización que se establece en una ubicación predeterminada en el objeto desde el primer dispositivo.
La información relacionada con la pantalla de visualización relacionada con el objeto puede incluir información de forma del objeto, una ubicación y dirección de la pantalla adicional que se mostrará en el objeto, un tamaño de la pantalla adicional, información de contenido relacionada con la pantalla adicional e información de estado del objeto capturado con una cámara.
La información de estado del objeto puede incluir una ubicación y ángulo del objeto.
La información de estado del objeto puede actualizarse periódicamente utilizando la cámara.
La visualización de la pantalla adicional puede incluir la captura de una imagen del objeto mediante el uso de una cámara, extraer información sobre una ubicación y ángulo del objeto de la imagen capturada del objeto, y determinar una ubicación y dirección en la que se mostrará la pantalla adicional, según la ubicación y el ángulo del objeto.
La extracción de la información con respecto a la ubicación y el ángulo del objeto puede incluir recibir información de forma del objeto desde el primer dispositivo, extraer puntos característicos de la información de forma del objeto y comparar los puntos característicos de la información de forma del objeto con los puntos característicos de la imagen capturada del objeto para extraer la información con respecto a la ubicación y el ángulo del objeto.
De acuerdo con aún otro aspecto de la presente divulgación, un procedimiento para procesar una pantalla adicional usando un primer dispositivo, que es realizado por un segundo dispositivo, se proporciona. El procedimiento incluye obtener, en el segundo dispositivo, información sobre la pantalla adicional e información de estado del primer dispositivo de acuerdo con una solicitud de visualización de pantalla con respecto al primer dispositivo, determinar, en el segundo dispositivo, una ubicación en la que se mostrará la pantalla adicional, según la información sobre la pantalla adicional y la información de estado del primer dispositivo, mostrar la pantalla adicional en la ubicación determinada y controlar el primer y segundo dispositivo que se vincularán entre sí de acuerdo con una entrada del usuario relacionada con la pantalla adicional.
De acuerdo con otro aspecto más de la presente divulgación, un procedimiento para procesar una pantalla en un segundo dispositivo, que es realizado por un primer dispositivo, se proporciona. El procedimiento incluye transmitir, en el primer dispositivo, una pantalla de visualización e información relacionada con la pantalla de visualización al segundo dispositivo de acuerdo con una solicitud de visualización de pantalla, recibir, en el primer dispositivo, información de control sobre una pantalla adicional que se muestra en el segundo dispositivo desde el segundo dispositivo y actualizar, en el primer dispositivo, la información relacionada con la pantalla de visualización de acuerdo con la información de control.
La información relacionada con la pantalla de visualización puede incluir una ubicación de la pantalla adicional que se mostrará cerca de la pantalla de visualización en el dispositivo, tamaño de la pantalla adicional e información de contenido relacionada con la pantalla adicional.
De acuerdo con otro aspecto más de la presente divulgación, se proporciona un aparato para procesar una pantalla usando un dispositivo. El aparato incluye una unidad de visualización configurada para mostrar una imagen, una unidad de comunicación configurada para recibir una pantalla de visualización en el dispositivo e información relacionada con la pantalla de visualización de acuerdo con una solicitud de visualización de pantalla con respecto al dispositivo, y una unidad de control configurada para obtener una pantalla adicional basada en la información relacionada con la pantalla de visualización obtenida por la unidad de comunicación, visualizar la pantalla adicional en la unidad de visualización de modo que la pantalla adicional se muestre cerca de la pantalla de visualización en el dispositivo, y controlar la pantalla de visualización en el dispositivo y la pantalla adicional que se vinculará entre sí según una entrada del usuario.
La unidad de control puede fotografiar una forma del dispositivo utilizando una cámara, extraer información sobre la ubicación y el ángulo de una pantalla del dispositivo a partir de información de estado basada en la forma del dispositivo, y determinar una región en la que se mostrará la pantalla adicional, según la ubicación y el ángulo de la pantalla del dispositivo.
La unidad de control puede controlar la pantalla de visualización en el dispositivo y la pantalla adicional que se vinculará entre sí según una entrada del usuario realizada en el dispositivo y una entrada del usuario relacionada con la pantalla adicional.
La unidad de control puede reconocer una entrada del usuario en la pantalla adicional a través de la cámara, finaliza la pantalla adicional cuando la entrada del usuario indica que finalice la pantalla adicional y transmite información que informa el final de la pantalla adicional al dispositivo.
De acuerdo con otro aspecto más de la presente divulgación, se proporciona un medio de grabación legible por ordenador no transitorio. El medio de grabación ha grabado al menos un programa que incluye instrucciones para realizar un procedimiento de procesamiento de una pantalla en un primer dispositivo, realizado por un segundo dispositivo. El procedimiento incluye obtener, en el segundo dispositivo, una pantalla de visualización mostrada en el primer dispositivo e información relacionada con la pantalla de visualización de acuerdo con una solicitud de visualización de pantalla con respecto al primer dispositivo, determinar, en el segundo dispositivo, una pantalla adicional basada en la información relacionada con la pantalla de visualización y que muestra la pantalla adicional cerca de la pantalla de visualización en el primer dispositivo.
Otros aspectos, ventajas y características destacadas en la divulgación se harán evidentes para los expertos en la materia a partir de la siguiente divulgación detallada, que, tomada en conjunto con los dibujos adjuntos, desvela diversas realizaciones de la presente divulgación.
Breve descripción de los dibujos
Los anteriores y otros aspectos, características y ventajas de ciertas realizaciones de la presente divulgación se harán más evidentes a partir de la siguiente descripción tomada en conjunto con los dibujos adjuntos, en los que:
La figura 1 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación;
La figura 2 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación;
La figura 3 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación;
La figura 4 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación;
La figura 5 es un diagrama que ilustra un caso en el que un segundo dispositivo procesa una pantalla adicional para ser vinculada a una pantalla en un primer dispositivo de acuerdo con una realización de la presente divulgación;
La figura 6 es un diagrama que ilustra un caso en el que un segundo dispositivo muestra una pantalla adicional de tipo imagen virtual alrededor de un objeto de acuerdo con una realización de la presente divulgación;
La figura 7 es un diagrama que ilustra un caso en el que un segundo dispositivo muestra pantallas adicionales para vincular a un objeto de acuerdo con una realización de la presente divulgación;
La figura 8 es un diagrama de flujo de un procedimiento para procesar una pantalla vinculada a una pantalla que se muestra en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 9 es un diagrama de flujo de un procedimiento para procesar una pantalla vinculada a una pantalla que se muestra en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 10 es un diagrama de flujo de un procedimiento para procesar una pantalla que se muestra en un segundo dispositivo, realizado por un primer dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 11 es un diagrama de flujo de un procedimiento para procesar una pantalla utilizando el primer dispositivo en el que no se muestra ninguna pantalla, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 12 es un diagrama de flujo de un procedimiento para procesar una pantalla utilizando un primer dispositivo que incluye adicionalmente un objeto, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 13 es un diagrama de flujo de un procedimiento para mostrar una pantalla adicional que se vinculará a una pantalla que se muestra en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 14 es un diagrama de flujo de un procedimiento para mostrar una pantalla que se vinculará a una pantalla que se muestra en un primer dispositivo que incluye un objeto, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 15 es un diagrama de flujo de un procedimiento para controlar una pantalla adicional, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 16 es un diagrama de flujo de un procedimiento para controlar una pantalla adicional para finalizar, realizado por un primer dispositivo, de acuerdo con una realización de la presente divulgación;
La figura 17 es un diagrama de flujo de un procedimiento para controlar una pantalla adicional que se mostrará en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación;
Las figuras 18A y 18B son diagramas que ilustran un procedimiento para mostrar una pantalla adicional de tipo de imagen virtual cerca de una pantalla de visualización en un primer dispositivo y controlar la pantalla adicional, realizado por un segundo dispositivo, de acuerdo con diversas realizaciones de la presente divulgación;
Las figuras 19A y 19B son diagramas que ilustran un procedimiento para mostrar una pantalla adicional de tipo de imagen virtual cerca de una pantalla de visualización en un primer dispositivo y controlar la pantalla adicional, realizado por un segundo dispositivo, de acuerdo con diversas realizaciones de la presente divulgación;
La figura 20 es un diagrama que ilustra un procedimiento para mostrar una pantalla adicional de tipo de imagen tridimensional (3D) alrededor de una pantalla de visualización en un primer dispositivo y controlar la pantalla adicional, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación; La figura 21 es un diagrama de bloques de un primer dispositivo de acuerdo con una realización de la presente divulgación;
La figura 22 ilustra el exterior de un segundo dispositivo de acuerdo con una realización de la presente divulgación; y
Las figuras 23 y 24 son diagramas de bloques de segundos dispositivos de acuerdo con diversas realizaciones de la presente divulgación.
A través de los dibujos, números de referencia iguales se entenderá que se refieren a partes, componentes y estructuras.
Descripción detallada
La siguiente descripción con referencia a los dibujos adjuntos se proporciona para ayudar a una comprensión detallada de diversas realizaciones de la presente divulgación tal como es definida por las reivindicaciones y sus equivalentes. Esta incluye diversos detalles específicos para ayudar a esa comprensión, pero estos se han de considerar como meramente ilustrativos. Por consiguiente, los expertos en la materia reconocerán que pueden hacerse diversos cambios y modificaciones de las diversas realizaciones descritas en el presente documento sin apartarse del ámbito y espíritu de la presente divulgación. Además, por razones de claridad y concisión se pueden omitir las descripciones de funciones y construcciones bien conocidas.
Los términos y palabras usados en la siguiente divulgación y reivindicaciones no se limitan a sus significados bibliográficos, sino que, se usan meramente por el inventor para permitir una comprensión clara y consistente de la presente divulgación. Por consiguiente, debería ser evidente para los expertos en la materia que la siguiente descripción de diversas realizaciones de la presente divulgación se proporciona solo para fines de ilustración y no con el fin de limitar la presente divulgación tal como es definida por las reivindicaciones adjuntas y sus equivalentes.
Debe entenderse que las formas singulares "un", "una", y "el/la" incluyen referentes plurales a no ser que el contexto claramente indique lo contrario. Por lo tanto, por ejemplo, la referencia a "un componente superficial" incluye referencia a una o más de dichas superficies.
Se entenderá que, aunque los términos 'primero', 'segundo', 'tercero', etc., puede usarse en el presente documento para describir varios elementos, componentes, regiones, capas y/o secciones, estos elementos, componentes, regiones, las capas y/o secciones no deben estar limitados por estos términos. Estos términos solo se usan para distinguir un elemento, componente, región, capa o sección de otra región, capa o sección.
Los términos específicos utilizados en la presente divulgación no pretenden restringir el ámbito de la presente divulgación y solo se utilizan para una mejor comprensión de (para facilitar la comprensión de) diversas realizaciones de la presente divulgación. En la presente divulgación, se seleccionan los términos generales que se han usado ampliamente hoy en día, si es posible, en consideración de las funciones de la presente divulgación, pero los términos no generales pueden seleccionarse de acuerdo con las intenciones de los técnicos en la materia, precedentes o nuevas tecnologías, etc. Algunos términos pueden ser elegidos arbitrariamente por el presente solicitante. En este caso, los significados de estos términos se explicarán en las partes correspondientes de la presente divulgación en detalle. Por lo tanto, los términos utilizados en el presente documento deben definirse no en función de los nombres de los mismos, sino en función de sus significados y del contexto completo de la presente divulgación.
Se entenderá además que los términos "comprende" y/o "que comprende", cuando se usa en esta memoria descriptiva, especifican la presencia de características declaradas, integrantes, operaciones, elementos y/o componentes declarados, pero no excluye la presencia o adición de una o más características adicionales, integrantes, operaciones, elementos, componentes y/o grupos de los mismos. Tal como se usan en el presente documento, el término "y/o" incluye cualquiera y todas las combinaciones de uno o más de los artículos enumerados asociados. Las expresiones tales como "al menos uno/a de", cuando precedan a una lista de elementos, modifican la lista completa de elementos y no modifican los elementos individuales de la lista.
La figura 1 es un diagrama de bloques de un sistema configurado para procesar información de pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación.
Con referencia a la figura 1, el primer dispositivo 1000 puede solicitar al segundo dispositivo 2000 que muestre una pantalla adicional, y procese la pantalla adicional de acuerdo con un comando de control y la información de pantalla recibida del segundo dispositivo 2000. En este punto, la pantalla adicional puede ser una imagen virtual vinculada a una pantalla principal.
Los ejemplos del primer dispositivo 1000 pueden incluir, pero no se limitan a, un terminal portátil, un teléfono inteligente, un ordenador personal (PC), una tableta PC, un teléfono móvil, una televisión inteligente (TV), un asistente digital personal (PDA), un ordenador portátil, un reproductor multimedia, un dispositivo de sistema de posicionamiento global (GPS), un terminal de libro electrónico, una terminal de transmisión digital, un dispositivo de navegación, un quiosco, un reproductor de capa 3 de audio (MP3) del grupo de expertos de imágenes en movimiento fase 1 o fase 2 (MPEG-1 o MPEG-2), una cámara digital y otros dispositivos informáticos móviles o no móviles. El primer dispositivo 1000 puede incluir varios dispositivos capaces de recibir una entrada táctil, por ejemplo, un tablón de anuncios electrónico, una mesa táctil, etc. El primer dispositivo 1000 puede incluir una pantalla o puede no incluir una pantalla.
Además, el primer dispositivo 1000 puede tener una función de comunicación y una función de procesamiento de datos, pero no está limitado a esto. El primer dispositivo 1000 incluye varios dispositivos capaces de recibir información del segundo dispositivo 2000 a través de una red y ejecutar la información.
El segundo dispositivo 2000 puede recibir información con respecto a una pantalla adicional junto con una solicitud de visualización de pantalla de visualización del primer dispositivo 1000. La solicitud de visualización de pantalla puede ser generada por el primer dispositivo 1000 o el segundo dispositivo 2000 de acuerdo con una entrada del usuario. El segundo dispositivo 2000 puede capturar una imagen del primer dispositivo 1000 a través de una cámara, y analizar un estado del primer dispositivo 1000 basado en la imagen. El segundo dispositivo 2000 puede determinar una ubicación y una dirección en la que se mostrará la pantalla adicional, basado en la información de estado del primer dispositivo 1000 y la información relacionada con la pantalla adicional. El segundo dispositivo 2000 puede mostrar la pantalla adicional que se vinculará a una pantalla en el primer dispositivo 1000. El segundo dispositivo 2000 puede controlar la pantalla adicional que se vinculará a una pantalla en el primer dispositivo 1000 de acuerdo con una entrada del usuario. En este caso, la entrada del usuario para el segundo dispositivo 2000 puede ser una entrada táctil o una entrada de botón que es ingresada por un usuario pero no está limitada a la misma.
De acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 puede capturar una imagen de la forma del primer dispositivo 1000 usando una cámara y transmitir la imagen de la forma al primer dispositivo 1000. El primer dispositivo 1000 determina una región o una ubicación en la que se mostrará la pantalla adicional, basado en la imagen de la forma del primer dispositivo 1000, y transmitir al segundo dispositivo 2000 información sobre la región o la ubicación en la que se mostrará la pantalla adicional.
Los ejemplos del segundo dispositivo 2000 pueden incluir, pero no se limitan a, una pantalla montada en la cabeza (HMD), un PC, un televisor inteligente, un terminal de transmisión digital y otros dispositivos informáticos móviles/no móviles. El segundo dispositivo 2000 puede incluir varios dispositivos capaces de recibir una entrada táctil, por ejemplo, un tablón de anuncios electrónico, una mesa táctil, etc.
El segundo dispositivo 2000 puede mostrar la pantalla adicional en una pantalla del mismo en forma de realidad aumentada (AR), realidad mixta (MR) o realidad virtual (VR).
El segundo dispositivo 2000 puede mostrar una pantalla virtual en una pantalla transparente o no transparente.
El segundo dispositivo 2000 puede ser anteojos o un dispositivo usado en el cuerpo tal como una banda de mano que tiene una función de comunicación y una función de procesamiento de datos, pero no se limita a los mismos.
El primer dispositivo 1000 y el segundo dispositivo 2000 pueden estar conectados a través de una red. La red puede ser una red cableada, como una red de área local (LAN), una red de área amplia (WAN) o una red de valor agregado (VAN), o varios tipos de redes inalámbricas, como una red de comunicación de radio móvil o una red de comunicación satelital.
Como se ha descrito anteriormente, de acuerdo con diversas realizaciones de la presente divulgación, se puede proporcionar diversa información visual al exponer, en la pantalla del segundo dispositivo, información relacionada con una pantalla real mostrada en el primer dispositivo 1000 usando una entrada de usuario para el segundo dispositivo 2000 mientras un usuario ve el primer dispositivo 1000 usando el segundo dispositivo 2000, y se puede proporcionar un entorno interactivo conveniente controlando alternativamente una pantalla virtual y la pantalla real.
La figura 2 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación.
El primer dispositivo 1000 puede incluir adicionalmente un objeto 1000a que tiene funciones limitadas o que no tiene función. De acuerdo con una realización de la presente divulgación, el objeto 1000a puede ser una banda que tiene al menos una función de control y una función de sensor, o una pulsera o una pegatina que no tiene función.
Por ejemplo, un usuario puede usar el objeto 1000a, como una banda con funciones limitadas, en su muñeca, y el primer dispositivo 1000 puede ser un dispositivo separado que puede estar fuera de la vista o un dispositivo o una aplicación que está presente en una red.
De acuerdo con una realización de la presente divulgación, si el primer dispositivo 1000 establece, como una región de visualización, una muñeca humana o un objeto natural como papel blanco de un diario o papel tapiz, el segundo dispositivo 2000 informa al primer dispositivo 1000 de un evento de reconocimiento de objetos naturales, y muestra una pantalla adicional en una ubicación correspondiente al objeto natural de acuerdo con una solicitud de la pantalla adicional, que se recibe del primer dispositivo 1000, cuando el segundo dispositivo 2000 reconoce el objeto natural usando una cámara.
De acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 puede designar un objeto, basado en una imagen capturada. El segundo dispositivo 2000 puede recibir información de imagen capturada del primer dispositivo 1000 y determinar una ubicación en la que se mostrará una pantalla adicional. Por ejemplo, cuando el primer dispositivo 1000 captura una imagen de la muñeca de un usuario y designa la imagen de la muñeca del usuario como un objeto, el segundo dispositivo 2000 muestra un reloj virtual en la imagen de la muñeca del usuario. Cuando el primer dispositivo 1000 captura una imagen de una nota en blanco y designa la imagen de la nota en blanco como un objeto, el segundo dispositivo 2000 puede mostrar una tableta virtual en la imagen de la imagen en blanco.
La figura 3 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación.
Con referencia a la figura 3, el primer dispositivo 1000 puede ser un dispositivo o una aplicación que está presente en una nube 1000b. El primer dispositivo 1000 presente en la nube 1000b puede incluir adicionalmente un objeto 1000a.
La figura 4 es un diagrama de bloques de un sistema configurado para procesar una pantalla entre un primer dispositivo y un segundo dispositivo de acuerdo con una realización de la presente divulgación.
Con referencia a la figura 4, el primer dispositivo 1000 puede ser un dispositivo de control o una aplicación que está presente en el segundo dispositivo 2000. El primer dispositivo 1000 presente en el segundo dispositivo 2000 puede incluir adicionalmente un objeto 1000a.
La figura 5 es un diagrama que ilustra un caso en el que un segundo dispositivo 2000 procesa una pantalla adicional para unirse a una pantalla de un primer dispositivo 1000 de acuerdo con una realización de la presente divulgación.
De acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 puede ser un dispositivo móvil y el segundo dispositivo 2000 puede ser un tipo de anteojos HMD.
De acuerdo con una realización de la presente divulgación, el tipo de anteojos HMD puede incluir una lente a través de la cual se ve un espacio real, y una unidad de visualización conectada a una ubicación en la lente y configurada para mostrar una imagen virtual. El tipo de anteojos HMD se describirá con más detalle con referencia a la figura 22 a continuación.
La figura 5 ilustra una pantalla de vidrio que es una combinación de una pantalla real que aparece en la vista del usuario a través de un HMD tipo de anteojos y una imagen virtual.
La pantalla de cristal 100 significa una pantalla que un usuario ve a través de la lente y la unidad de visualización del HMD.
Con referencia a la figura 5, un usuario puede ver una pantalla de visualización 40 que se muestra realmente en el primer dispositivo 1000, y pantallas adicionales 50, 60, 70 y 80 que se muestran en el segundo dispositivo 2000 usando el HMD. En este punto, la pantalla de visualización 40 que se muestra en el primer dispositivo 1000 es una pantalla real vista a través de la lente del HMD, y las pantallas adicionales 50, 60, 70 y 80 que se muestran en el segundo dispositivo 2000 son imágenes virtuales vistas cerca del primer dispositivo 1000 a través de la unidad de visualización del HMD.
Es decir, en la pantalla de cristal 100 del segundo dispositivo 200, se muestra la pantalla de visualización 40 mostrada en el primer dispositivo 1000 y las pantallas adicionales 50, 60, 70 y 80 se muestran cerca de la pantalla de visualización 40.
Por lo tanto, un usuario sentiría como si la pantalla de visualización 40 mostrada en el primer dispositivo 1000 y las pantallas adicionales 50, 60, 70 y 80 se mostraran en el segundo dispositivo 2000.
De acuerdo con una realización de la presente divulgación, cuando el segundo dispositivo 2000 muestra pantallas adicionales a través del primer dispositivo 1000 en el que no se muestra nada, el segundo dispositivo 2000 puede mostrar una imagen de reloj virtual en una superficie del primer dispositivo 1000, y mostrar iconos de carpetas de aplicaciones virtuales en los lados izquierdo y derecho de la imagen de reloj virtual.
La figura 6 es un diagrama que ilustra un caso en el que un segundo dispositivo muestra una pantalla adicional de tipo imagen virtual alrededor de un objeto de acuerdo con una realización de la presente divulgación.
Con referencia a la figura 6, un primer dispositivo puede incluir adicionalmente un objeto 1000a que tiene funciones limitadas o que no tiene función. El primer dispositivo 1000 puede transmitir información relacionada con el objeto al segundo dispositivo 2000.
El segundo dispositivo 2000 obtiene información predeterminada relacionada con el objeto del primer dispositivo 1000. El segundo dispositivo 2000 reconoce el objeto 1000a usando una cámara 2110 basada en la información relacionada con el objeto, e informa al primer dispositivo 1000 de información que contiene un resultado de reconocer el objeto 1000a. El segundo dispositivo 2000 obtiene información de visualización relacionada con el objeto 1000a según una solicitud de visualización de pantalla recibida desde el primer dispositivo 1000. El segundo dispositivo 2000 determina una pantalla adicional que se mostrará en una ubicación predeterminada en una imagen capturada del objeto 1000a a base de la información de visualización. El segundo dispositivo 2000 puede mostrar la pantalla adicional en una ubicación correspondiente a la imagen del objeto 1000a.
La figura 7 es un diagrama que ilustra un caso en el que un segundo dispositivo muestra pantallas adicionales para vincular a un objeto de acuerdo con una realización de la presente divulgación.
Con referencia a la figura 7, una pluralidad de pantallas adicionales 52, 62, 72 y 82 se muestran en una pantalla de vidrio 100 en el segundo dispositivo 2000 para que se vincule a un objeto 42 que tiene la forma de un reloj real. De acuerdo con una realización de la presente divulgación, las pantallas adicionales 52, 62, 72 y 82 pueden ser imágenes virtuales que se muestran en una pantalla de un HMD. En este punto, el objeto 42 que tiene la forma de un reloj real es una imagen de un reloj real visto a través de una lente del HMD, y las pantallas adicionales 52, 62, 72 y 82 son imágenes virtuales vistas cerca de la imagen del reloj real a través de una unidad de visualización de1HMD.
Un usuario sentiría que las pantallas adicionales 52, 62, 72 y 82 se muestran cerca del objeto 42 del primer dispositivo 1000 a través del segundo dispositivo 2000.
La figura 8 es un diagrama de flujo de un procedimiento para procesar información de pantalla vinculada a una pantalla que se muestra en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 8, en la operación 210, el segundo dispositivo 2000 obtiene una pantalla de visualización visualizada en el primer dispositivo 1000 e información relacionada con la pantalla de visualización según una solicitud de visualización de pantalla con respecto al primer dispositivo 1000. Por ejemplo, la información relacionada con la pantalla de visualización puede incluir información sobre la ubicación de pantallas adicionales que se mostrarán cerca de la pantalla de visualización en el primer dispositivo 1000, los tamaños de las pantallas adicionales, el contenido de las pantallas adicionales y la información del estado del primer dispositivo 1000 capturado con una cámara. De acuerdo con una realización de la presente divulgación, las pantallas adicionales pueden ser imágenes virtuales que se muestran en una pantalla de un HMD.
En este caso, la solicitud de visualización de pantalla con respecto al primer dispositivo 1000 puede ser generada por el primer dispositivo 1000 o el segundo dispositivo 2000 de acuerdo con una entrada del usuario. De acuerdo con una realización de la presente divulgación, la solicitud de visualización de pantalla con respecto al primer dispositivo 1000 puede transmitirse conectando el primer dispositivo 1000 y el segundo dispositivo 2000 a través de una red o reconociendo el primer dispositivo 1000 usando una cámara del segundo dispositivo 2000 pero no se limita a los mismos.
El primer dispositivo 1000 puede seleccionar un menú y generar un comando para mostrar pantallas adicionales relacionadas con el menú de acuerdo con una entrada del usuario, como un gesto, un toque o voz. El segundo dispositivo 2000 puede recibir el comando para mostrar pantallas adicionales relacionadas con el menú desde el primer dispositivo 1000. Además, el segundo dispositivo 2000 puede recibir pantallas adicionales relacionadas con un menú configurado previamente por el primer dispositivo 1000. Las pantallas adicionales pueden ser, por ejemplo, una pluralidad de imágenes virtuales (como "FOTO", "APP", "S-health" y "Galería") que no se muestran en una pantalla de visualización del primer dispositivo 1000 debido a restricciones de espacio del primer dispositivo 1000. Los ejemplos de pantallas adicionales pueden incluir varios tipos de pantallas que pueden mostrarse en la pantalla de visualización del primer dispositivo 1000.
Además, el segundo dispositivo 2000 captura una imagen de una forma del primer dispositivo 1000 usando una cámara. El segundo dispositivo 2000 puede fotografiar el primer dispositivo 1000 para determinar la ubicación y el ángulo de la pantalla en el primer dispositivo 1000 usando una cámara, y recibir, en tiempo real, una imagen de la forma del primer dispositivo 1000 capturado por la cámara.
En la operación 220, el segundo dispositivo 2000 determina que se muestren pantallas adicionales cerca de la pantalla de visualización en el primer dispositivo 1000, basado en la información relacionada con la pantalla de visualización del primer dispositivo 1000.
En la operación 230, el segundo dispositivo 2000 muestra las pantallas adicionales cerca de la pantalla de visualización en el primer dispositivo 1000. De acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 puede mostrar las pantallas adicionales en ubicaciones predeterminadas cerca de la pantalla de visualización en el primer dispositivo 1000. El segundo dispositivo 2000 puede determinar ubicaciones y direcciones en las que se mostrarán las pantallas adicionales, basado en la información de forma capturada del primer dispositivo 1000 y la información relacionada con la pantalla de visualización del primer dispositivo 1000. En un procedimiento para determinar ubicaciones y direcciones en las que se mostrarán pantallas adicionales de acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 puede reconocer la forma del primer dispositivo 1000 fotografiado por una cámara, extraer información sobre la ubicación y el ángulo de una pantalla de visualización del primer dispositivo 1000 a partir de la información sobre la forma del primer dispositivo 1000, y determinar ubicaciones y direcciones correspondientes a las regiones en las que se mostrarán las pantallas adicionales, basado en la ubicación y el ángulo de la pantalla de visualización del primer dispositivo 1000. De acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 puede fotografiar la pantalla de visualización en el primer dispositivo 1000 usando la cámara, y visualizar la pantalla de visualización y las pantallas adicionales determinadas.
Por consiguiente, de acuerdo con una realización de la presente divulgación, un usuario puede ver, a través del segundo dispositivo 2000, la pantalla de visualización que se muestra en el primer dispositivo 1000 y las pantallas adicionales que se muestran en el segundo dispositivo 2000.
La figura 9 es un diagrama de flujo de un procedimiento para procesar una pantalla vinculada a una pantalla que se muestra en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
En la figura 9, las operaciones 215, 225 y 235 son sustancialmente las mismas que las operaciones 210, 220 y 230 de la figura 4 y no se describen en el presente documento nuevamente.
Con referencia a las figuras 1 y 9, en la operación 245, el segundo dispositivo 2000 controla pantallas adicionales que se vincularán a una pantalla de visualización visualizada en el primer dispositivo 1000. Las pantallas adicionales en el segundo dispositivo 2000 y la pantalla de visualización en el primer dispositivo 1000 se controlan para vincularse entre sí. Un usuario puede cambiar una pantalla de visualización del primer dispositivo 1000 manipulando las pantallas adicionales en el segundo dispositivo 2000 o cambiar las pantallas adicionales en el segundo dispositivo 2000 seleccionando un menú del primer dispositivo 1000. El segundo dispositivo 2000 puede controlar las pantallas adicionales del mismo que se vincularán a la pantalla de visualización en el primer dispositivo 1000 de acuerdo con una entrada del usuario que se ingresa para el primer dispositivo 1000 o que se ingresa realizando un gesto de reconocimiento de cámara en el segundo dispositivo 2000. En este caso, la entrada del usuario para el primer dispositivo 1000 puede ingresarse realizando un gesto específico, una entrada táctil, o una entrada de voz de un usuario, pero no se limita a los mismos. La entrada del usuario para el segundo dispositivo 2000 puede ingresarse realizando un gesto de reconocimiento de cámara, una entrada táctil, una entrada de botón, o una entrada de voz, pero no se limita a los mismos. Por ejemplo, cuando se toca un menú 'Galería' en una pantalla adicional que se muestra vinculada a la pantalla de visualización en el primer dispositivo 1000 al realizar un gesto específico, el menú 'Galería' puede mostrarse en la pantalla de visualización del primer dispositivo 1000. Además, el primer dispositivo 1000 puede finalizar la pantalla adicional transmitiendo un comando para finalizar la pantalla adicional al segundo dispositivo 2000. El segundo dispositivo 2000 puede finalizar la pantalla adicional cuando se reconoce una entrada del usuario en la pantalla adicional a través de una cámara, y transmitir información que indica el final de la pantalla adicional al primer dispositivo 1000. Cuando el primer dispositivo 1000 recibe la información que indica el final de la pantalla adicional del segundo dispositivo 2000, el primer dispositivo 1000 puede mostrar un resultado de procesar un resultado de procesar la pantalla adicional en una pantalla real. De acuerdo con una realización de la presente divulgación, cuando el segundo dispositivo 2000 es un HMD, Los ejemplos de un gesto realizado en la pantalla adicional pueden incluir un gesto táctil realizado al tocar la pantalla adicional y un gesto de movimiento realizado, por ejemplo, dibujando una 'X' en la pantalla adicional.
La figura 10 es un diagrama de flujo de un procedimiento para procesar una pantalla que se muestra en un segundo dispositivo, realizado por un primer dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 10, en la operación 250, el primer dispositivo 1000 transmite una pantalla de visualización e información relacionada con la pantalla de visualización al segundo dispositivo 2000 de acuerdo con una entrada del usuario que solicita que se muestre una pantalla. La información relacionada con la pantalla de visualización puede incluir una ubicación y dirección en la que se expondrá una pantalla adicional cerca de la pantalla de visualización en el primer dispositivo 1000, el tamaño de la pantalla adicional y la información de contenido relacionada con la pantalla adicional. De acuerdo con una realización de la presente divulgación, la pantalla adicional puede ser una imagen virtual que se muestra en una pantalla de un HMD.
En la operación 260, el primer dispositivo 1000 recibe información de entrada del usuario con respecto a la pantalla adicional del segundo dispositivo 2000. Por ejemplo, el primer dispositivo 1000 recibe información para seleccionar la pantalla adicional del segundo dispositivo 2000.
En la operación 270, el primer dispositivo 1000 actualiza la información relacionada con la pantalla de visualización del primer dispositivo 1000, basado en la información de entrada del usuario recibida del segundo dispositivo 2000. Por ejemplo, el primer dispositivo 1000 puede actualizar la pantalla de visualización vinculada a la pantalla adicional seleccionada por el segundo dispositivo 2000.
La figura 11 es un diagrama de flujo de un procedimiento para procesar una pantalla utilizando un primer dispositivo en el que no se muestra ninguna pantalla, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 11, en la operación 310, el segundo dispositivo 2000 recibe información con respecto a una pantalla adicional de acuerdo con una solicitud de visualización de pantalla adicional con respecto al primer dispositivo 1000. Por ejemplo, la información sobre la pantalla adicional puede incluir información de ubicación, información de contenido e información de tamaño de la pantalla adicional que se expondrá en una superficie del primer dispositivo 1000.
En la operación 320, el segundo dispositivo 2000 obtiene una imagen de la forma del primer dispositivo 1000 usando una cámara. El segundo dispositivo 2000 puede detectar la ubicación y el ángulo del primer dispositivo 1000 fotografiando el primer dispositivo 1000 usando la cámara, reciba en tiempo real una imagen de la forma del primer dispositivo 1000 capturado con la cámara, y actualice periódicamente la imagen de la forma del primer dispositivo 1000 con la cámara.
En la operación 330, el segundo dispositivo 2000 determina una ubicación en la que se mostrará la pantalla adicional, basado en la imagen capturada de la forma del primer dispositivo 1000 y la información sobre la pantalla adicional. El segundo dispositivo 2000 extrae las coordenadas de la ubicación del primer dispositivo 1000 y el ángulo de una pantalla de visualización del primer dispositivo 1000 analizando la forma del primer dispositivo 1000, y determina una ubicación específica en el primer dispositivo 1000 en el que se mostrará la pantalla, basado en las coordenadas de la ubicación y el ángulo.
En la operación 340, el segundo dispositivo 2000 muestra la pantalla adicional en la ubicación determinada. Por ejemplo, el segundo dispositivo 2000 puede mostrar una pantalla de observación en el primer dispositivo 1000, y puede mostrar iconos de carpetas de aplicaciones en los lados izquierdo y derecho de la pantalla de observación.
En la operación 350, el segundo dispositivo 2000 controla la pantalla adicional que se vinculará con el primer dispositivo 1000. El segundo dispositivo 2000 puede controlar la pantalla adicional que se vinculará con el primer dispositivo 1000 de acuerdo con una entrada del usuario para el primer dispositivo 1000 y una entrada del usuario para el segundo dispositivo 2000. En este caso, la entrada del usuario para el primer dispositivo 1000 puede ingresarse realizando un gesto específico, una entrada táctil, una entrada de botón, o una entrada de voz de un usuario, pero no se limita a los mismos. La entrada del usuario para el segundo dispositivo 2000 puede ingresarse realizando un gesto de reconocimiento de cámara, una entrada táctil, una entrada de botón, o una entrada de voz, pero no se limita a los mismos. Por ejemplo, cuando el primer dispositivo 1000 recibe información táctil para un icono de carpeta de aplicación virtual del segundo dispositivo 2000, el primer dispositivo 1000 transmite información sobre una pantalla adicional relacionada con la carpeta de aplicación tocada al segundo dispositivo 2000. Además, el segundo dispositivo 2000 muestra, en una superficie predeterminada del primer dispositivo 1000, una pantalla adicional relacionada con una carpeta de aplicación recibida del primer dispositivo 1000.
La figura 12 es un diagrama de flujo de un procedimiento de procesamiento de una pantalla, mediante el uso de un primer dispositivo que incluye adicionalmente un objeto, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 12, en la operación 365, el segundo dispositivo 2000 obtiene información predeterminada relacionada con el objeto del primer dispositivo 1000. Por ejemplo, cuando un objeto es una banda, la información relacionada con el objeto puede ser información con respecto a la forma o ubicación de una banda relacionada con el primer dispositivo 1000.
En la operación 370, el segundo dispositivo 2000 reconoce el objeto usando una cámara, basado en la información relacionada con el objeto, y transmite información que indica un resultado de reconocer el objeto al primer dispositivo 1000.
En la operación 375, el segundo dispositivo 2000 obtiene información de visualización relacionada con el objeto de acuerdo con una solicitud de visualización de pantalla, que se recibe del primer dispositivo 1000.
Por ejemplo, la información de visualización relacionada con el objeto puede incluir la ubicación de una pantalla adicional que se mostrará en el objeto, el tamaño de la pantalla adicional, información de contenido relacionada con la pantalla adicional e información de forma del objeto capturado con una cámara.
En la operación 380, el segundo dispositivo 2000 determina una pantalla adicional que se mostrará en una ubicación predeterminada en el objeto, basado en la información de visualización relacionada con el objeto.
En la operación 385, el segundo dispositivo 2000 muestra la pantalla adicional en una ubicación correspondiente al objeto. De acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 puede mostrar la pantalla adicional en el objeto 1000a relacionado con el primer dispositivo 1000. El segundo dispositivo 2000 puede determinar una ubicación en la que se mostrará la pantalla adicional, basado en la información de estado capturada del objeto 1000a. En un procedimiento para determinar una ubicación en la que se mostrará una pantalla adicional de acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 puede reconocer información de estado del objeto 1000a capturado usando una cámara, extrae información sobre las coordenadas de la ubicación y el ángulo del objeto 1000a a partir de la información de estado del objeto 1000a, y determina una región en la que se mostrará la pantalla adicional, basado en la ubicación y el ángulo del objeto 1000a.
En un procedimiento de procesamiento de una pantalla usando un primer dispositivo de acuerdo con una realización de la presente divulgación, un objeto puede ser un objeto natural, como una parte del cuerpo humano, papel blanco de un diario y un calendario.
Es decir, el primer dispositivo 1000 establece una palma humana como una región de visualización e informa al segundo dispositivo 2000 de información con respecto a la región de visualización. El segundo dispositivo 2000 informa al primer dispositivo 1000 de un evento de reconocimiento cuando la palma humana se reconoce usando una cámara, y puede mostrar un teclado virtual o un calendario en una región correspondiente a la palma humana de acuerdo con una solicitud de una pantalla adicional del primer dispositivo 1000.
La figura 13 es un diagrama de flujo de un procedimiento para mostrar una pantalla adicional que se vinculará a una pantalla que se muestra en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 13, de acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 es un dispositivo móvil y el segundo dispositivo 2000 es un HMD.
En la operación 410, el primer dispositivo 1000 verifica si se recibe una solicitud de visualización de pantalla adicional relacionada con una pantalla de visualización del mismo a través de una entrada del usuario realizada mediante un gesto, un toque, o la voz es mientras se muestra la pantalla de visualización en el primer dispositivo 1000. De acuerdo con una realización de la presente divulgación, la pantalla adicional puede ser una imagen virtual que se muestra en una pantalla de un HMD.
En la operación 415, cuando se determina que se recibe la solicitud de visualización de pantalla adicional, el primer dispositivo 1000 transmite, al segundo dispositivo 2000, información relativa a la pantalla adicional relacionada con la pantalla de visualización del primer dispositivo 1000 junto con una señal de activación correspondiente a la solicitud de visualización de pantalla adicional. Por ejemplo, cuando un usuario desea expandir y ver la pantalla de visualización del primer dispositivo 1000, el primer dispositivo 1000 puede transmitir la información con respecto a la pantalla adicional al segundo dispositivo 2000 mientras solicita al segundo dispositivo 2000 que muestre la pantalla adicional.
En este caso, la información sobre la pantalla adicional puede incluir información de forma del primer dispositivo 1000, información de contenido relacionada con la pantalla adicional, información de ubicación de la información adicional que se mostrará en la pantalla de visualización del primer dispositivo 1000, información de imagen relacionada con la pantalla adicional y la información de tamaño de la pantalla adicional. Por ejemplo, cuando el primer dispositivo 1000 es un libro electrónico, la información de contenido relacionada con la pantalla adicional puede ser una tabla virtual de contenido de los libros electrónicos, la información de ubicación de la pantalla adicional puede ser un lado derecho de una pantalla del libro electrónico, y la información de tamaño de la pantalla adicional puede ser sustancialmente la misma que la información de tamaño de una pantalla de visualización en el libro electrónico. Además, cuando un usuario selecciona la tabla de contenido virtual del libro electrónico en la pantalla adicional que tiene la forma de una imagen virtual, la información de ubicación de la pantalla adicional puede estar al lado derecho de una pantalla de la lista de libros electrónicos virtuales en el libro electrónico, y la información de tamaño de la pantalla adicional puede ser el 70 % del tamaño de la pantalla de la tabla virtual de contenidos del libro electrónico.
En la operación 420, el segundo dispositivo 2000 recibe la solicitud de visualización de pantalla adicional y la información con respecto a la pantalla adicional del primer dispositivo 1000.
En la operación 425, cuando el segundo dispositivo 2000 recibe información sobre una pantalla adicional y la solicitud de visualización de pantalla adicional del primer dispositivo 1000, el segundo dispositivo 2000 fotografía la forma del primer dispositivo 1000 usando una cámara.
En la operación 430, el segundo dispositivo 2000 reconoce el estado del primer dispositivo 100 basándose en la forma del primer dispositivo 100 para determinar una ubicación en la que se va a visualizar la pantalla adicional. En este caso, la información sobre el estado del primer dispositivo 1000 reconocido puede incluir el tipo de dispositivo y la ubicación y ángulo de la pantalla de visualización.
En la operación 435, el segundo dispositivo 2000 extrae información sobre la ubicación y el ángulo de una pantalla de visualización del primer dispositivo 1000 a partir de la información sobre el estado del primer dispositivo 1000, y determina una ubicación y dirección en la que se mostrará la pantalla adicional en el primer dispositivo 1000, según la ubicación y el ángulo de la pantalla de visualización del primer dispositivo 1000 y la información sobre la pantalla adicional. La información con respecto a la ubicación y el ángulo de la pantalla de visualización del primer dispositivo 1000 puede extraerse usando procedimientos de acuerdo con diversas realizaciones de la presente divulgación.
De acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 recibe información de forma del primer dispositivo 1000 del primer dispositivo 1000. El segundo dispositivo 2000 extrae puntos de características de la información de forma del primer dispositivo. El segundo dispositivo 2000 determina la ubicación de la pantalla de visualización en el primer dispositivo 1000 comparando los puntos característicos de una imagen del primer dispositivo 1000 capturado usando una cámara con los puntos característicos de la información de forma del primer dispositivo. Además, el segundo dispositivo 2000 determina el ángulo de la pantalla de visualización, basado en la relación entre los puntos de característica de la imagen del primer dispositivo 1000 y los puntos de característica de la información de forma. Por ejemplo, el segundo dispositivo 2000 determina que el ángulo de la pantalla de visualización en el primer dispositivo 1000 se enfrenta exactamente a una dirección frontal cuando las distancias entre cuatro puntos de característica en los cuatro vértices del primer dispositivo 1000 son iguales, y determina que el ángulo de la pantalla de visualización se inclina cuando las distancias entre cuatro puntos de característica en los cuatro vértices del primer dispositivo 1000 no son las mismas.
En la operación 440, el segundo dispositivo 2000 muestra la pantalla adicional vinculada a la pantalla de visualización del primer dispositivo 1000, según la ubicación de la pantalla de visualización y la información relacionada con la pantalla adicional. De acuerdo con una realización de la presente divulgación, la pantalla de visualización del primer dispositivo 1000 y la pantalla adicional se muestran en una pantalla de cristal de un HMD. Por lo tanto, un usuario puede ver la pantalla de visualización en el primer dispositivo 1000 y la pantalla adicional a través del segundo dispositivo 2000.
La figura 14 es un diagrama de flujo de un procedimiento para mostrar una pantalla que se vinculará a una pantalla que se muestra en un primer dispositivo que incluye un objeto, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 14, de acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 es un dispositivo móvil y el segundo dispositivo 2000 es un HMD. El primer dispositivo 1000 incluye adicionalmente un objeto 1000a que tiene funciones limitadas o que no tiene función como se ilustra en la figura 2. Por ejemplo, el objeto 1000a puede ser una pulsera, una pegatina o un calendario. En caso contrario, el objeto 1000a se puede proporcionar por separado del primer dispositivo 1000.
En la operación 450, el primer dispositivo 1000 transmite información relacionada con el objeto 1000a. La información relacionada con el objeto 1000a puede ser información de forma o información de ubicación del objeto 1000a. Por ejemplo, cuando el objeto 1000a es una banda, la información relacionada con el objeto 1000a puede ser información de forma o información de ubicación de la banda.
En la operación 455, al recibir la información relacionada con el objeto 1000a del primer dispositivo 1000, el segundo dispositivo 2000 reconoce la forma del objeto 1000a usando una cámara, basado en la información relacionada con el objeto 1000a. De acuerdo con una realización de la presente divulgación, cuando el objeto 1000a es una pulsera que no tiene función, el primer dispositivo 1000 no puede reconocer la visualización de la pulsera por parte de un usuario y, por lo tanto, el segundo dispositivo 2000 puede reconocer la pulsera usando la cámara. Sin embargo, cuando el objeto 1000a es una pulsera con funciones limitadas, el primer dispositivo 1000 es capaz de reconocer la visualización de la pulsera de un usuario y, por lo tanto, puede solicitar directamente al segundo dispositivo 2000 que muestre una pantalla adicional sin realizar una operación de reconocimiento. De acuerdo con una realización de la presente divulgación, cuando el primer dispositivo 1000 establece un objeto natural, por ejemplo, una muñeca humana, un diario, un calendario, etc., como una región de visualización, el segundo dispositivo 2000 puede reconocer el objeto natural usando la cámara.
En la operación 460, después de que el objeto 1000a sea reconocido usando la cámara, el segundo dispositivo 2000 transmite información que indica el resultado de reconocer el objeto al primer dispositivo 1000. De acuerdo con una realización de la presente divulgación, cuando se reconoce una pulsera usando la cámara, el segundo dispositivo 2000 puede informar al primer dispositivo 1000 de un evento de reconocimiento de pulsera.
En la operación 465, el primer dispositivo 1000 verifica que se reciba una solicitud de visualización de pantalla adicional a través de una entrada del usuario tal como el movimiento de un usuario, un toque o voz mientras se muestra una pantalla en el primer dispositivo 1000.
En la operación 470, cuando se determina que se recibe la solicitud de visualización de pantalla adicional, el primer dispositivo 1000 transmite información con respecto a una pantalla adicional del mismo al segundo dispositivo 200, junto con una señal de activación correspondiente a esta solicitud. Por ejemplo, cuando un usuario quiere mostrar una pantalla de menú en el objeto 1000a, el primer dispositivo 1000 puede transmitir una señal que solicita visualizar la pantalla adicional y la información con respecto a la pantalla adicional al segundo dispositivo 2000.
En este caso, la información sobre la pantalla adicional puede incluir el contenido de la pantalla adicional, información de ubicación de la pantalla adicional que se mostrará en una ubicación predeterminada en el objeto 1000a, información de contenido relacionada con la pantalla adicional y el tamaño de la pantalla adicional. De acuerdo con una realización de la presente divulgación, la pantalla adicional puede ser una imagen virtual que se muestra en una pantalla de un HMD.
En la operación 475, el segundo dispositivo 2000 obtiene la solicitud de visualización de pantalla adicional y la información con respecto a la pantalla adicional del primer dispositivo 1000.
En la operación 480, al recibir la solicitud de visualización de pantalla adicional y la información con respecto a la pantalla adicional con respecto al primer dispositivo 1000, el segundo dispositivo 2000 fotografía la forma del objeto 1000a usando la cámara.
En la operación 485, el segundo dispositivo 2000 reconoce el estado del objeto 1000a basándose en la forma del objeto 1000a para determinar una ubicación en la que se va a visualizar la pantalla adicional. En este caso, El estado reconocido del objeto 1000a puede incluir la ubicación y el ángulo del objeto 1000a. Por ejemplo, el segundo dispositivo 2000 puede reconocer la ubicación y el ángulo de una pulsera que es el objeto 1000a.
De acuerdo con una realización de la presente divulgación, el segundo dispositivo 2000 recibe información de forma del objeto 1000a del objeto 1000a. El segundo dispositivo 2000 extrae puntos de características de la información de forma. El segundo dispositivo 2000 determina la ubicación de la pantalla en el primer dispositivo 1000 comparando los puntos característicos de una imagen del objeto 1000a capturado usando una cámara con los puntos característicos de la información de forma del objeto 1000a. Además, el segundo dispositivo 2000 determina el ángulo de la pantalla, basado en la relación entre los puntos característicos de la imagen del objeto 1000a y los puntos característicos de la información de forma. Por ejemplo, el segundo dispositivo 2000 determina que el ángulo del objeto 1000a se enfrenta exactamente a una dirección frontal cuando las distancias entre cuatro puntos característicos en los cuatro vértices del objeto 1000a son iguales, y determina que el ángulo del objeto 1000a está inclinado cuando las distancias entre cuatro puntos característicos en los cuatro vértices del objeto 1000a no son lo mismo.
En la operación 490, el segundo dispositivo 2000 extrae las coordenadas de la ubicación del objeto 1000a y el ángulo del objeto 1000a a partir de la información de estado del objeto 1000a, y determina una ubicación y dirección en la que se mostrará la pantalla adicional, basado en la información recibida relacionada con la pantalla adicional y la ubicación y ángulo del objeto 1000a.
En la operación 495, el segundo dispositivo 2000 muestra la pantalla adicional en la ubicación y dirección determinadas del objeto 1000a, basado en la ubicación determinada del objeto 1000a y la información relacionada con la pantalla adicional.
La figura 15 es un diagrama de flujo de un procedimiento para controlar una pantalla adicional, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 15, de acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 es un dispositivo móvil y el segundo dispositivo 2000 es un HMD. La pantalla adicional puede ser una imagen virtual que se muestra en una pantalla de un HMD.
En la operación 510, el primer dispositivo 1000 verifica si se recibe una entrada del primer usuario a través de un gesto, un toque o voz.
En la operación 515, cuando se recibe la primera entrada del usuario, el primer dispositivo 1000 transmite un comando de control al segundo dispositivo 2000 de acuerdo con la primera entrada del usuario.
En la operación 525, el segundo dispositivo 2000 genera y procesa un evento relacionado con la visualización de una pantalla adicional, que corresponde a la primera entrada del usuario.
En la operación 530, el segundo dispositivo 2000 muestra la pantalla adicional después de que se procesa el evento relacionado con la visualización de una pantalla adicional.
En la operación 520, el segundo dispositivo 2000 verifica si se realiza una segunda entrada del usuario, como un gesto táctil virtual o una voz, en la pantalla adicional.
En la operación 515, el segundo dispositivo 2000 transmite un comando de control al primer dispositivo 1000 de acuerdo con la segunda entrada del usuario.
En la operación 535, el primer dispositivo 1000 genera y procesa un evento relacionado con la visualización de una pantalla adicional, que corresponde a la segunda entrada de usuario.
En la operación 540, el primer dispositivo 1000 actualiza la pantalla de visualización después de que se procesa el evento relacionado con la visualización de una pantalla adicional. Por ejemplo, cuando el segundo dispositivo 2000 selecciona una pantalla adicional de un menú específico al tocar virtualmente la pantalla adicional, la primera actualización del dispositivo 1000 y muestra la pantalla adicional seleccionada del menú específico.
La figura 16 es un diagrama de flujo de un procedimiento para controlar una pantalla adicional en un segundo dispositivo que se va a finalizar, realizado por un primer dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 16, de acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 es un dispositivo móvil y el segundo dispositivo 2000 es un HMD.
En la operación 545, el primer dispositivo 1000 verifica si se recibe un comando para finalizar una pantalla adicional a través de una entrada del usuario. En este caso, la entrada del usuario para el primer dispositivo 1000 puede ser una entrada de gesto específica, una entrada táctil, una entrada de botón, o una entrada de voz, pero no se limita a los mismos.
En la operación 550, el primer dispositivo 1000 transmite un comando para finalizar la pantalla adicional al segundo dispositivo 2000.
En la operación 555, el segundo dispositivo 2000 finaliza la pantalla adicional de acuerdo con el comando para finalizar la pantalla adicional, que se recibe del primer dispositivo 1000.
La figura 17 es un diagrama de flujo de un procedimiento para controlar una pantalla de visualización en un primer dispositivo, realizado por un segundo dispositivo, de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 17, de acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 es un dispositivo móvil y el segundo dispositivo 2000 es un HMD.
En la operación 560, el segundo dispositivo 2000 verifica, usando una cámara, si un comando para finalizar una pantalla adicional se ingresa mediante un gesto virtual o una voz. De acuerdo con una realización de la presente divulgación, el comando para finalizar la pantalla adicional se puede ingresar seleccionando un menú en la pantalla adicional o la pantalla adicional realizando un gesto táctil, seleccionando una región fuera de la pantalla adicional o realizando un gesto específico, por ejemplo, dibujando una 'X'.
En la operación 565, cuando se recibe el comando para finalizar la pantalla adicional, el segundo dispositivo 2000 finaliza la pantalla adicional.
En la operación 570, el segundo dispositivo 2000 transmite información que indica el final de la pantalla adicional al primer dispositivo 1000. En este caso, la información que indica el final de la pantalla adicional puede incluir al menos una entre una señal de video, una señal de audio y una señal táctil.
En la operación 575, el primer dispositivo 1000 muestra una pantalla sobre el mismo de acuerdo con la información que indica el final de la pantalla adicional, que se recibe del segundo dispositivo 2000.
Las figuras 18A y 18B son diagramas que ilustran un procedimiento para mostrar pantallas adicionales del tipo de imagen virtual alrededor de una pantalla de visualización en un primer dispositivo y controlar las pantallas adicionales, realizado por un segundo dispositivo, de acuerdo con diversas realizaciones de la presente divulgación.
Con referencia a las figuras 1, 18A y 18B, de acuerdo con una realización de la presente divulgación, el primer dispositivo 1000 es un terminal de tipo muñeca y el segundo dispositivo 2000 es un dispositivo HMD.
Con referencia a la figura 18A, una pantalla adicional que incluye al menos una imagen de menú se muestra en el segundo dispositivo 2000 para vincularse a una pantalla que se muestra en el primer dispositivo 1000. El número de referencia 600 denota una pantalla de vidrio del segundo dispositivo 2000.
Cuando el segundo dispositivo 2000 reconoce, usando una cámara, un gesto o voz táctil virtual que se ingresa en un menú 'Galería' 610 correspondiente a la pantalla adicional, el segundo dispositivo 2000 transmite una entrada del usuario correspondiente a la selección de la pantalla adicional al primer dispositivo 1000.
Con referencia a la figura 18B, el primer dispositivo 1000 puede mostrar un menú 'Galería' 625 correspondiente a la pantalla adicional seleccionada de acuerdo con la entrada del usuario recibida desde el segundo dispositivo 2000.
Las figuras 19A y 19B son diagramas que ilustran un procedimiento para mostrar una pantalla adicional de tipo imagen virtual cerca de una pantalla de visualización en un primer dispositivo y controlar las pantallas adicionales, realizado por un segundo dispositivo, de acuerdo con diversas realizaciones de la presente divulgación.
Con referencia a las figuras 1, 19A y 19B, de acuerdo con una realización de la presente divulgación, un primer dispositivo 710 es un terminal de libro electrónico y el segundo dispositivo 2000 es un dispositivo HMD.
Con referencia a la figura 19A, una pantalla adicional que incluye al menos una imagen virtual se visualiza en el segundo dispositivo 2000 para vincularse a una pantalla de visualización en un terminal de libro electrónico 710. Un número de referencia 700 denota una región de pantalla de vidrio del segundo dispositivo 2000. En este punto, la pantalla de visualización del terminal 710 del libro electrónico es una pantalla real vista a través de una lente del dispositivo HMD, y las pantallas 715 y 720 adicionales mostradas en el segundo dispositivo 2000 son imágenes virtuales vistas cerca de la pantalla de visualización del terminal 710 del libro electrónico a través de una unidad de visualización del dispositivo HMD.
Cuando el segundo dispositivo 2000 reconoce, usando una cámara, una entrada del usuario realizada en la pantalla 715 adicional que es una tabla de contenido a través de un gesto táctil virtual o voz, el segundo dispositivo 2000 muestra una pantalla 720 adicional correspondiente a una imagen de vista previa. Cuando la pantalla 720 adicional, que es la imagen de vista previa, se selecciona mediante un gesto táctil virtual o una voz, el segundo dispositivo 2000 transmite una señal de selección correspondiente a la pantalla adicional seleccionada al terminal 710 de libro electrónico.
Con referencia a la figura 19B, el terminal 710 de libro electrónico puede mostrar una pantalla 725 de visualización correspondiente a la imagen de vista previa de acuerdo con una entrada del usuario recibida desde el segundo dispositivo 2000.
La figura 20 es un diagrama que ilustra un procedimiento para mostrar pantallas adicionales del tipo de imagen tridimensional (3D) cerca de una pantalla de visualización en un primer dispositivo y controlar las pantallas adicionales, realizado por un segundo dispositivo, realizado por un segundo dispositivo de acuerdo con una realización de la presente divulgación.
Con referencia a las figuras 1 y 20, de acuerdo con una realización de la presente divulgación, un primer dispositivo 810 es un terminal de tableta y el segundo dispositivo 2000 es un dispositivo HMD.
Con referencia a la figura 20, el segundo dispositivo 2000 muestra una pantalla AR 3D en varios ángulos para vincularla a una pantalla de visualización visualizada en un terminal 810 de tableta. Un número de referencia 800 denota una pantalla de vidrio en el segundo dispositivo 2000.
El segundo dispositivo 2000 reconoce un movimiento 820 del dedo de un usuario en una pantalla adicional de AR (por ejemplo, una pantalla de cuerpo humano) usando una cámara. El segundo dispositivo 2000 mueve la ubicación de una imagen 830 de una sección transversal de un cuerpo humano visualizado en el terminal 810 de tableta de acuerdo con el movimiento 820. El usuario del segundo dispositivo 2000 puede seleccionar una parte de la imagen 830 correspondiente a la sección transversal del cuerpo humano mientras mueve la ubicación de su dedo.
Cuando se selecciona una pantalla adicional correspondiente a la sección transversal del cuerpo humano moviendo el dedo del usuario, el segundo dispositivo 2000 transmite una señal de selección al terminal 810 de tableta.
Por consiguiente, como se ilustra en la figura 20, el terminal 810 de tableta puede mostrar una imagen correspondiente a la sección transversal del cuerpo humano a seleccionar de acuerdo con la señal de selección recibida desde el segundo dispositivo 2000.
La figura 21 es un diagrama de bloques de un primer dispositivo de acuerdo con una realización de la presente divulgación.
Con referencia a la figura 21, el primer dispositivo 1000 puede incluir una unidad 1100 de entrada de usuario, una unidad 1200 de visualización, una unidad 1300 de control, una unidad 1400 de sensor, una unidad 1500 de comunicación, una unidad 1600 de entrada de audio/video (A/V), una memoria 1700 y un módulo 1800 de notificación.
La unidad 1100 de entrada de usuario significa una unidad configurada para que un usuario ingrese datos para controlar el primer dispositivo 1000. Por ejemplo, los ejemplos de la unidad 1100 de entrada de usuario pueden incluir, pero no se limitan a, un teclado, un interruptor de domo, un panel táctil (un panel táctil capacitivo de tipo táctil, una almohadilla táctil de recubrimiento resistivo tipo presión, una almohadilla táctil tipo sensor de infrarrojos, una superficie táctil de conducción acústica de ondas, una almohadilla táctil de medición de tensión de tipo de integración, una almohadilla táctil tipo efecto piezo, etc.), una rueda de desplazamiento, un interruptor de desplazamiento, etc.
La unidad 1100 de entrada de usuario puede recibir una entrada de usuario que indique que se muestre una pantalla adicional desde el segundo dispositivo 2000 de la figura 1.
La unidad 1200 de visualización muestra información procesada por el primer dispositivo 1000. Por ejemplo, la unidad 1200 de visualización puede mostrar una interfaz de usuario tal como un menú.
En general, la unidad 1300 de control controla las operaciones generales del primer dispositivo 1000. Por ejemplo, la unidad 1300 de control generalmente puede controlar la unidad 1100 de entrada de usuario, la unidad 1200 de visualización, la unidad 1400 de sensor, la unidad 1500 de comunicación y la unidad 1600 de entrada de A/V ejecutando programas almacenados en la memoria 1700.
Con más detalle, la unidad 1300 de control puede controlar la unidad 1500 de comunicación para controlar la visualización de la pantalla adicional a través de una entrada del usuario tal como un gesto, un toque o voz. El primer dispositivo 1000 puede seleccionar un menú de acuerdo con una entrada del usuario y generar un comando para mostrar una pantalla adicional relacionada con el menú. La unidad 1300 de control puede solicitar al segundo dispositivo 2000 que muestre la pantalla adicional, y procesar una pantalla de acuerdo con un comando de control correspondiente a una entrada del usuario recibida desde el segundo dispositivo 2000. La unidad 1300 de control puede proporcionar al segundo dispositivo 2000 una solicitud de visualización de pantalla adicional e información relacionada con la pantalla adicional. Por ejemplo, la información relacionada con la pantalla adicional puede incluir una ubicación en la que se mostrará la pantalla adicional, contenido relacionado con la pantalla adicional y el tamaño de la pantalla adicional. Además, la unidad 1300 de control puede actualizar información relacionada con una pantalla de visualización, basado en la información de control sobre la pantalla adicional recibida del segundo dispositivo 20000.
La unidad 1400 de sensor puede detectar el estado del primer dispositivo 1000 o el estado de la vecindad del primer dispositivo 1000, y transmitir información que contiene un resultado de detectar el estado del primer dispositivo 1000 o el estado de la vecindad del primer dispositivo 1000 a la unidad 1300 de control.
La unidad 1400 de sensor puede incluir al menos uno entre un sensor geomagnético, un sensor de aceleración, un sensor 1430 de temperatura/humedad, un sensor 1440 de infrarrojos, un sensor de giroscopio, un sensor de posición (por ejemplo, un GPS), un sensor de proximidad y un sensor rojo, verde y azul (RGB) (un sensor de iluminancia).
La unidad 1500 de comunicación puede incluir al menos un elemento configurado para establecer comunicación entre el primer dispositivo 1000 y el segundo dispositivo 2000.
Además, la unidad 1500 de comunicación puede controlar el segundo dispositivo 2000 para visualizar la pantalla adicional e intercambiar información para cambiar una operación de la pantalla adicional con el segundo dispositivo 2000.
La unidad 1600 de entrada de A/V está configurada para ingresar una señal de audio o una señal de video, y puede incluir una cámara 1610, un micrófono 1620, etc. La cámara 1610 puede obtener un cuadro de imagen tal como una imagen fija o un vídeo a través de un sensor de imagen en un modo de videollamada o un modo de fotografía. Una imagen capturada por el sensor de imagen puede procesarse usando la unidad 1300 de control o un procesador de imagen adicional (no mostrado).
Un marco de imagen procesado por la cámara 1610 puede almacenarse en la memoria 1700 o transmitirse al exterior a través de la unidad 1500 de comunicación. El micrófono 1620 recibe una señal de sonido externa y la convierte en datos de voz eléctricos. Por ejemplo, el micrófono 1620 puede recibir una señal de sonido desde un dispositivo externo o un altavoz. El micrófono 1620 puede emplear varios algoritmos de eliminación de ruido para eliminar el ruido generado cuando se ingresa una señal de sonido externa al micrófono 1620.
La memoria 1700 puede almacenar un programa para procesar y controlar operaciones de la unidad 1300 de control, y almacenar datos de entrada o salida del primer dispositivo 1000 (por ejemplo, información de ubicación de una pantalla adicional que se vinculará a la pantalla de visualización del primer dispositivo 1000, información de contenido relacionada con la pantalla adicional, información de tamaño de la pantalla adicional, etc.).
El módulo 1800 de notificación puede generar una señal que informa un evento relacionado con la pantalla adicional del primer dispositivo 1000. Los ejemplos del evento relacionado con la pantalla adicional generada por el primer dispositivo 1000 pueden incluir recibir una señal de llamada, recibir un mensaje, ingresar una señal clave, informar un horario, etc. El módulo 1800 de notificación puede emitir esta señal en forma de señal de video a través de la unidad 1200 de visualización.
La figura 22 ilustra el exterior de un segundo dispositivo de acuerdo con una realización de la presente divulgación.
La figura 22 ilustra un caso en el que el segundo dispositivo 2000 es un dispositivo HMD de tipo de anteojos.
Aunque un marco 2010 del dispositivo HMD ilustrado en la figura 22 es un tipo todo en uno, la forma y estructura de un marco de un dispositivo h Md introducido en la presente divulgación no se limita a las del marco ilustrado en la figura 22.
Por ejemplo, con referencia a la figura 22, el marco 2010 del dispositivo HMD puede incluir un miembro de conexión (no mostrado) y, por lo tanto, al menos una parte del marco 2010 puede ser plegable. Por ejemplo, un dispositivo HMD de acuerdo con una realización de la presente divulgación incluye el marco 2010 plegable y, por lo tanto, puede plegarse en almacenamiento cuando el usuario no utiliza el dispositivo HMD, minimizando así un espacio ocupado por el dispositivo HMD.
Un dispositivo HMD de acuerdo con una realización de la presente divulgación puede incluir además una banda elástica (no mostrada) que permite que el dispositivo HMD se coloque de forma fija en la cabeza de un usuario, independientemente del tamaño de la cabeza del usuario.
De acuerdo con una realización de la presente divulgación, el marco 2010 puede configurarse de manera tal que una lente 2005 sea acoplable o desmontable del marco 2010. De acuerdo con una realización de la presente divulgación, un dispositivo HMD puede no incluir la lente 2005. Además, la lente 2005 ilustrada en la figura 22 está formado integralmente con un puente nasal pero varias realizaciones de la presente divulgación no se limitan a la mostrada en la figura 22. Por ejemplo, un puente nasal de un dispositivo HMD de acuerdo con una realización de la presente divulgación puede formarse integralmente con el marco 2010.
La lente 2005 puede estar formada de un material transparente para que un usuario pueda ver un espacio real a través de la lente 2005. La lente 2005 puede estar formada de un material que pase luz, que forma una imagen para mostrar una unidad 2030 de visualización, allí a través. Los ejemplos que pueden usarse para formar la lente 2010 incluyen plástico como el policarbonato o el vidrio, pero no se limitan a los mismos.
La unidad 2600 de control puede estar conectada al dispositivo HMD de forma cableada o inalámbrica. Aunque la figura 22 ilustra que la unidad 2600 de control está ubicada en un lado izquierdo del marco 2010, en diversas realizaciones de la presente divulgación, no se limitan a los mismos. Por ejemplo, la unidad 2600 de control puede estar ubicada en el lado derecho del marco 2010 o en una superficie frontal del dispositivo HMD para estar adyacente a una cámara 2050.
La unidad 2600 de control puede recibir datos de, por ejemplo, la cámara 2050 o las unidades 2040 de entrada de usuario, analizar los datos recibidos y generar información para transmitir a un usuario del dispositivo HMD a través de al menos una de la unidad 2030 de visualización y una unidad 2020 de salida de audio. La información que se transmitirá al usuario puede incluir al menos una entre una imagen, un texto, un video y audio, pero no se limita a los mismos.
La cámara 2050 puede estar incluida en la unidad 2030 de visualización o puede estar ubicada en el marco 2010, por separado de la unidad 2030 de visualización. La cámara 2050 puede ser una cámara que se usa en teléfonos inteligentes o una cámara de tamaño pequeño como cámaras web. Por ejemplo, la cámara 2050 puede montarse en una ubicación determinada de antemano como apropiada para obtener una imagen haciendo un gesto con la mano de un usuario. Por ejemplo, como se ilustra en la figura 22, la cámara 2050 puede montarse en una ubicación adyacente a los ojos de un usuario cuando el usuario usa el dispositivo HMD y, por lo tanto, puede capturar una imagen para que sea sustancialmente la misma que se reconoce a través de los ojos del usuario.
La unidad 2040 de entrada de usuario puede incluir, pero sin limitación, al menos uno de un panel táctil que puede ser operado por el dedo de un usuario y un botón que puede ser operado mediante una operación de empuje. Aunque la figura 22 ilustra que las unidades 2040 de entrada de usuario están dispuestas a los lados del marco 2010, las unidades 2040 de entrada de usuario pueden estar ubicadas en otra ubicación en el dispositivo HMD.
Las unidades 2040 de entrada de usuario están configuradas para recibir una entrada de usuario. La entrada del usuario puede incluir datos o una señal que es ingresada por un usuario para generar un evento que hace que el dispositivo HMD inicie o finalice una operación predeterminada.
Por ejemplo, las unidades 2040 de entrada de usuario pueden incluir un interruptor de encendido/apagado para encender o apagar el dispositivo HMD. Además, la unidad 2040 de entrada de usuario de acuerdo con una realización de la presente divulgación puede recibir una entrada de usuario para controlar una imagen mostrada usando el dispositivo HMD.
La unidad 2030 de visualización puede ubicarse en un extremo superior izquierdo de la lente 2005 y configurarse usando una guía de onda óptica semitransparente (por ejemplo, un prisma) como se ilustra en la figura 22. La unidad 2030 de visualización ilustrada en la figura 22 puede reflejar la salida de luz de un proyector incorporado en el dispositivo HMD para enfocar una imagen en las fóveas de las retinas de los ojos de un usuario que usa el dispositivo HMD. Sin embargo, la unidad 2030 de visualización incluida en el dispositivo HMD de acuerdo con una realización de la presente divulgación no está limitada a la mostrada en la figura 22, y puede configurarse de acuerdo con diversos procedimientos y en diversas estructuras para mostrar una imagen cerca de los ojos de un usuario. Por ejemplo, de acuerdo con una realización de la presente divulgación, la unidad 2030 de visualización puede ser una pantalla transparente o una pantalla no transparente.
Aunque no se muestra en la figura 22, de acuerdo con una realización de la presente divulgación, el dispositivo HMD puede incluir además un micrófono (no mostrado). El micrófono puede recibir la voz de un usuario, sonar en un entorno ambiental del dispositivo HMD, etc.
La unidad 2020 de salida de sonido puede configurarse en forma de auriculares para ser montados en los oídos de un usuario del dispositivo HMD. La unidad 2020 de salida de sonido puede montarse fijamente en el dispositivo HMD como se ilustra en la figura 22 pero varias realizaciones de la presente divulgación no están limitadas a las mismas. Por ejemplo, la unidad 2020 de salida de sonido se puede configurar para que se pueda conectar o desconectar del dispositivo HMD, para que un usuario del dispositivo HMD pueda colocar selectivamente la unidad 2020 de salida de sonido en sus oídos. Por ejemplo, la unidad 2020 de salida de sonido puede ser un altavoz de conducción ósea.
Se ilustra una unidad 2015 de fuente de alimentación que se proporciona en una porción final del marco 2010 del dispositivo HMD. Sin embargo, varias realizaciones de la presente divulgación no están limitadas a la misma y la unidad 2015 de fuente de alimentación puede estar dispuesta en varias ubicaciones en el marco 2010 del dispositivo HMD. La unidad 2015 de fuente de alimentación suministra energía para operar el dispositivo HMD a los elementos del dispositivo HMD. Aunque no se muestra, la unidad 2015 de fuente de alimentación puede incluir una batería para cargar y un cable o un puerto de cable a través del cual se pueda recibir energía del exterior.
Las figuras 23 y 24 son diagramas de bloques de segundos dispositivos de acuerdo con diversas realizaciones de la presente divulgación. Las figuras 23 y 24 ilustran casos en los que los segundos dispositivos son dispositivos HMD tipo anteojos.
Con referencia a la figura 23, el dispositivo 2000 HMD de acuerdo con una realización de la presente divulgación, incluye al menos una cámara 2050, una unidad 2200 de entrada de usuario, una unidad 2030 de visualización, una unidad 2500 de comunicación y una unidad 2600 de control.
Sin embargo, todos los elementos ilustrados en la figura 23 no son elementos indispensables del dispositivo 2000 HMD. El dispositivo HMD puede incluir además otros elementos o puede incluir solo algunos de los elementos ilustrados en la figura 23.
Por ejemplo, con referencia a la figura 24, el dispositivo 2000 HMD de acuerdo con una realización de la presente divulgación puede incluir además un micrófono 2055, una unidad 2300 de salida, una memoria 2400, una unidad 2700 de sensor, y una unidad 2800 de interfaz, además de la cámara 2050, la unidad 2200 de entrada de usuario, la unidad 2030 de visualización, la unidad 2500 de comunicación y la unidad 2600 de control.
La cámara 2050 está configurada para fotografiar un objeto en un espacio real. Una imagen del objeto capturado por la cámara 2050 puede ser una imagen en movimiento o imágenes fijas continuas. El dispositivo h Md puede ser, por ejemplo, un dispositivo de tipo de anteojos que tiene una función de comunicación y una función de procesamiento de datos. La cámara 2050 que mira hacia el frente de un usuario cuando el usuario usa el dispositivo HMD puede fotografiar un objeto en un espacio real.
De acuerdo con una realización de la presente divulgación, la cámara 2050 está configurada para fotografiar el primer dispositivo 1000 de la figura 1, un objeto relacionado con el primer dispositivo 1000, o el gesto de un usuario. Por ejemplo, la cámara 2050 puede obtener información sobre una parte del cuerpo de un usuario o información sobre el gesto del usuario. La información sobre la parte del cuerpo del usuario puede incluir una imagen de la parte del cuerpo del usuario. La información sobre el gesto del usuario puede incluir una imagen obtenida fotografiando una parte del cuerpo del usuario que hace el gesto.
Se pueden proporcionar dos o más cámaras 2050 de acuerdo con una realización del segundo dispositivo 2000.
El micrófono 2055 recibe una señal de sonido externa y la convierte en datos de voz eléctrica en un modo de llamada, un modo de grabación, un modo de reconocimiento de voz, etc. En el modo de llamada, los datos de voz eléctrica pueden convertirse y emitirse en una forma que puede transmitirse a una estación base de comunicación móvil a través de un módulo 2510 de comunicación móvil. El micrófono 2055 puede emplear varios algoritmos de eliminación de ruido para eliminar el ruido generado cuando se ingresa una señal de sonido externa al micrófono 2055.
La unidad 2200 de entrada de usuario recibe una entrada de usuario para controlar el dispositivo 2000 HMD. La unidad 2200 de entrada de usuario puede recibir una entrada táctil y una entrada de tecla realizada en el dispositivo 2000 HMD. Además, la unidad 2200 de entrada de usuario puede recibir el gesto de un usuario fotografiado por la cámara 2050 desde la cámara 2050.
La unidad 2030 de visualización muestra información sobre una pantalla adicional de una imagen virtual procesada por la unidad 2600 de control del dispositivo 2000 HMD a un usuario.
De acuerdo con una realización de la presente divulgación, la unidad 2030 de visualización puede mostrar una pantalla adicional de una imagen virtual en una ubicación predeterminada en una pantalla de visualización visualizada en el primer dispositivo 1000.
Además, de acuerdo con una realización de la presente divulgación, la unidad 2030 de visualización puede mostrar una pantalla adicional de una imagen virtual en una ubicación predeterminada en un objeto relacionado con el primer dispositivo 1000.
Además, la unidad 2030 de visualización puede mostrar una interfaz de usuario para seleccionar una pantalla adicional de una imagen virtual procesada por la unidad 1600 de control.
La unidad 2030 de visualización puede incluir (no se muestra) al menos uno entre una pantalla táctil, papel electrónico, una pantalla de cristal líquido (LCD), un transistor-LCD de película delgada (TFT-LCD), un diodo emisor de luz (LED), un LED orgánico (OLED), un sistema de representación flexible, una pantalla 3D y una pantalla transparente.
La unidad 2300 de salida está configurada para emitir una señal de audio, una señal de video o una señal de alarma. La unidad 2300 de salida puede incluir una unidad 2020 de salida de audio, una unidad 2330 de alarma, un módulo 2340 háptico, etc.
La unidad 2020 de salida de audio emite datos de audio recibidos desde la unidad 2500 de comunicación o la unidad 2600 de control o almacenados en la memoria 2400 en un modo de recepción de señal de llamada, un modo de llamada, un modo de grabación, un modo de reconocimiento de voz, un modo de recepción de difusión, etc. Además, la unidad 2020 de salida de sonido emite una señal de audio relacionada con una función realizada por el dispositivo 2000 HMD, por ejemplo, un sonido de recepción de señal de llamada, un mensaje que recibe sonido, etc. La unidad 2020 de salida de audio puede incluir un altavoz, un timbre, etc.
La unidad 2330 de alarma emite una señal que informa un evento adicional relacionado con la pantalla del dispositivo 2000 HMD. Los ejemplos del evento adicional relacionado con la pantalla generado por el dispositivo 2000 HMD incluyen la recepción de una señal de llamada, recibir un mensaje, introducción de una señal clave, etc. La unidad 2330 de alarma emite una señal que informa el evento adicional relacionado con la pantalla en una forma diferente de una señal de audio o una señal de video. Cuando se recibe una señal de llamada o un mensaje, la unidad 2330 de alarma puede emitir una señal que informa este hecho. Además, cuando se ingresa una señal clave, la unidad 2330 de alarma puede emitir una señal como retroalimentación de la entrada de la señal clave. Un usuario puede reconocer que el evento adicional relacionado con la pantalla ocurre al verificar la salida de señal desde la unidad 2330 de alarma. Como alternativa, en el dispositivo 2000 HMD, la señal que informa la ocurrencia del evento adicional relacionado con la pantalla puede emitirse a través de la unidad 2030 de visualización o la unidad 2020 de salida de sonido.
El módulo 2340 háptico genera varios efectos hápticos que un usuario puede sentir. Un ejemplo representativo de los efectos hápticos generados por el módulo 2340 háptico puede ser un efecto de vibración. Cuando el módulo 2340 háptico genera vibración como efecto háptico, la intensidad y el patrón de la vibración generada por el módulo 2340 háptico se pueden convertir y se pueden sintetizar y emitir diferentes vibraciones o se puede emitir secuencialmente.
Además de la vibración, el módulo 2340 háptico puede generar varios efectos hápticos, por ejemplo, un efecto que utiliza un estímulo causado por un movimiento vertical de una disposición de alfileres sobre una superficie de piel de contacto, un efecto que utiliza un estímulo causado por una fuerza de chorro de aire expulsado de una boquilla o una fuerza de succión de aire aspirado a través de una entrada de aire, un efecto que usa un estímulo causado cuando se cepilla la superficie de la piel, un efecto que usa un estímulo causado cuando se contacta un electrodo, un efecto usando un estímulo causado por una fuerza electrostática, un efecto logrado cuando se genera una sensación de frío o calor usando un material capaz de aspirar calor o generar calor, etc. El módulo 2340 háptico puede configurarse de modo que no solo se entregue un efecto háptico cuando el módulo 2340 háptico se toca directamente, sino que también se siente a través de la sensación del músculo del usuario, como un dedo o un brazo.
La memoria 2400 puede almacenar un programa para procesar y controlar las operaciones de la unidad 2600 de control, y almacenar temporalmente datos que son de entrada o salida (por ejemplo, mensaje, imágenes fijas, vídeo, información de ubicación de una pantalla de visualización adicional que se vinculará a la pantalla de visualización del primer dispositivo 1000, información de contenido relacionada con la pantalla adicional, información de tamaño de la pantalla adicional, etc.).
La memoria 2400 puede incluir al menos un medio de almacenamiento entre una memoria de tipo de memoria flash, una memoria de tipo disco duro, una memoria de tipo micro tarjeta multimedia, una memoria de tipo tarjeta, una memoria de acceso aleatorio (RAM) y una memoria de solo lectura (ROM). Además, la memoria 2400 puede incluir un almacenamiento web que tiene una función de almacenamiento y que se opera en Internet.
La unidad 2500 de comunicación recibe información relacionada con una pantalla adicional del primer dispositivo 1000, e intercambia, con el primer dispositivo 1000, información necesaria para que el dispositivo 2000 HMD muestre la pantalla adicional en la unidad 2030 de visualización y cambie la pantalla adicional visualizada, basado en la información relacionada con la pantalla adicional. De acuerdo con una realización de la presente divulgación, la unidad 2500 de comunicación puede intercambiar la información requerida con dispositivos periféricos o un servidor.
La unidad 2500 de comunicación puede incluir un módulo 2510 de comunicación móvil, un módulo 2520 de comunicación de campo cercano (NFC), un módulo 2530 receptor de difusión, un módulo 2540 de internet, un módulo 2550 GPS, etc.
El módulo 2510 de comunicación móvil intercambia una señal de radio con al menos una entre una estación base, un terminal externo y un servidor en una red de comunicación móvil. En este punto, la señal inalámbrica puede incluir una señal de llamada de voz, una señal de videollamada o varios tipos de datos que se utilizarán cuando se intercambien mensajes de texto/multimedia. Por lo tanto, el dispositivo 2000 HMD puede intercambiar una señal de llamada de voz, una señal de video llamada o un mensaje de texto/multimedia con un dispositivo externo.
El módulo NFC 2520 significa un módulo configurado para establecer NFC. Las tecnologías NFC pueden incluir BLUETOOTH™, identificación por radiofrecuencia (RFID), asociación de datos infrarrojos (IrDA), banda ultra ancha (UWB), ZIGBEE™, etc.
El módulo 2530 de emisión de transmisión está configurado para recibir una señal de transmisión mediante el uso de diversos sistemas de transmisión, y particularmente, radiodifusión multimedia digital terrestre (DMB-T), un satélite digital de radiodifusión multimedia (DMB-S), enlace directo de medios solamente (MediaFLO), transmisión de video digital de mano (DVB-H), servicios integrados de difusión digital terrestre (IS-DB-T), etc. Además, el módulo 2530 de emisión de transmisión puede configurarse para que sea adecuado no solo para tales sistemas de transmisión digital sino también para otros diversos sistemas de transmisión capaces de proporcionar una señal de transmisión.
El módulo de Internet 2540 significa un módulo configurado para acceder a Internet inalámbrico y puede instalarse dentro o fuera del segundo dispositivo 2000. Red de área local inalámbrica (WLAN), banda ancha inalámbrica (Wibro), interoperabilidad mundial para acceso de microondas (Wimax), acceso a paquetes de enlace descendente de alta velocidad (HSDPA), etc. se puede usar como tecnología inalámbrica de Internet.
El módulo 2550 GPS puede recibir información de ubicación de una pluralidad de satélites GPS.
La unidad 2700 de sensor detecta un estado actual del dispositivo 2000 HMD, por ejemplo, la ubicación del dispositivo 2000 HMD, si un usuario toca el dispositivo 2000 HMD, etc., y genera una señal de detección para controlar una operación del dispositivo 2000 HMD. Por ejemplo, la unidad 2700 de sensor puede realizar una función de detección relacionada con si la unidad 2800 de interfaz está acoplada a un dispositivo externo, etc.
La unidad 2700 de sensor puede incluir un sensor 2710 de proximidad, un sensor 2730 de movimiento, etc. El sensor 2710 de proximidad puede detectar si un objeto se está acercando al dispositivo 2000 HMD o si está presente cerca del dispositivo 2000 HMD sin un contacto físico. El sensor 2710 de proximidad puede detectar un objeto que se acerca o está presente cerca del dispositivo 2000 HMD comprobando un cambio en un campo magnético alterno o un campo magnético estático, una tasa de cambio en una capacitancia electrostática, etc.
El sensor 2730 de movimiento detecta la ubicación o el movimiento del segundo dispositivo 2000 usando un sensor de aceleración, un sensor giroscópico, etc. El sensor de aceleración es un dispositivo capaz de convertir un cambio de aceleración en una dirección en una señal eléctrica, y se ha utilizado ampliamente a medida que la tecnología de sistemas microelectromecánicos (MEMS) ha avanzado. El sensor giroscópico es un sensor que está configurado para medir una velocidad angular y puede detectar una dirección que se desvía de una dirección de referencia.
La unidad 2800 de interfaz actúa como una interfaz con todos los dispositivos externos conectados al dispositivo 2000 HMD. Los ejemplos de dispositivos externos conectados al dispositivo 2000 HMD incluyen auriculares con cable/inalámbricos, un cargador externo, un cable/puerto de datos inalámbrico, un zócalo para una tarjeta de memoria, una tarjeta de módulo de identificación de suscriptor (SIM), una tarjeta de módulo de identidad de usuario (UIM), etc., un terminal de entrada/salida de audio (E/S), un terminal de video E/S, un auricular, etc. La unidad 2800 de interfaz puede recibir datos o energía de dicho dispositivo externo, entregar los datos o la alimentación a los elementos incluidos en el dispositivo 2000 HMD y transmitir los datos almacenados en el dispositivo 2000 HMD a un dispositivo externo.
La unidad 2015 de fuente de alimentación suministra energía para operar el dispositivo 2000 HMD a los elementos del dispositivo 2000 HMD. Aunque no se muestra, la unidad 2015 de fuente de alimentación puede incluir una batería para cargar y un cable o un puerto de cable a través del cual se pueda recibir energía del exterior.
En general, la unidad 2600 de control controla las operaciones generales del dispositivo 2000 HMD. Por ejemplo, la unidad 2600 de control puede ejecutar programas almacenados en la memoria 2400 para controlar la unidad 2030 de visualización, la cámara 2050, la unidad 2200 de entrada de usuario, la unidad 2300 de salida y la unidad 2400 de comunicación.
El dispositivo 2000 HMD puede conectarse al primer dispositivo 1000 y mostrar una pantalla adicional de una imagen virtual en una pantalla del dispositivo 2000 HMD al recibir información sobre la pantalla adicional de la imagen virtual desde el primer dispositivo 1000. De acuerdo con una realización de la presente divulgación, el dispositivo 2000 HMD puede estar conectado a un servidor (no mostrado).
La unidad 2600 de control puede recibir la información con respecto a la pantalla adicional de la imagen virtual e información con respecto a una ubicación en la unidad 2030 de visualización del dispositivo 2000 HMD en el que se mostrará la pantalla adicional desde el primer dispositivo 1000 a través de la unidad 2500 de comunicación.
De acuerdo con una realización de la presente divulgación, la unidad 2000 de control puede fotografiar la forma del primer dispositivo 1000 usando la cámara 2050, determinar una ubicación en la que se va a mostrar la pantalla adicional de la imagen virtual en función de la información sobre la forma del primer dispositivo 1000 y la información sobre la pantalla adicional, visualice la pantalla adicional de la imagen virtual cerca de una pantalla de visualización en el primer dispositivo 1000, y controle la pantalla adicional de la imagen virtual que se vinculará a la pantalla de visualización en el primer dispositivo 1000.
En este caso, la unidad 2600 de control puede extraer información con respecto a la ubicación y el ángulo de una pantalla en el primer dispositivo 1000 a partir de información con respecto a la forma del primer dispositivo 1000, y determinar una región en la que se mostrará la pantalla adicional de la imagen virtual, basado en la ubicación y el ángulo de una pantalla en el primer dispositivo 1000. Por ejemplo, la unidad 2600 de control puede determinar la ubicación y el ángulo de la pantalla en el primer dispositivo 1000 al recibir información sobre la forma del primer dispositivo 1000 desde el primer dispositivo 1000, extraer puntos de características de la información con respecto a la forma del primer dispositivo 1000, y comparar puntos de características de una imagen del primer dispositivo 1000 capturado por la cámara 2050 con los puntos de características de la información con respecto a la forma del primer dispositivo 1000.
Además, de acuerdo con una realización de la presente divulgación, la unidad 2600 de control puede controlar una pantalla adicional del dispositivo 2000 HMD vinculada a una pantalla de visualización en el primer dispositivo 1000 de acuerdo con una entrada del usuario realizada en el primer dispositivo 1000 y una entrada del usuario realizada usando la cámara 2050 del dispositivo 2000 HMD. Además, la unidad 2600 de control puede reconocer una entrada del usuario en la pantalla adicional a través de la cámara 2050, finaliza la pantalla adicional cuando se reconoce la entrada del usuario y transmite información que indica el final de la pantalla adicional al primer dispositivo 1000.
El dispositivo 2000 HMD puede mostrar una pantalla adicional en una pantalla del mismo sin estar conectado al primer dispositivo 1000.
En este caso, la unidad 2600 de control fotografía el primer dispositivo 1000 en un espacio real utilizando la cámara 2050. La unidad 2600 de control puede fotografiar el primer dispositivo 1000 en el espacio real en tiempo real o en un ciclo predeterminado.
Además, de acuerdo con una realización de la presente divulgación, la unidad 2600 de control determina pantallas adicionales para mostrar alrededor de una imagen capturada del primer dispositivo 1000. En este caso, la unidad 2600 de control puede mostrar una interfaz de usuario para seleccionar una pantalla adicional en una pantalla del dispositivo 2000 HMD, y seleccionar una pantalla adicional específica, basado en una entrada del usuario recibida a través de la unidad 2200 de entrada del usuario o la cámara 2050.
Además, la unidad 2600 de control puede determinar una ubicación en las proximidades del primer dispositivo 1000, en el que se mostrará una pantalla adicional.
De acuerdo con una realización de la presente divulgación, como se muestra una pantalla adicional con el dispositivo 2000 HMD, puede expandirse una pantalla limitada del primer dispositivo 1000 y puede proporcionarse una gran cantidad de información visual y una interacción conveniente de bajo nivel.
Una realización de la presente divulgación puede realizarse en forma de un medio de grabación legible por ordenador no transitorio que haya grabado en él instrucciones ejecutables por ordenador, por ejemplo, un módulo de programa que puede ejecutarse usando un ordenador. Los ejemplos del medio de grabación legible por ordenador no transitorio pueden incluir no solo un medio de grabación disponible arbitrario al que pueda acceder un ordenador, sino también medios de grabación volátiles y no volátiles, y medios de grabación separables/no separables. Además, los ejemplos del medio de grabación legible por ordenador no transitorio pueden incluir medios de almacenamiento informáticos y medios de comunicación. Los medios de almacenamiento del ordenador incluyen los medios de grabación volátiles y no volátiles y los medios de grabación separables y no separables que se fabrican de acuerdo con un procedimiento o tecnología arbitraria para almacenar información como instrucciones legibles por ordenador, estructuras de datos, módulos de programa y otros datos. Los medios de comunicación generalmente incluyen instrucciones legibles por ordenador, estructuras de datos, módulos de programa, otros datos de señales de datos modulados, otros mecanismos de transmisión y medios de transferencia de información arbitraria.
En la presente divulgación, el término "unidad" puede entenderse como que incluye un componente de hardware (como un procesador o un circuito) y/o un componente de software ejecutado por un componente de hardware como un procesador.
Debe entenderse que las diversas realizaciones descritas en el presente documento deben considerarse solo en un sentido descriptivo y no con fines de limitación. Descripciones de puntos característicos o aspectos dentro de cada realización de la presente divulgación, normalmente deberían considerarse como disponibles para otros puntos de características o aspectos similares en otras diversas realizaciones. Por ejemplo, los elementos descritos como incluidos en una sola unidad pueden estar dispersos. De manera similar, los elementos descritos como dispersos se pueden combinar en una sola unidad.
Aunque la presente divulgación se ha mostrado y descrito con referencia a diversas realizaciones de la misma, se entenderá por los expertos en la materia que diversos cambios de forma y detalles pueden realizarse en la misma sin alejarse del ámbito de la presente divulgación tal como se define por las reivindicaciones adjuntas y sus equivalentes.

Claims (14)

REIVINDICACIONES
1. Un procedimiento para procesar una pantalla en un primer dispositivo, realizado por una pantalla (2000) montada en la cabeza HMD, comprendiendo el procedimiento:
obtener, en el HMD (2000), una pantalla de visualización real visualizada en el primer dispositivo (1000) e información relacionada con la pantalla de visualización real de acuerdo con una solicitud de visualización de pantalla con respecto al primer dispositivo (1000) (operación 210);
determinar, en el HMD (2000), una pantalla adicional que se mostrará a base de la pantalla de visualización real en el primer dispositivo (1000) y la información relacionada con la pantalla de visualización real (operación 220); visualizar la pantalla adicional como una imagen virtual vista cerca de la pantalla de visualización real en el primer dispositivo (1000) (operación 230);
detectar una entrada realizada en la pantalla adicional (operación 520); y
transmitir la entrada detectada desde el HMD (2000) al primer dispositivo (1000) para que el primer dispositivo (1000) procese un contenido de la pantalla adicional y emita una pantalla de visualización actualizada en el primer dispositivo (1000) (operación 515), la pantalla de visualización actualizada correspondiente a la entrada detectada.
2. El procedimiento de la reivindicación 1, en el que la solicitud de visualización de pantalla es generada por el primer dispositivo (1000) o el dispositivo (2000) HMD de acuerdo con una entrada del usuario.
3. El procedimiento de la reivindicación 1, en el que la información relacionada con la pantalla de visualización real comprende al menos uno de:
información de forma del primer dispositivo;
una ubicación de la pantalla adicional que se mostrará cerca de la pantalla de visualización real en el primer dispositivo;
un tamaño de la pantalla adicional;
información de contenido relacionada con la pantalla adicional; e
información del estado del primer dispositivo capturado con una cámara.
4. El procedimiento de la reivindicación 3, en el que la información de estado del primer dispositivo comprende una ubicación y ángulo de una pantalla de visualización del primer dispositivo.
5. El procedimiento de la reivindicación 3, en el que la información de estado del primer dispositivo se actualiza periódicamente utilizando la cámara.
6. El procedimiento de la reivindicación 1, en el que la visualización de la pantalla adicional comprende:
capturar una imagen del primer dispositivo;
determinar una ubicación visual y dirección de una pantalla de visualización del primer dispositivo, basado en la imagen capturada del primer dispositivo; y
mostrarla pantalla adicional en una ubicación visual predeterminada en la pantalla de visualización del primer dispositivo, basado en la ubicación visual y la dirección de la pantalla de visualización del primer dispositivo.
7. El procedimiento de la reivindicación 1, en el que se muestra una pantalla adicional del dispositivo HMD cerca de la pantalla de visualización visual en el primer dispositivo utilizando el dispositivo HMD.
8. El procedimiento de la reivindicación 6, en el que la determinación de la ubicación visual y la dirección de la pantalla de visualización del primer dispositivo comprende:
recibir información de forma del primer dispositivo desde el primer dispositivo;
extraer puntos característicos de la información de forma del primer dispositivo; y
comparar puntos característicos de la imagen del primer dispositivo con los puntos característicos de la información de forma del primer dispositivo para determinar la ubicación visual y la dirección de la pantalla de visualización del primer dispositivo.
9. El procedimiento de la reivindicación 1, que comprende además controlar la pantalla de visualización en el primer dispositivo y la pantalla adicional que se vinculará entre sí según las entradas del usuario realizadas en el primer dispositivo y en los dispositivos HMD.
10. El procedimiento de la reivindicación 9, en el que el control de la pantalla de visualización real en el primer dispositivo y la pantalla adicional que se vinculará entre sí comprende controlar la pantalla de visualización real en el primer dispositivo y la pantalla adicional en el dispositivo HMD que se vinculará entre sí según el usuario entradas realizadas en los respectivos dispositivos primero y HMD.
11. El procedimiento de la reivindicación 9, en el que comprende el control de la pantalla de visualización real en el primer dispositivo y la pantalla adicional a unir entre sí; reconocer un comando para finalizar la pantalla adicional de acuerdo con una entrada del usuario recibida desde el primer dispositivo; y
finalizar la pantalla adicional transmitiendo el comando para finalizar la pantalla adicional al dispositivo HMD.
12. El procedimiento de la reivindicación 9, en el que el control de la pantalla de visualización real en el primer dispositivo y la pantalla adicional a unir entre sí comprende:
reconocer una entrada del usuario en la pantalla adicional en el dispositivo HMD usando una cámara; y finalizar la pantalla adicional y transmitir información que indica el final de la pantalla adicional al primer dispositivo cuando se reconoce la entrada del usuario.
13. Un aparato (2000) de pantalla montada en la cabeza, HMD, para procesar una pantalla usando un dispositivo (1000), comprendiendo el aparato HMD:
una unidad (2030) de visualización para visualizar una imagen;
una unidad (2500) de comunicación configurada para recibir, a través de una conexión de red al dispositivo (1000), una pantalla de visualización real en el dispositivo (1000) e información relacionada con la pantalla de visualización real de acuerdo con una solicitud de visualización de pantalla con respecto al dispositivo; y
una unidad (2600) de control configurada para:
obtener una pantalla adicional basada en la información relacionada con la pantalla de visualización real obtenida por la unidad (2500) de comunicación,
visualizar la pantalla adicional en la unidad (2030) de visualización como una imagen virtual vista cerca de la pantalla de visualización real en el dispositivo,
controlar la pantalla de visualización real en el dispositivo y la pantalla adicional que se verá cerca una de la otra de acuerdo con una entrada del usuario, detectar una entrada realizada en la pantalla adicional, y transmitir la entrada detectada del aparato al dispositivo para que el dispositivo procese un contenido de la pantalla adicional y controle la salida de una pantalla de visualización actualizada en el dispositivo, correspondiendo la pantalla de visualización actualizada a la entrada detectada, en el que la información relacionada con la pantalla de visualización real comprende al menos información relacionada con un contenido de la pantalla adicional.
14. El aparato HMD de la reivindicación 13, en el que la unidad (2600) de control se configura además para:
fotografiar una forma del dispositivo (1000) utilizando una cámara (2050),
extraer información sobre la ubicación y el ángulo de una pantalla del dispositivo (1000) a partir de la información de estado basada en la forma del dispositivo (1000), y
determinar una región en la que se mostrará la pantalla adicional, según la ubicación y el ángulo de la pantalla del dispositivo (1000).
ES18189109T 2014-10-15 2015-10-07 Procedimiento y aparato para procesar la pantalla usando el dispositivo Active ES2763701T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140139071A KR102358548B1 (ko) 2014-10-15 2014-10-15 디바이스를 이용한 화면 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
ES2763701T3 true ES2763701T3 (es) 2020-05-29

Family

ID=54329375

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18189109T Active ES2763701T3 (es) 2014-10-15 2015-10-07 Procedimiento y aparato para procesar la pantalla usando el dispositivo

Country Status (7)

Country Link
US (5) US10331205B2 (es)
EP (3) EP3009915B1 (es)
KR (6) KR102358548B1 (es)
CN (2) CN105528066B (es)
ES (1) ES2763701T3 (es)
TW (3) TW202001686A (es)
WO (1) WO2016060397A1 (es)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320931B (zh) * 2014-05-26 2019-09-20 京瓷办公信息系统株式会社 物品信息提供装置和物品信息提供系统
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
JP6686319B2 (ja) * 2015-08-04 2020-04-22 富士通株式会社 画像投影装置及び画像表示システム
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
KR20180042880A (ko) 2016-10-18 2018-04-27 삼성디스플레이 주식회사 표시 패널, 이를 포함하는 머리 부착형 표시 장치, 및 머리 부착형 표시 장치의 영상 표시 방법
US10262010B2 (en) * 2016-11-02 2019-04-16 International Business Machines Corporation Screen capture data amalgamation
IT201700035014A1 (it) * 2017-03-30 2018-09-30 The Edge Company S R L Metodo e dispositivo per la visione di immagini in realta' aumentata
WO2019036942A1 (zh) * 2017-08-23 2019-02-28 华为技术有限公司 一种显示方法及装置
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR102431712B1 (ko) 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
KR102389185B1 (ko) 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
CN110192169B (zh) * 2017-11-20 2020-10-02 腾讯科技（深圳）有限公司 虚拟场景中菜单处理方法、装置及存储介质
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
US10559133B2 (en) * 2018-02-07 2020-02-11 Dell Products L.P. Visual space management across information handling system and augmented reality
CN108595092A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 图像处理方法、设备及计算机存储介质
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US10783713B2 (en) * 2018-09-05 2020-09-22 International Business Machines Corporation Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
US11281334B2 (en) * 2018-11-30 2022-03-22 Samsung Electronics Co., Ltd. Interaction method, system, and device for information
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11106288B1 (en) * 2020-03-02 2021-08-31 John Walter Downey Electronic input system
JP2021152639A (ja) 2020-03-23 2021-09-30 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
KR20210149543A (ko) * 2020-06-02 2021-12-09 삼성전자주식회사 메모리 장치 및 이를 포함하는 메모리 시스템
TWI779332B (zh) * 2020-08-21 2022-10-01 宏碁股份有限公司 擴增實境系統與其錨定顯示虛擬物件的方法
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
JP7352530B2 (ja) 2020-10-05 2023-09-28 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
TWI765398B (zh) * 2020-11-04 2022-05-21 宏正自動科技股份有限公司 指示圖示共享方法、指示訊號控制方法以及指示訊號處理裝置
CN112306443A (zh) * 2020-11-23 2021-02-02 Oppo广东移动通信有限公司 一种信息展示方法和存储介质
CN112596609A (zh) * 2020-12-25 2021-04-02 维沃移动通信有限公司 显示处理方法、显示处理装置和可穿戴设备
JP2022124133A (ja) 2021-02-15 2022-08-25 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US8141159B2 (en) * 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20090040839A (ko) 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR20090105485A (ko) 2008-04-02 2009-10-07 주식회사 업앤온 Ｈｍｄ를 이용한 멀티미디어 제공 시스템 및 그 제공 방법
KR100984937B1 (ko) 2008-10-21 2010-10-18 (주)에이치티엑스 가상현실프로그램의 모니터링 시스템
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
KR20110024435A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 제어 디바이스, 피제어 디바이스, 제어 시스템, 그리고 제어권한 제공방법
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5765019B2 (ja) 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
KR101552691B1 (ko) * 2011-04-14 2015-09-11 광저우 히어쉬 파머 디벨롭먼트 컴퍼니 리미티드 신규한 항-혈소판 화합물의 부가염
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US20130222371A1 (en) * 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
KR20130024615A (ko) * 2011-08-31 2013-03-08 주식회사 케이티 외부 디바이스와 결합하는 휴대 단말 및 그 제어 방법
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
KR20130045002A (ko) 2011-10-25 2013-05-03 송영일 안경형 모니터
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
KR101474927B1 (ko) 2011-12-22 2014-12-31 주식회사 케이티 외부 디스플레이 기기로의 영상 송출 방법 및 그 단말
EP2621179A1 (en) 2012-01-30 2013-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for providing multi-view thereof
KR101310940B1 (ko) 2012-01-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 이를 이용한 멀티 뷰 제공 방법
JP2013200793A (ja) 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
EP2648086A3 (en) 2012-04-07 2018-04-11 Samsung Electronics Co., Ltd Object control method performed in device including transparent display, the device, and computer readable recording medium thereof
KR102164453B1 (ko) 2012-04-07 2020-10-13 삼성전자주식회사 투명 디스플레이를 포함하는 디바이스에서 오브젝트 제어 방법 및 그 디바이스와 기록 매체
US10629003B2 (en) * 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140052294A (ko) * 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
KR102001218B1 (ko) 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
KR20140057087A (ko) 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140285520A1 (en) 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
JP5796726B2 (ja) * 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置
KR102171444B1 (ko) * 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
KR102065407B1 (ko) * 2013-07-11 2020-01-13 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
KR102135353B1 (ko) * 2013-08-30 2020-07-17 엘지전자 주식회사 시계형 단말기와 이를 포함하는 시스템
US10067651B2 (en) * 2013-11-15 2018-09-04 Thomson Reuters Global Resources Unlimited Company Navigable layering of viewable areas for hierarchical content
KR102294945B1 (ko) * 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
CN107852488B (zh) * 2015-05-22 2021-03-30 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
KR102661614B1 (ko) * 2019-02-11 2024-04-29 삼성전자주식회사 화면 제공 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR102458665B1 (ko) 2022-10-25
EP3009915A1 (en) 2016-04-20
CN105528066B (zh) 2020-06-12
CN105528066A (zh) 2016-04-27
US20190265780A1 (en) 2019-08-29
US12007570B2 (en) 2024-06-11
US20230229004A1 (en) 2023-07-20
KR102358548B1 (ko) 2022-02-04
TW202001686A (zh) 2020-01-01
KR20240023091A (ko) 2024-02-20
US10860087B2 (en) 2020-12-08
TW202038138A (zh) 2020-10-16
EP3617835A1 (en) 2020-03-04
US11914153B2 (en) 2024-02-27
WO2016060397A1 (en) 2016-04-21
KR102637662B1 (ko) 2024-02-19
EP3009915B1 (en) 2018-12-05
EP3418858A1 (en) 2018-12-26
KR20220088660A (ko) 2022-06-28
KR20220145317A (ko) 2022-10-28
CN111665905B (zh) 2024-03-08
CN111665905A (zh) 2020-09-15
TW201626291A (zh) 2016-07-16
KR102585237B1 (ko) 2023-10-05
US20220269089A1 (en) 2022-08-25
KR20220020308A (ko) 2022-02-18
TWI730824B (zh) 2021-06-11
US10331205B2 (en) 2019-06-25
KR20230141724A (ko) 2023-10-10
KR102411100B1 (ko) 2022-06-22
EP3418858B1 (en) 2019-12-04
US20160109937A1 (en) 2016-04-21
KR20160044272A (ko) 2016-04-25
US11353707B2 (en) 2022-06-07
US20210048678A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
ES2763701T3 (es) Procedimiento y aparato para procesar la pantalla usando el dispositivo
US11084581B2 (en) Mobile terminal and control method therefor
ES2739889T3 (es) Terminal móvil y método para controlar el mismo
US9774360B2 (en) Mobile terminal and method for controlling the same
US20150286288A1 (en) Flexible glass display apparatus and method for controlling the same
EP3299933B1 (en) Method for displaying a navigator associated with content and electronic device for implementing the same
KR101641424B1 (ko) 단말기 및 그 동작 방법
EP3029554B1 (en) Mobile terminal and method of controlling the same
US20220272185A1 (en) Mobile terminal