ES2464127T3 - Dispositivo de interacción con un objeto aumentado - Google Patents

Dispositivo de interacción con un objeto aumentado Download PDF

Info

Publication number
ES2464127T3
ES2464127T3 ES10763807.4T ES10763807T ES2464127T3 ES 2464127 T3 ES2464127 T3 ES 2464127T3 ES 10763807 T ES10763807 T ES 10763807T ES 2464127 T3 ES2464127 T3 ES 2464127T3
Authority
ES
Spain
Prior art keywords
user
augmented
control interface
augmented object
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES10763807.4T
Other languages
English (en)
Inventor
Alain Pastor
José JEAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Application granted granted Critical
Publication of ES2464127T3 publication Critical patent/ES2464127T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40195—Tele-operation, computer assisted manual operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Dispositivo que permite que un usuario (5), situado en una zona de usuario (4), interactúe con al menos un objeto aumentado (3) presente en un entorno, encontrándose dicho objeto aumentado (3) situado en una zona de objeto (2), comprendiendo el objeto aumentado (3) un objeto físico (6) y un objeto virtual (7) asociados, comprendiendo dicho objeto virtual (7) al menos un elemento de definición de al menos un servicio que ofrece dicho objeto aumentado (2), pudiendo dicho objeto aumentado (3) conectarse a través de un primer medio de comunicación (10) y comprendiendo dicho dispositivo (1): - un medio de captura de vídeo (8), situado en la zona de objeto (2), adaptado para realizar una adquisición de imagen de vídeo (9), de al menos una parte de dicho entorno; - un segundo medio de comunicación (11), adaptado para transmitir dicha imagen de vídeo (9) desde la zona de objeto (2) a la zona de usuario (4); - un terminal de usuario (12) situado en la zona de usuario (4), adaptado para mostrar dicha imagen de vídeo (9), con el fin de presentársela al usuario (5); - un medio de identificación (13) automática del objeto aumentado (3) cuando el objeto físico (6) asociado está presente en el campo del medio de captura de vídeo (8); - un primer medio de comunicación (10), adaptado para establecer una conexión entre el dispositivo (1) y el objeto aumentado (3) identificado, y para recuperar dichos elementos de definición de servicio que ofrece dicho objeto aumentado (3); - un medio de definición (14) de interfaz de control, adaptado para definir una interfaz de control (15) para los servicios del objeto aumentado (3) identificado de acuerdo con dichos elementos de definición de servicio, y para presentar dicha interfaz de control (15) al usuario (5), a través del terminal de usuario (12); - un medio de lectura (16) de las órdenes de dichos servicios, adaptado para leer las órdenes suministradas por el usuario (5), en relación con dicha interfaz de control (15); - un tercer medio de comunicación (17), adaptado para transmitir dichas órdenes al objeto aumentado (3), para la ejecución de dichos servicios por el objeto físico (6).

Description

Dispositivo de interacción con un objeto aumentado
La presente invención se refiere a un nuevo paradigma de interacción, que permite que un usuario interactúe con al menos un objeto de un entorno, por medio de una conexión de vídeo.
Numerosos entornos y aplicaciones precisan la interacción de un usuario con objetos vistos a través de una conexión de vídeo, por ejemplo en los casos de objetos remotos, o de entornos peligrosos.
Es conocido, por ejemplo por el documento US 6463343, visualizar, a través de una conexión de vídeo, un entorno que comprende al menos un objeto “activo”, y mostrar en superposición unos elementos de interfaz de control asociados a unos servicios que ofrece dicho objeto, con el fin de permitir que un usuario interactúe con dicho objeto, permitiendo la conexión de vídeo controlar visualmente las consecuencias de una interacción.
No obstante, en el documento US 6463343, el usuario debe, de forma previa a cualquier interacción, definir unas asociaciones entre, por una parte, unos elementos de interfaz de control tradicionalmente suministrados por un medio de almacenamiento y, por otra parte, unos servicios que ofrece un objeto.
Desde la aparición del Internet de las cosas (“Internet of Things” en inglés), el descubrimiento y el control de objetos remotos a través de una imagen de vídeo se ha convertido en una importante área de interés. El problema principal consiste en descubrir y en actuar sobre un objeto interactivo a través de una conexión de vídeo, limitando las tareas de integración de interfaz y de configuración.
Esto implica una capacidad de distinguir de forma automática unos objetos que pueden presentar una interfaz de control a distancia de los demás objetos ordinarios, así como una capacidad para presentar esta interfaz de control al usuario de forma coherente con dicho vídeo, con el fin de permitir que el usuario controle el objeto remoto utilizando unos servicios que propone dicho objeto.
En la actualidad, únicamente se conoce el insertar una información estática en un vídeo, o también insertar comentarios en una zona específica de una imagen. El documento WO 2009/113067 describe una adquisición de imagen y la interacción de información con un terminal de cliente.
La presente invención resuelve estos inconvenientes proponiendo unos medios que permiten asociar de forma automática un objeto activo con unas interfaces de control o unos medios de definición de estas interfaces. Esto ha sido posible por medio del innovador concepto de objeto aumentado. Dicho concepto encuentra su lugar de forma natural en los desarrollos actuales entorno al Internet de las cosas.
La invención tiene por objeto un dispositivo que permite que un usuario, situado en una zona de usuario, interactúe con al menos un objeto aumentado presente en un entorno, encontrándose dicho objeto aumentado situado en una zona de objeto, comprendiendo el objeto aumentado un objeto físico y un objeto virtual asociados, comprendiendo dicho objeto virtual al menos un elemento de definición de al menos un servicio que ofrece dicho objeto aumentado, pudiendo dicho objeto aumentado conectarse a través de un primer medio de comunicación, y dicho dispositivo comprende:
-
un medio de captura de vídeo, situado en la zona de objeto, adaptado para realizar una adquisición de imagen de vídeo, de al menos una parte de dicho entorno; -un segundo medio de comunicación, adaptado para transmitir dicha imagen de vídeo desde la zona de objeto a la zona de usuario; -un terminal de usuario situado en la zona de usuario, adaptado para mostrar dicha imagen de vídeo, con el fin de presentarla al usuario; -un medio de identificación automática del objeto aumentado cuando el objeto físico asociado está presente en el campo del medio de captura de vídeo;
-
un primer medio de comunicación, adaptado para establecer una conexión entre el dispositivo y el objeto aumentado identificado, y para recuperar dichos elementos de definición del servicio que ofrece dicho objeto aumentado;
-
un medio de definición de interfaz de control, adaptado para definir una interfaz de control para los servicios del objeto aumentado identificado de acuerdo con dichos elementos de definición de servicio, y para presentar dicha interfaz de control al usuario, a través del terminal de usuario;
-
un medio de lectura de las órdenes de dichos servicios, adaptado para leer las órdenes suministradas por el usuario, en relación con dicha interfaz de control; -un tercer medio de comunicación, adaptado para transmitir dichas órdenes al objeto aumentado, para la ejecución de dichos servicios por el objeto físico.
Según otra característica de la invención, el dispositivo también comprende un medio de captura de sonido, situado en la zona de objeto, adaptado para realizar una adquisición de sonido del entorno, un cuarto medio de comunicación adaptado para transmitir dicho sonido desde la zona de objeto a la zona de usuario, comprendiendo el terminal de usuario un medio de reproducción de sonido, adaptado para reproducir dicho sonido al usuario.
Según otra característica de la invención, el medio de captura de vídeo se puede controlar en orientación y/o en posición, el terminal de usuario comprende además un medio de control, adaptado para permitir que el usuario realice dicho control produciendo las órdenes de control, y el dispositivo comprende además un quinto medio de comunicación, adaptado para transmitir dichas órdenes de control desde la zona de usuario a la zona de objeto.
Según otra característica de la invención, el medio de identificación automática del objeto aumentado comprende un medio de reconocimiento de forma del objeto físico.
Según otra característica de la invención, el medio de identificación automática del objeto aumentado comprende un medio de localización del objeto físico.
Según otra característica de la invención, el medio de identificación automática del objeto aumentado comprende una referencia identificadora dispuesta sobre o cerca del objeto físico.
Según otra característica de la invención, el medio de definición de interfaz, está adaptado para utilizar una interfaz de control directamente propuesta por el objeto aumentado.
Según una característica alternativa de la invención, el medio de definición de interfaz está adaptado para recuperar desde un medio de almacenamiento una interfaz de control definida de acuerdo con los elementos de definición de servicio.
Según una característica alternativa de la invención, el medio de definición de interfaz está adaptado para mostrar dicha interfaz de control, superpuesta sobre la imagen de vídeo que se muestra en el terminal de usuario.
Según otra característica de la invención, el medio de lectura de las órdenes de dichos servicios, en relación con dicha interfaz de control, comprende un teclado, una pantalla táctil y/o un dispositivo de puntero.
Según otra característica de la invención, el tercer medio de comunicación de las órdenes de dichos servicios al objeto aumentado comprende una conexión entre el terminal de usuario y el objeto aumentado y una interfaz de conexión específica entre el objeto virtual y el objeto físico.
Según otra característica ventajosa de la invención, el primer, el segundo, el tercero, el cuarto y el quinto medios de comunicación comprenden la red de Internet.
Se mostrarán de forma más clara otras características, detalles y ventajas de la invención en la descripción detallada que se da a continuación a título indicativo en relación con los dibujos, en los que:
-la figura 1 presenta un cuadro sinóptico de un dispositivo según la invención; -la figura 2 ilustra un ejemplo de zona de objeto que comprende un objeto aumentado; -la figura 3 muestra un ejemplo de visualización superponiendo una imagen de vídeo y una interfaz de control
para el objeto aumentado que se presenta en la figura 2.
La figura 1 representa un dispositivo 1 según la invención. En una zona denominada de objeto 2 está presente un entorno que comprende al menos un objeto aumentado 3. Dicho dispositivo 1 permite que un usuario 5 situado en una zona de usuario 4, por lo general distinta y alejada de la zona de objeto 2, detecte el o los objetos aumentados 3 e interactúe con ellos. Para ello, según una característica esencial de la invención, un objeto aumentado se construye alrededor de un objeto físico 6, al cual se añade un objeto virtual 7. Dicho objeto físico 6 es un objeto 6 del mundo real, de preferencia un objeto activo, en el sentido de que puede proponer al menos un servicio.
A título de ejemplos ilustrativos y no limitativos, se citarán algunos objetos 3, con el fin de explicar este objetivo. De este modo, una lámpara es un objeto que puede proponer dos servicios: un servicio « enciende » de encendido de dicha lámpara y un servicio « apaga » de apagado de dicha lámpara. Un lector multimedia es otro objeto que puede, por ejemplo, proponer un servicio de « difusión » de un contenido multimedia. Por último, un teléfono es un objeto que puede proponer un servicio « llamada » de conexión telefónica.
Con el fin de definir el objeto aumentado 3 y los servicios que este puede proponer, un objeto virtual 7 está asociado al objeto físico 6. Este objeto virtual 7 es un objeto del universo informático. De este modo, comprende unos elementos puramente informáticos de tipo dato y/o programa, y también puede comprender unos elementos físicos, tradicionalmente electrónicos, de gestión, de interfaz o de interconexión.
Dicho objeto virtual 7 puede comprender al menos un elemento de definición y/o de identificación del objeto físico 6. De este modo, un objeto aumentado 3 se define de manera única, en un entorno dado. El objeto virtual 7 asociado a un objeto físico 6 comprende al menos un elemento de definición, que define el o los servicios que ofrece dicho objeto aumentado 3, a través del objeto físico 6.
Según una característica esencial de la invención, un objeto aumentado se puede conectar a través de un primer medio de comunicación 10, por ejemplo de tipo red. La conexión y la interfaz de comunicación con dicho medio de comunicación 10 están garantizados por el objeto virtual 7 del objeto aumentado 3. De este modo, un usuario 5 puede conectarse, a través de un terminal de usuario 12, con un objeto aumentado 3, para dialogar e intercambiar
informaciones.
El dispositivo 1 comprende un medio de captura de vídeo 8 adaptado para realizar una adquisición de imagen de vídeo 9 de al menos una parte del entorno. Este medio de captura de vídeo 8 está situado en la zona de objeto 2. Este medio de captura de vídeo 8 puede comprender al menos una cámara de vídeo, por ejemplo de tipo webcam.
Un segundo medio de comunicación 11 permite transmitir dicha imagen de vídeo 9 captada, desde la zona de objeto 2 hacia la zona de usuario 4.
El usuario 5 dialoga con el dispositivo 1 y lo controla por medio de un terminal de usuario 12. Este terminal de usuario 12 está situado en la zona de usuario 4 y está adaptado para mostrar dicha imagen de vídeo 9 obtenida y transmitida, para presentársela al usuario 5. De este modo, el usuario 5 puede estar, de manera ventajosa, visualmente informado, a distancia y en tiempo real, de lo que sucede en la zona de objeto 2.
El dispositivo 1 comprende además un medio de identificación 13 automática de un objeto aumentado 3 cuando el objeto físico 6 asociado a este objeto aumentado 3 está presente en el campo del medio de captura de vídeo 8. Dicho medio de identificación 13 puede funcionar según diferentes principios, algunos de los cuales se detallarán a continuación a título ilustrativo. La identificación se puede realizar en cualquier momento, bajo petición o de forma permanente. Sin embargo, es conveniente que un objeto 3 se pueda identificar, al menos cuando es visible por el medio de captura de vídeo 8 y está presente en la imagen de vídeo 9 presentada al usuario 5. Como se detallará más adelante, la identificación permite reconocer al objeto 3, pero también identificarlo de manera única. Esta identificación proporciona de este modo un medio para localizar dicho objeto 3 con el fin de poder conectarse con él. De este modo, en el caso de una red de comunicación, la identificación proporciona una dirección de red única de dicho objeto aumentado 3, lo que permite localizar al objeto en la red y conectarse.
El dispositivo 1 también comprende un primer medio de comunicación 10. Este primer medio de comunicación 10 permite establecer una conexión entre el dispositivo 1 y el objeto aumentado 3 identificado de este modo, basándose en el o los elementos de identificación suministrados por el medio de identificación 13. Esta conexión establecida con el objeto aumentado 3 permite interrogar al objeto aumentado 3 con el fin de recuperar la información concerniente al objeto aumentado 3 contenida en un medio de almacenamiento asociado a dicho objeto 3 o al que hace referencia dicho objeto 3.
Entre las informaciones recuperadas de este modo, el dispositivo 1 diferencia al menos unos elementos de definición de uno o varios servicios ofrecidos por dicho objeto aumentado 3.
De este modo, retomando el ejemplo de la lámpara, el dispositivo se conecta con la lámpara aumentada identificada y recupera dos servicios « enciende » y « apaga », así como los elementos de definición de estos servicios. De este modo, en el presente caso, los elementos de definición del servicio « enciende » comprenden, por ejemplo, su nombre « enciende », su tipología: control binario, así como los elementos necesarios para su implementación: dirección o conexión física que hay que activar para realizar el servicio de encendido de la lámpara.
Es obvio que si se pueden identificar varios objetos aumentados 3 en una imagen de vídeo 9, se establecen varias conexiones, de forma secuencial o paralela, entre el dispositivo 1 y cada uno de los diferentes objetos aumentados 3, con el fin de recuperar la información para cada uno.
El dispositivo 1 comprende también un medio de definición 14 de interfaz de control que, a partir de los elementos de definición de los servicios de un objeto aumentado 3, puede definir una interfaz de control 15 para los servicios del objeto aumentado 3 identificado. Esta interfaz de control 15 presenta una cara indicadora, por ejemplo gráfica, que se puede mostrar en el terminal de usuario 12 con el fin de que lo vea el usuario 5. En relación con esta cara indicadora, la interfaz de control 15 comprende las conexiones necesarias para la transmisión de las órdenes de servicios al objeto aumentado 3. La interfaz de control 15 se define de acuerdo con los elementos de definición de servicio.
El dispositivo 1 comprende también un medio de lectura 16 adaptado para leer las órdenes que aplica el usuario 5. Este medio de lectura 16 se configura de acuerdo con los elementos de definición de servicio extraídos del objeto aumentado 3 identificado y en relación con la cara indicadora de dicha interfaz de control 15.
De este modo, volviendo al ejemplo de la lámpara, los dos servicios « enciende » y « apaga » se van a mostrar, por ejemplo, en una interfaz de control 15 que comprende dos botones. Estos dos botones se van a mostrar de forma gráfica, cada uno reconocible por su nombre. El medio de lectura 16 es entonces capaz de detectar un accionamiento por el usuario 5 de uno u otro de estos dos botones. Si el usuario acciona el botón asociado al servicio « enciende », el medio de lectura 16 lee una orden de servicio correspondiente « enciende ».
El dispositivo comprende también un tercer medio de comunicación 17. Este medio de comunicación se encarga de transmitir una orden leída de este modo por el medio de lectura 16, destinada al objeto aumentado 3. Esta transmisión se realiza con el fin de que el objeto aumentado 3 reciba dicha orden y ejecute en el objeto físico 6 el servicio correspondiente.
De este modo, para continuar con el ejemplo de la lámpara, se ha leído una orden « enciende ». Esta se transmite al objeto aumentado lámpara que acciona entonces los elementos de interfaz necesarios para que el servicio se ejecute y la lámpara física se encienda.
La percepción del entorno presentada al usuario 5 es, de manera ventajosa, visual a través de la imagen de vídeo 9. Sin embargo, se puede sustituir o completar con unas retroalimentaciones de información según otras modalidades sensoriales. De ese modo, el dispositivo 1 puede comprender de manera ventajosa un medio de captura de sonido, en la zona de objeto 3, coincidiendo geográficamente o no con el medio de captura de vídeo 8, con el fin de realizar una adquisición de sonido ambiental. Se utiliza entonces un cuarto medio de transmisión para transmitir dicho sonido desde la zona de objeto 2 hacia la zona de usuario 4, con el fin de reproducir dicho sonido por medio de un medio de reproducción de sonido, de tipo auricular o altavoz, comprendido en el terminal de usuario 12, para que lo oiga el usuario 5.
También se puede añadir de acuerdo con el mismo principio otras retroalimentaciones, como una respuesta táctil. Todas estas ayudas perceptuales se combinan para informar al usuario 5 sobre el entorno y lo que en este tiene lugar, en particular como respuesta a las acciones del usuario 5 que controla los servicios de los objetos aumentados 3 y que de este modo modifica dicho entorno.
De manera ventajosa, con el fin de que cambie el campo que ve el medio de captura de vídeo 8 y de este modo aumentar la extensión del entorno que puede percibir el usuario 5 remoto, el medio de captura de vídeo 8 se puede controlar. De este modo, un sensor de vídeo se puede controlar en orientación, por ejemplo en elevación y en acimut. Un sensor de vídeo también se puede controlar en zoom. Un sensor de vídeo también se puede controlar en posición. Esta última posibilidad se puede realizar por medio de una base móvil, como un robot dirigible, encontrándose un sensor de vídeo montado sobre dicha base móvil. Esto también se puede realizar con una multitud de sensores de vídeo acoplados a un medio de selección de fuente de tipo control. También se pueden combinar estas diferentes formas de realización. El terminal de usuario 12 comprende entonces un medio de control 18 adecuado a la estructura del medio de captura de vídeo 8, adaptado para permitir que el usuario 5 realice dicho control produciendo unas órdenes de control. El dispositivo 1 comprende de manera ventajosa un quinto medio de comunicación 19 que puede transmitir dichas órdenes de control desde la zona de usuario 4 hacia la zona de objeto 2, para la ejecución por el o los elementos de control que realizan las orientaciones, posiciones, selecciones, del medio de captura de vídeo 8.
Una parte importante del dispositivo 1 se lleva a cabo por la identificación del objeto aumentado 3. Se pueden aplicar indistintamente varias técnicas para obtener dicha identificación. Esta identificación es necesaria porque permite designar de manera única al objeto aumentado 3 con el fin de realizar una conexión con dicho objeto aumentado 3.
Una primera forma de realización de un medio de identificación puede utilizar un reconocimiento de forma según cualquier método conocido, mediante el análisis de la imagen de vídeo 9. Sin embargo, dicho análisis permite un reconocimiento, pero no una identificación. De este modo el análisis de la forma permite reconocer que un objeto es una lámpara, pero la identificación necesita conocer con precisión de qué lámpara se trata.
Así pues, un método por reconocimiento de forma se debe completar con otros medios. De este modo, se puede proceder utilizando un inventario previo. La lámpara puede de este modo identificarse de manera segura si solo hay una lámpara (o solo hay una lámpara de este tipo/color, o en este entorno/esta habitación).
Otra forma de realización de un medio de identificación 13 puede emplear, solo o combinado con otro medio como el reconocimiento de forma, una localización del objeto físico 6. De este modo, el objeto se identifica en función de su localización. El objeto es una lámpara porque está en la esquina izquierda de la habitación. O también en combinación, la lámpara reconocida por su forma es la lámpara nº. 3 porque es (la única lámpara) situada a un metro por encima del suelo. Dicho enfoque precisa, sin embargo, una definición previa, por ejemplo en forma de una cartografía, de las posiciones de los diferentes objetos, lo que reduce el carácter genérico del dispositivo. Otro inconveniente es que resulta difícil o imposible identificar un objeto aumentado 3 en cuanto este se ha desplazado.
La determinación de la posición de un objeto se puede realizar a partir de la posición y de la orientación del medio de captura de vídeo 8. De este modo, al conocerse la posición del sensor de vídeo porque es fija o mediante cualquier medio de localización conocido, como un receptor gps, si esta es variable, la posición de un objeto se puede determinar mediante el conocimiento de los ángulos de orientación de dicho sensor de vídeo. Hablando con propiedad, dicha información de referencia indica una recta y no una posición. Sin embargo, dicha información referencia puede bastar para identificar un objeto 3, si ningún otro objeto (u objeto del mismo tipo, o de la misma forma, etc.) está presente en dicha recta.
No obstante, se prefiere una forma de realización de un medio de identificación 13 que no precise ninguna preparación previa de tipo cartografía y que tolere un eventual y siempre posible desplazamiento del objeto 3. Dicho medio de identificación 13 se puede realizar equipando al objeto físico 6 asociado a un objeto aumentado 3 que se desea identificar con una referencia identificadora 20. Dicha referencia 20 es única con el fin de sea identificadora. Esta se dispone sobre o cerca del objeto físico 6. Se sitúa de tal modo que se pueda ver/leer según su naturaleza. Su firma (forma, color, codificación, etc.) característica se consigna en una tabla de correspondencias, a la que se
puede acceder desde el dispositivo 1, asociando una firma a un identificador único de objeto aumentado (por ejemplo la dirección de red de dicho objeto aumentado 3). Un enfoque alternativo consiste en codificar directamente en la referencia identificadora 20 los elementos de identificación de objeto aumentado 3 que permiten la conexión.
Según esta forma de realización, es necesaria en este caso una preparación previa del entorno. Sin embargo, la preparación se realiza, una sola vez para siempre, para cada objeto aumentado 3, de forma individual e independiente. Se puede considerar que todos los objetos candidatos se configuren de este modo en un futuro en su fabricación, asociándoles de manera única una referencia identificadora 20 visible/legible y una dirección de conexión de red, por ejemplo la actual dirección MAC. Si la correspondencia entre la referencia identificadora 20 y los elementos de identificación de conexión no se codifica directamente en la propia referencia identificadora, el fabricante del objeto puede publicar la tabla de correspondencias, por ejemplo en Internet, para que se tenga acceso a esta.
La referencia identificadora 20 puede ser una referencia visual (pictograma, código de barras, código de color, etc.) visible de manera ventajosa por el medio de captura de vídeo 8, con el fin de que lo reconozca el dispositivo 1, por ejemplo mediante el análisis de imagen. Un elemento visual « codificador », como un código de barras, permite de manera ventajosa incluir directamente al identificador de conexión de red en su código, o también una dirección o cualquier otro medio de referencia que permita encontrarlo.
De manera ventajosa, dicha referencia visual no precisa ningún medio adicional de lectura, ya que utiliza de nuevo el medio de captura de vídeo 8. Un inconveniente de dicha referencia visual es que solo es visible desde una zona limitada del espacio alrededor de una dirección preferida.
Según una forma alternativa de realización, la referencia identificadora es una etiqueta de radiofrecuencia, también conocida con el nombre de RFID. En este caso, el dispositivo 1 también debe comprender un lector de estas etiquetas de radiofrecuencia. Este lector situado en la zona de objeto 2, está adaptado para leer dicha etiqueta de radiofrecuencia. Dicha etiqueta de radiofrecuencia es « codificadora » con la ventaja anteriormente explicada. De manera ventajosa, dicha etiqueta de radiofrecuencia no necesita estar a la vista para poder leerla y se puede disimular/ocultar en el objeto 3. De manera ventajosa también, la lectura de dicha etiqueta de radiofrecuencia se puede llevar a cabo indistintamente desde cualquier dirección del espacio.
Se ha explicado que el medio de definición de interfaz 14 extrae del objeto aumentado 3 los elementos de definición de la interfaz de control 15 asociada a los servicios que propone dicho objeto aumentado 3. La interfaz de control está al menos definida por el objeto 3 de manera tipológica. De este modo, en el ejemplo de la lámpara, los elementos de definición de la interfaz de control 15 comprenden al menos la indicación de que cada uno de los dos servicios « enciende » y « apaga » está asociado a un control binario. El objeto puede entonces comprender unas indicaciones más precisas, como la disposición, la apariencia o incluso la representación gráfica detallada de una interfaz de control 15 que propone el objeto aumentado 3.
Según una primera forma de realización, el medio de definición de interfaz 14 utiliza directa e íntegramente la interfaz de control que propone el objeto aumentado 3. Esto permite respetar una estética gráfica específica del objeto aumentado 3.
Como alternativa, el medio de definición de interfaz 14 utiliza los elementos de definición tipológica para construir una interfaz de control 15 compatible del objeto 3 y de sus servicios, pero define una apariencia gráfica sin tener en cuenta la que propone el objeto aumentado 3. Esto permite que el medio de definición de interfaz 14 proponga una interfaz de control 15 que presenta una estética gráfica homogénea de un objeto aumentado 3 a otro.
Esta capacidad para extraer del objeto aumentado 3 identifica de forma automática en una imagen de vídeo 9 los elementos de definición tipológica de interfaz y toda o parte de su representación gráfica, sin ningún conocimiento previo del entorno o de los objetos, resulta muy ventajosa porque permite una implementación del dispositivo 1 sin una definición, modelización del entorno o configuración previa.
Además, una identificación automática y autónoma (sin configuración o preparación) permite aprehender un entorno desconocido y tolerar una evolución de dicho entorno, por ejemplo por el desplazamiento de los objetos 3.
Resulta evidente que los elementos extraídos tras la conexión con el objeto aumentado 3 se pueden extraer de un medio de almacenamiento efectivamente comprendiendo en el propio objeto aumentado 3. Como alternativa, se puede extraer del objeto 3 una referencia, una dirección, que indica un medio de almacenamiento remoto en el que están almacenados estos elementos.
Tras haber definido dicha interfaz de control 15, el medio de definición 14 se puede mostrar en un medio de visualización comprendido de manera ventajosa en el terminal de usuario 12.
Según una forma de realización especialmente ventajosa, la visualización de dicha interfaz de control 15 se realiza, mediante superposición gráfica, directamente en la imagen de vídeo 9. De este modo, en un mismo medio de visualización el usuario 5 dispone de todas las informaciones necesarias para una interacción con un objeto 3 con la finalidad de utilizar sus servicios. De este modo la interfaz de control se dispone, de manera ventajosa, cerca del
objeto aumentado 3 al cual está asociada. De este modo el usuario 5 puede controlar los servicios del objeto 3 por medio de dicha interfaz de control 15, y en una misma visualización observar las consecuencias del uso de un servicio.
De este modo, todavía en el ejemplo de la lámpara, en una imagen de vídeo en la cual aparece la lámpara se superpone, no lejos de la lámpara, con el fin de que resulte evidente su asociación, una representación gráfica de una interfaz de control en la que se muestran dos botones « enciende » y « apaga ». El usuario 5 cuando ordena uno de estos dos servicios, puede observar directamente sus consecuencias en el entorno que muestra la imagen de vídeo 9. De este modo, tras ordenar el servicio « enciende », la lámpara se enciende, y el usuario 5 puede observar el efecto de la iluminación en el entorno.
En correspondencia con dicha interfaz de control 15 presentada de este modo al usuario 5, el dispositivo 1 comprende un medio de lectura 16 de las órdenes que efectúa el usuario 5. Este medio de lectura 16 puede comprender un teclado, una pantalla táctil y/o también un dispositivo de puntero. Este o estos elementos se configuran en relación con la interfaz de control 15. De este modo, en el ejemplo de la lámpara, se puede utilizar un teclado asociando una tecla a cada uno de los dos servicios « enciende » y « apaga ». Al pulsar sobre una tecla se ordena dicho servicio. También se puede utilizarte una pantalla táctil. De manera ventajosa, esta se superpone delante del medio de visualización en el cual aparece la representación gráfica de la interfaz de control 15. También de manera tradicional, se puede emplear un dispositivo de puntero de tipo ratón (o joystick, trackball, pad, etc.). En este caso se activa un botón gráfico haciendo clic en su zona activa.
Un objeto aumentado 3, tal como se define en relación con la presente invención, es fundamentalmente conectable. De este modo se puede utilizar un primer medio de comunicación para acceder a la información del objeto y definir su interfaz de control.
Se utiliza también un tercer medio de comunicación 17 para transmitir una orden de un servicio, desde el terminal de usuario 12 que ha leído dicha orden procedente del usuario 5, hasta el objeto aumentado 3 que ejecuta dicha orden para realizar el servicio correspondiente.
Este tercer medio de comunicación 17 comprende sistemáticamente una primera conexión entre el terminal de usuario 12 y el objeto aumentado 3. Esta conexión la mayoría de las veces de tipo red establece una conexión entre el terminal de usuario 12 y el objeto virtual 7. Este puede, además, comprender una segunda conexión. Esta segunda conexión es una interfaz de conexión específica entre el objeto virtual 7 y el objeto físico 6. De este modo, en el caso de la lámpara que antes del aumento es un objeto puramente físico, es necesario completarlo con una interfaz de conexión específica que asocia físicamente los dos servicios virtuales «enciende » y « apaga » con un dispositivo interruptor.
En el caso de un objeto electrónico o informático, como un disco duro de red o un lector de DVD que dispone de una interfaz de Internet, que comprende intrínsecamente una interfaz de red, estas dos conexiones se confunden.
Según una forma ventajosa de realización, el primer, el segundo, el tercero, el cuarto y el quinto medios de comunicación se confunden y comprenden una red de comunicación, por ejemplo la red de Internet.
Con el fin de completar e ilustrar la presente descripción que ha descrito la estructura del dispositivo 1, se presenta a continuación un ejemplo ilustrativo de uso, con el fin de se muestren bien las potenciales de este nuevo paradigma.
El marco de aplicación es una interacción a distancia en un entorno domótico, aplicado al entretenimiento y a la vigilancia de un niño, en casa, por un padre (usuario 5) desde su lugar de trabajo, por medio de un terminal 12.
El usuario 5, desde su lugar de trabajo (zona de usuario 4) visiona el interior del domicilio (zona de objeto 2), por medio de una webcam 8 cuya imagen se retransmite, a través de Internet, en un ordenador personal (terminal de usuario 12), de manera ventajosa de tipo estándar. La imagen de vídeo 9 muestra un salón. El dispositivo detecta de forma automática y, llegado el caso, señala gráficamente la presencia en esta escena de tres objetos aumentados: una lámpara, un teléfono y un lector multimedia. El dispositivo permite de forma selectiva (por ejemplo cuando se pasa un puntero por encima del objeto) que se muestre o se oculte una interfaz de control 15 para cada uno de dichos objetos aumentados.
Son las 17 h y el padre puede observar, por medio de la imagen de vídeo, a su hijo que vuelve a casa.
El padre selecciona el objeto teléfono. Eso hace que se muestre una interfaz de control que propone al menos un servicio « llámame ». Se ordena este servicio y se activa el establecimiento de una llamada telefónica destinada al teléfono presente en la casa, y que pone en comunicación al padre por medio de su terminal con el hijo por medio de dicho teléfono.
Durante la conversación que sigue, el padre propone a su hijo que vea el último videoclip de su grupo preferido, que el padre acaba de descargar.
El padre selecciona el objeto lector multimedia. Eso hace que se muestre una interfaz de control que propone al menos un servicio « difusión ». El padre selecciona el videoclip en el escritorio de su terminal y lo desliza a la interfaz de control del servicio « difusión ». Eso activa una descarga de dicho videoclip desde el lugar de trabajo al lector multimedia en la casa y a continuación la difusión de dicho videoclip en dicho lector multimedia para que el niño lo vea.
Para no interferir en la difusión del videoclip, el padre puede seleccionar el objeto lámpara, con el fin de apagarla, también a distancia.

Claims (12)

  1. REIVINDICACIONES
    1. Dispositivo que permite que un usuario (5), situado en una zona de usuario (4), interactúe con al menos un objeto aumentado (3) presente en un entorno, encontrándose dicho objeto aumentado (3) situado en una zona de objeto (2), comprendiendo el objeto aumentado (3) un objeto físico (6) y un objeto virtual (7) asociados, comprendiendo
    5 dicho objeto virtual (7) al menos un elemento de definición de al menos un servicio que ofrece dicho objeto aumentado (2), pudiendo dicho objeto aumentado (3) conectarse a través de un primer medio de comunicación (10) y comprendiendo dicho dispositivo (1):
    -
    un medio de captura de vídeo (8), situado en la zona de objeto (2), adaptado para realizar una adquisición de imagen de vídeo (9), de al menos una parte de dicho entorno;
    10 -un segundo medio de comunicación (11), adaptado para transmitir dicha imagen de vídeo (9) desde la zona de objeto (2) a la zona de usuario (4); -un terminal de usuario (12) situado en la zona de usuario (4), adaptado para mostrar dicha imagen de vídeo (9), con el fin de presentársela al usuario (5); -un medio de identificación (13) automática del objeto aumentado (3) cuando el objeto físico (6) asociado está
    15 presente en el campo del medio de captura de vídeo (8); -un primer medio de comunicación (10), adaptado para establecer una conexión entre el dispositivo (1) y el objeto aumentado (3) identificado, y para recuperar dichos elementos de definición de servicio que ofrece dicho objeto aumentado (3); -un medio de definición (14) de interfaz de control, adaptado para definir una interfaz de control (15) para los
    20 servicios del objeto aumentado (3) identificado de acuerdo con dichos elementos de definición de servicio, y para presentar dicha interfaz de control (15) al usuario (5), a través del terminal de usuario (12); -un medio de lectura (16) de las órdenes de dichos servicios, adaptado para leer las órdenes suministradas por el usuario (5), en relación con dicha interfaz de control (15); -un tercer medio de comunicación (17), adaptado para transmitir dichas órdenes al objeto aumentado (3), para
    25 la ejecución de dichos servicios por el objeto físico (6).
  2. 2. Dispositivo según la reivindicación 1, que comprende además un medio de captura de sonido, situado en la zona de objeto (2), adaptado para realizar una adquisición de sonido ambiental, un cuarto medio de comunicación, adaptado para transmitir dicho sonido desde la zona de objeto (2) a la zona de usuario (4), comprendiendo el terminal de usuario (12) un medio de reproducción de sonido, adaptado para reproducir dicho sonido al usuario (5).
    30 3. Dispositivo según la reivindicación 1 o 2, en el que el medio de captura de vídeo (8) se puede controlar en orientación y/o en posición, en el que el terminal de usuario (12) comprende también un medio de control de vídeo (18), adaptado para permitir que el usuario (5) realice dicho control produciendo las órdenes de control, y en el que el dispositivo comprende además un quinto medio de comunicación (19), adaptado para transmitir dichas órdenes de control desde la zona de usuario (4) a la zona de objeto (2).
    35 4. Dispositivo según una cualquiera de las reivindicaciones 1 a 3, en el que el medio de identificación (13) automática del objeto aumentado (3) comprende un medio de reconocimiento de forma del objeto físico (6).
  3. 5.
    Dispositivo según una cualquiera de las reivindicaciones 1 a 4, en el que el medio de identificación (13) automática del objeto aumentado (3) comprende un medio de localización del objeto físico (6).
  4. 6.
    Dispositivo según una cualquiera de las reivindicaciones 1 a 5, en el que el medio de identificación automática
    40 (13) del objeto aumentado (3) comprende una referencia identificadora (20) dispuesta sobre o cerca del objeto físico (6).
  5. 7.
    Dispositivo según la reivindicación 6, en el que la referencia identificadora (20) es una referencia visual.
  6. 8.
    Dispositivo según la reivindicación 6 o 7, en el que la referencia identificadora (20) es una etiqueta de
    radiofrecuencia, y el dispositivo comprende además un lector de etiquetas de radiofrecuencia situado en la zona de 45 objeto (2), adaptado para leer dicha etiqueta de radiofrecuencia.
  7. 9.
    Dispositivo según una cualquiera de las reivindicaciones 1 a 8, en el que el medio de definición de interfaz (14) está adaptado para utilizar una interfaz de control (15) directamente propuesta por el objeto aumentado (3).
  8. 10.
    Dispositivo según una cualquiera de las reivindicaciones 1 a 9, en el que el medio de definición de interfaz (14)
    está adaptado para recuperar desde un medio de almacenamiento una interfaz de control (15) definida de acuerdo 50 con los elementos de definición de servicio.
  9. 11. Dispositivo según una cualquiera de las reivindicaciones 1 a 10, en el que el medio de identificación de interfaz
    (14) está adaptado para mostrar dicha interfaz de control (15), superpuesta en la imagen de vídeo (9) que se muestra en el terminal de usuario (12).
  10. 12.
    Dispositivo según una cualquiera de las reivindicaciones 1 a 11, en el que el medio de lectura (16) de las órdenes de dichos servicios, en relación con dicha interfaz de control (15), comprende un teclado, una pantalla táctil y/o un dispositivo de puntero.
  11. 13.
    Dispositivo según una cualquiera de las reivindicaciones 1 a 12, en el que el tercer medio de comunicación (17) de las órdenes de dichos servicios al objeto aumentado (3), comprende una conexión entre el terminal de usuario
    (12) y el objeto aumentado (3), y una interfaz de conexión específica entre el objeto virtual (7) y el objeto físico (6).
  12. 14. Dispositivo según una cualquiera de las reivindicaciones 1 a 13, en el que el primero, el segundo, el tercero, el cuarto y el quinto medio de comunicación comprenden la red de Internet.
ES10763807.4T 2009-10-05 2010-09-03 Dispositivo de interacción con un objeto aumentado Active ES2464127T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0956914 2009-10-05
FR0956914A FR2950989B1 (fr) 2009-10-05 2009-10-05 Dispositif d'interaction avec un objet augmente.
PCT/FR2010/051837 WO2011042632A1 (fr) 2009-10-05 2010-09-03 Dispositif d'interaction avec un objet augmente

Publications (1)

Publication Number Publication Date
ES2464127T3 true ES2464127T3 (es) 2014-05-30

Family

ID=41719226

Family Applications (1)

Application Number Title Priority Date Filing Date
ES10763807.4T Active ES2464127T3 (es) 2009-10-05 2010-09-03 Dispositivo de interacción con un objeto aumentado

Country Status (8)

Country Link
US (1) US9063537B2 (es)
EP (1) EP2486701B1 (es)
JP (1) JP5799018B2 (es)
KR (1) KR101470711B1 (es)
CN (1) CN102577250B (es)
ES (1) ES2464127T3 (es)
FR (1) FR2950989B1 (es)
WO (1) WO2011042632A1 (es)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US8825824B2 (en) * 2012-02-28 2014-09-02 General Electric Company Systems and methods for machine configuration
US9087403B2 (en) 2012-07-26 2015-07-21 Qualcomm Incorporated Maintaining continuity of augmentations
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
CN103777851B (zh) * 2014-02-26 2018-05-29 大国创新智能科技(东莞)有限公司 物联网视频交互方法和系统
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
KR102427328B1 (ko) * 2014-10-17 2022-08-01 삼성전자주식회사 사물 인터넷 단말 및 그 동작 방법
KR102332752B1 (ko) 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9760744B1 (en) 2016-06-01 2017-09-12 International Business Machines Corporation Physical interactive IDs (P2D)
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
KR102359601B1 (ko) * 2019-11-29 2022-02-08 한국과학기술원 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US6463343B1 (en) * 1999-08-10 2002-10-08 International Business Machines Corporation System and method for controlling remote devices from a client computer using digital images
JP4178697B2 (ja) * 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
GB2360356A (en) * 2000-03-18 2001-09-19 Rupert William Meldrum Curwen Actuating an operation in accordance with location of a transponder
JP2002044646A (ja) 2000-07-26 2002-02-08 Kansai Electric Power Co Inc:The Ａｄｓｌを利用した監視システム
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7054645B1 (en) * 2001-03-07 2006-05-30 At&T Corp. System for intelligent home controller and home monitor
US7060407B2 (en) * 2002-10-04 2006-06-13 Ricoh Company, Limited Image removing method, image removing device, and image forming apparatus
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
US8042048B2 (en) * 2005-11-17 2011-10-18 Att Knowledge Ventures, L.P. System and method for home automation
EP1966625A1 (en) 2005-12-19 2008-09-10 Koninklijke Philips Electronics N.V. Method and apparatus for lighting control
WO2008032225A2 (en) * 2006-03-21 2008-03-20 Ranco Incorporated Of Delaware Refrigeration monitor unit
US20080144884A1 (en) * 2006-07-20 2008-06-19 Babak Habibi System and method of aerial surveillance
JP5132138B2 (ja) * 2006-11-28 2013-01-30 キヤノン株式会社 位置姿勢計測方法、位置姿勢計測装置
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
WO2009113067A2 (en) * 2008-03-11 2009-09-17 In-Dot Ltd. Systems and methods for communication

Also Published As

Publication number Publication date
FR2950989B1 (fr) 2011-10-28
US20120243743A1 (en) 2012-09-27
CN102577250A (zh) 2012-07-11
EP2486701A1 (fr) 2012-08-15
KR20120063508A (ko) 2012-06-15
CN102577250B (zh) 2014-12-03
US9063537B2 (en) 2015-06-23
JP2013506925A (ja) 2013-02-28
EP2486701B1 (fr) 2014-04-09
FR2950989A1 (fr) 2011-04-08
KR101470711B1 (ko) 2014-12-08
JP5799018B2 (ja) 2015-10-21
WO2011042632A1 (fr) 2011-04-14

Similar Documents

Publication Publication Date Title
ES2464127T3 (es) Dispositivo de interacción con un objeto aumentado
US20210383551A1 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US11100712B2 (en) Positional recognition for augmented reality environment
CN105432071B (zh) 用于提供增强现实视图的技术
CN109863510A (zh) 冗余跟踪系统
CN110168478A (zh) 表面识别镜头
JPWO2003036829A1 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
CN108476258B (zh) 用于电子设备控制对象的方法以及电子设备
WO2008146245A1 (en) A user interface and a method for the easy creation of atmospheres with an atmosphere creation system
JP2003323239A (ja) 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
KR20190078675A (ko) Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법
Lanka et al. A review of research on emerging technologies of the Internet of Things and augmented reality
US20130070111A1 (en) Image communication system, terminal device, management device and computer-readable storage medium
KR102511791B1 (ko) 정보 처리 장치, 정보 처리 방법 및 정보 처리 시스템
WO2015068447A1 (ja) 情報処理装置、情報処理方法および情報処理システム
Franchi et al. AAL solutions toward cultural heritage enjoyment
JP4288904B2 (ja) データ通信システム、データ送信装置及び方法、並びにデータ受信装置及び方法
Fan et al. HiFi: hi de and fi nd digital content associated with physical objects via coded light
CN209514548U (zh) Ar搜索装置、基于ar搜索装置的物品搜索系统
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2019114272A (ja) 端末装置、システム、情報提示方法およびプログラム
CN110598605B (zh) 定位方法、装置、终端设备及存储介质
WO2006114711A2 (es) Sistema para la percepción de imágenes por medio del tacto
KR102463835B1 (ko) 미션 해결형 콘텐츠를 제공하는 코딩 교육용 시스템 및 그 방법