ES2729102T3 - Canales de color y marcadores ópticos - Google Patents

Canales de color y marcadores ópticos Download PDF

Info

Publication number
ES2729102T3
ES2729102T3 ES12773552T ES12773552T ES2729102T3 ES 2729102 T3 ES2729102 T3 ES 2729102T3 ES 12773552 T ES12773552 T ES 12773552T ES 12773552 T ES12773552 T ES 12773552T ES 2729102 T3 ES2729102 T3 ES 2729102T3
Authority
ES
Spain
Prior art keywords
optical
computing device
camera
color
color channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12773552T
Other languages
English (en)
Inventor
Benjamin J Sugden
Thomas G Salter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Application granted granted Critical
Publication of ES2729102T3 publication Critical patent/ES2729102T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

Un método (400) implantado mediante un dispositivo de computación (102), con una cámara (116), método que comprende: examinar (402) una pluralidad de canales de color (202, 204, 206) obtenidos desde una cámara (116), representando cada uno de dichos canales de color (202, 204, 206) un marcador óptico (302, 304, 306) que tiene una escala diferente que otro marcador óptico representado en otro de dichos canales de color (202, 204, 206), pudiendo resolverse las diferentes escalas de los marcadores ópticos (302, 304, 306) a diferentes distancias de la cámara (116); identificar (404) al menos dicho marcador óptico (302, 304, 306) en uno respectivo de la pluralidad de canales de color (202, 204, 206) comparando imágenes resueltas de los marcadores ópticos (302, 304, 306) para localizar una o más etiquetas ópticas; y computar (406) una base óptica (212) para determinar la posición y/o la orientación de dicha cámara (116) en un entorno físico utilizando el marcador óptico (208) identificado utilizable para describir la posición y/o la orientación de una parte del dispositivo de computación (102).

Description

DESCRIPCIÓN
Canales de color y marcadores ópticos
Antecedentes
Las técnicas de visualización utilizadas por los dispositivos de computación están en constante evolución. Por ejemplo, los dispositivos de computación iniciales estaban provistos con monitores monocromáticos. Un usuario interaccionaba con el dispositivo de computación viendo texto simple en el monitor monocromo e introduciendo texto a través de un teclado que luego podía verse en el monitor.
Las técnicas de visualización se expandieron para utilizar interfaces de usuario gráficas y de color. Estas técnicas, por ejemplo, pueden utilizarse para mostrar gráficos para representar archivos, dispositivos conectados al dispositivo de computación, imágenes, etc., utilizando el color. Un usuario puede entonces interactuar con la interfaz gráfica de usuario usando el teclado, así como utilizando un dispositivo de control del cursor, tal como un ratón.
Las técnicas de visualización han seguido evolucionando, tal como mediante el uso de gafas para ver una televisión tridimensional, el uso de tecnología virtual, etc. Sin embargo, pueden surgir complejidades en la implantación de estas técnicas que pueden dificultar la implantación de las técnicas en los dispositivos de computación tradicionales.
Sumario
Se describen técnicas de marcadores ópticos de canales de color. En una o más implantaciones, se examinan una pluralidad de canales de color obtenidos desde una cámara, representado cada uno de los canales de color un marcador óptico que tiene una escala diferente que la de otro marcador óptico representado en otro de los canales de color. Al menos un marcador óptico se identifica en uno respectivo de la pluralidad de canales de color y se computa una base óptica utilizando el marcador óptico identificado que se puede usar para describir al menos una posición u orientación de una parte del dispositivo de computación. Un ejemplo de tal clase de calibración de cámaras se describe en el documento EP 1970860.
En una o más implantaciones, un aparato incluye una primera etiqueta óptica que se puede resolver a una primera distancia con una cámara de un dispositivo de computación y se representa con un primer color y una segunda etiqueta óptica que se puede resolver a una segunda distancia en la que la primera etiqueta óptica no puede ser resuelta por la cámara del dispositivo de computación, representándose la segunda etiqueta óptica usando un segundo color que es diferente del primer color.
En una o más implantaciones, un aparato incluye una cámara, un dispositivo de visualización y uno o más módulos. El uno o más módulos están configurados para obtener una primera imagen de un canal rojo de la cámara, una segunda imagen de un canal verde de la cámara y una tercera imagen de un canal azul de la cámara. El uno o más módulos también están configurados para identificar cuál de la primera, segunda o tercera imágenes representa un marcador óptico que se puede resolver con uno o más módulos para determinar una posición u orientación de al menos una parte del aparato, computar una base que describe la posición u orientación de al menos la parte del aparato, y generar una pantalla de realidad aumentada para que la muestre el dispositivo de visualización utilizando la base computada.
Este sumario se proporciona para introducir una selección de conceptos en una forma simplificada que se describen adicionalmente a continuación en la descripción detallada. Este sumario no tiene la intención de identificar características clave o características esenciales del objeto reivindicado, ni está destinado a ser utilizado como una ayuda para determinar el alcance de la materia objeto reivindicada.
Breve descripción de los dibujos
La descripción detallada se describe con referencia a las figuras adjuntas. En las figuras, el o los dígitos más a la izquierda de un número de referencia identifican la figura en la que aparece por primera vez el número de referencia. El uso de los mismos números de referencia en diferentes casos en la descripción y en las figuras puede indicar elementos similares o idénticos.
La Figura 1 es una ilustración de un entorno en una implantación ejemplo que es operable para emplear las técnicas de realidad aumentada descritas en este documento.
La Figura 2 es una ilustración de un sistema en una implantación ejemplo que muestra un módulo de realidad aumentada de la Figura 1 con mayor detalle cuando se emplea para la generación de una base para un dispositivo de computación.
La Figura 3 representa un aparato en una implantación ejemplo que muestra una etiqueta compuesta de realidad aumentada (AR) formada a partir de una pluralidad de etiquetas AR que tienen diferentes tamaños y colores.
La Figura 4 es un diagrama de flujo que muestra un procedimiento en una implantación ejemplo en la que se utilizan técnicas de canales de color para computar una base óptica para al menos parte de un dispositivo de computación.
La Figura 5 es un diagrama de flujo que representa un procedimiento en una implantación ejemplo en la que se genera una pantalla de realidad aumentada basada en la resolución de marcadores ópticos de canales de colores rojo, verde y azul.
Descripción detallada
Visión de conjunto
Las técnicas de realidad aumentada se describen en los ejemplos de este documento. Se pueden utilizar técnicas de realidad aumentada para generar una vista de un entorno del mundo real que se aumenta utilizando salidas generadas por computadora, tales como sonido o gráficos. De esta manera, la visión del mundo real de un usuario puede incluir entradas sensoriales que fueron generadas por un dispositivo de computación y, por lo tanto, puede aumentar la experiencia del usuario.
En la siguiente discusión, se describen técnicas de realidad aumentada que implican el uso de marcadores ópticos y canales de color. Por ejemplo, una cámara puede utilizarse para capturar una imagen de un entorno físico de un dispositivo de computación, tal como una sala de medios de un usuario. Luego se puede analizar la imagen para ubicar marcadores que den una indicación de una posición y/u orientación de la cámara en relación con el entorno físico. Las etiquetas de realidad aumentada (etiquetas AR), por ejemplo, pueden utilizarse para indicar una distancia entre la cámara y las etiquetas, así como una orientación en relación con las etiquetas. De esta manera, la imagen puede servir para computar una base óptica para determinar la orientación y/o la posición de la cámara en el entorno físico.
Sin embargo, las etiquetas AR tradicionales tenían un alcance bastante limitado en el que las etiquetas podían resolverse con una cámara. Por ejemplo, la cámara puede tener una resolución determinada y las etiquetas AR tradicionales se formaban normalmente en una escala única, de modo que la cámara las podía resolver en un alcance limitado de distancias entre la cámara y las etiquetas AR. Por lo tanto, los diseñadores se vieron obligados convencionalmente a determinar un alcance operativo típico de la cámara y las etiquetas AR, lo que podría limitar la utilidad de las técnicas en otros alcances para los cuales las etiquetas AR y el dispositivo de computación no fueron diseñados.
Por consiguiente, en el presente documento se describen técnicas en las que se pueden superponer múltiples etiquetas AR. Además, estas etiquetas pueden emplear diferentes escalas y colores para que se correspondan con los canales de color que pueden ser resueltos por un dispositivo de computación. El dispositivo de computación, por ejemplo, puede incluir una cámara que admita los canales rojo, verde y azul. Las etiquetas AR que tienen estos colores pueden superponerse como una etiqueta AR compuesta que admite diferentes escalas que se corresponden con estos colores. Por ejemplo, una etiqueta A r a gran escala puede ser de color rojo, una etiqueta AR a escala media puede ser de color verde y estar superpuesta sobre la etiqueta AR roja. Del mismo modo, una etiqueta AR a pequeña escala puede ser de color azul y también estar superpuesta con las etiquetas AR rojas y verdes. Luego, la cámara puede capturar imágenes de la etiqueta compuesta y usar canales rojos, verdes y azules separados para resolver una o más de las etiquetas grandes, medianas o pequeñas. De esta manera, el alcance efectivo del uso de la etiqueta AR por el dispositivo de computación se puede triplicar utilizando estos diferentes alcances sin expandir el tamaño total de la etiqueta compuesta. Naturalmente, se contemplan otros ejemplos de color y técnicas de marcadores ópticos, cuya discusión adicional se puede encontrar en relación con las siguientes secciones.
En la siguiente discusión, primero se describe un entorno ejemplo que puede emplear las técnicas descritas en el presente documento. A continuación, se describen procedimientos ejemplo que se pueden realizar en el entorno ejemplo, así como en otros entornos. En consecuencia, el funcionamiento de los procedimientos ejemplo no se limita al entorno ejemplo y el entorno ejemplo no se limita al funcionamiento de los procedimientos ejemplo.
Entorno ejemplo
La Figura 1 es una ilustración de un entorno 100 en una implantación ejemplo que es operable para emplear técnicas de realidad aumentada descritas en este documento. El entorno 100 ilustrado incluye un dispositivo de computación 102, que puede configurarse de varias formas. Por ejemplo, aunque el dispositivo de computación 102 se ilustra como un dispositivo de comunicación móvil (por ej., una tableta, un teléfono inalámbrico), el dispositivo de computación 102 puede configurarse en una variedad de otras formas. Por ejemplo, el dispositivo de computación 102 puede configurarse como una computadora que es capaz de comunicarse a través de una red 104, como una computadora de escritorio, una estación móvil, un aparato de entretenimiento, un decodificador acoplado comunicativamente a un dispositivo de visualización, una consola de juegos, una tableta, y así sucesivamente.
Por consiguiente, el dispositivo de computación 102 puede abarcar desde dispositivos de recursos completos con recursos sustanciales de memoria y procesamiento (por ej., computadoras personales, consolas de juegos) hasta dispositivos de bajos recursos con memoria limitada y/o recursos de procesamiento (por ej., decodificadores tradicionales, consolas de juegos manuales). Adicionalmente, aunque se muestra un solo dispositivo de computación 102, el dispositivo de computación 102 puede ser representativo de una pluralidad de dispositivos diferentes, tales como un casco portátil y una consola de juegos, múltiples servidores utilizados por un negocio para realizar operaciones que proporcionen una plataforma "en la nube", una combinación de control remoto y decodificador, y así sucesivamente.
El dispositivo de computación 102 también se ilustra incluyendo un módulo de realidad aumentada 106. El módulo de realidad aumentada 106 es representativo de la funcionalidad del dispositivo de computación 102 para aumentar una vista del entorno del mundo real del dispositivo de computación 102. En el ejemplo ilustrado, por ejemplo, el dispositivo de computación 102 se ilustra como físicamente presente en una sala 108 que tiene un sofá 110, una silla 112 y una mesa 114 que se colocan en una esquina de la sala 108.
El dispositivo de computación 102 incluye una cámara 116 que está configurada para capturar una o más imágenes del entorno físico del dispositivo de computación 102, por ej., la sala 108 en este ejemplo. Estas una o más imágenes pueden usarse para capturar una vista de la "realidad" que se va a aumentar, aunque también se contemplan otros dispositivos de entrada, tales como los micrófonos. El módulo de realidad aumentada 106 puede recibir datos de la cámara 116 (por ej., la una o más imágenes) para generar un cuadro 118, que se ilustra como almacenado en una memoria intermedia 120 del dispositivo de computación 102.
El marco 118 puede mostrarse luego mediante un dispositivo de visualización 122 del dispositivo de computación 102, que aunque ilustrado como parte de un dispositivo de comunicación móvil puede asumir una variedad de configuraciones. En una o más implantaciones, el dispositivo de visualización 122 puede incluirse como parte de un casco y posicionarse para ser visto por uno o más de los ojos de un usuario. Adicionalmente, el dispositivo de visualización 122 puede o no ser parcialmente transparente. Por ejemplo, el dispositivo de visualización 122 puede configurarse para mostrar la imagen capturada por la cámara 116 junto con los aumentos. En otro ejemplo, el dispositivo de visualización 122 puede configurarse para mostrar los aumentos sin la vista de la imagen capturada por la cámara 116, pero permitir una vista del entorno físico a través de al menos una parte del dispositivo de visualización 122. De este modo, el aumento generado por el módulo de realidad aumentada 106 se puede mostrar de varias maneras.
En el ejemplo ilustrado, el marco 118 mostrado por el dispositivo de visualización 122 incluye una imagen capturada por la cámara 116. El marco 118 también incluye una pluralidad de aumentos que fueron generados por el módulo de realidad aumentada 106. Ejemplos ilustrados mostrados por el dispositivo de visualización 122 incluyen la primera y la segunda imágenes 124, 126 que aparecen ubicadas en las paredes de la sala 108, así como un cuenco 128 que parece estar ubicado en la mesa 114. Por lo tanto, el módulo de realidad aumentada 106 puede aumentar la vista de la realidad mostrada en el dispositivo de visualización 122. Debe ser fácilmente evidente que los aumentos generados por el módulo de realidad aumentada 106 pueden asumir una variedad de otras formas, tales como objetos como parte de un juego y otros cambios en una vista del entorno de un dispositivo de computación 102.
Para generar esta vista y saber "dónde" colocar aumentos, el módulo de realidad aumentada 106 puede aprovechar una variedad de técnicas para determinar una orientación y/o posición del dispositivo de computación 102 en relación con el entorno, por ej., la sala 108 como se ilustra. Por ejemplo, el módulo de realidad aumentada 106 puede aprovechar uno o más marcadores ópticos para determinar cómo se posiciona, orienta, mueve, etc., el dispositivo de computación 102. Estos marcadores ópticos pueden tomar una variedad de formas. Por ejemplo, el módulo de realidad aumentada 106 puede establecer uno o más puntos de visión en la sala de estar como marcadores y, por lo tanto, servir de base para determinar la orientación y/o la posición, tal como una esquina de la mesa 114, la orientación de la silla 112, y así sucesivamente. Por lo tanto, los elementos en la sala pueden actuar como una base para determinar dónde se encuentra el dispositivo de computación 102 dentro de la sala 108.
En otro caso, el módulo de realidad aumentada 106 puede aprovechar una vista de una o más etiquetas de realidad aumentada (AR) que están posicionadas físicamente dentro del entorno circundante del dispositivo de computación 102. Una etiqueta AR 130 ejemplo se ilustra colocada en la mesa 114 en la sala 108. Aunque se muestra una sola etiqueta AR 130, en el entorno se pueden utilizar una pluralidad de etiquetas AR. El ejemplo de la etiqueta AR 130 (u otros marcadores) se puede usar como base para determinar la profundidad (por ej., la distancia entre la etiqueta AR 130 y la cámara 116), la orientación tridimensional del dispositivo de computación 102 con respecto a la etiqueta AR 130, y así sucesivamente.
Por ejemplo, la etiqueta AR 130 puede incluir un patrón que pueda ser reconocido por el módulo de realidad aumentada 106 para determinar una distancia desde la etiqueta a R 130 y/o una orientación del dispositivo de computación 102 en relación con la etiqueta AR 130. De esta manera, los marcadores pueden ser aprovechados por el módulo de realidad aumentada 106 para determinar "dónde" y "cómo" el dispositivo de computación 102 está posicionado en un entorno físico. El módulo de realidad aumentada 106 puede usar esta determinación como base para generar aumentos para ser emitidos para ser vistos por un usuario del dispositivo de computación 102.
El módulo de realidad aumentada 106 también puede aprovechar uno o más sensores 132 para determinar y verificar una posición y/u orientación del dispositivo de computación 102. Por ejemplo, los sensores 132 pueden configurarse como una unidad de medición inercial (IMU), que puede incluir un giroscopio, uno o más acelerómetros, un magnetómetro, etc., incluyendo cualquier combinación de los mismos. Estas unidades pueden usarse para generar una base externa con la cual verificar una base generada utilizando las técnicas de marcado óptico descritas anteriormente. Por ejemplo, una base generada utilizando las técnicas de marcado óptico descritas anteriormente que aprovecha la cámara 116 puede evaluarse para detectar discrepancias utilizando una base generada por uno o más sensores, por ej., una IMU 134. De esta manera, las técnicas pueden utilizarse para determinar una orientación y posición del dispositivo de computación 102 en relación con su entorno físico.
El módulo de realidad aumentada 106 se ilustra adicionalmente incluyendo un módulo 136 de identificación de marcadores. El módulo 136 de identificación de marcadores es representativo de la funcionalidad para emplear técnicas de canales de color con marcadores ópticos tales como la etiqueta AR 130. Por ejemplo, el módulo 136 de identificación de marcadores puede recibir una alimentación desde la cámara 116 que tiene múltiples canales, cada uno en un color diferente. Las diferentes escalas de la etiqueta AR 130 pueden apoyarse coloreando la etiqueta AR 130 de acuerdo con los canales de color admitidos por la cámara 116. De esta manera, se puede extender una gama efectiva de técnicas de marcadores ópticos aprovechando diferentes escalas y colores diferentes, cuya discusión se puede encontrar en relación con la Figura 2.
En general, cualquiera de las funciones descritas en este documento puede implantarse utilizando paquetes informáticos, soporte lógico inalterable (“firmware” en inglés), equipos (por ejemplo, circuitos lógicos fijos), procesamiento manual o una combinación de estas implantaciones. Los términos "módulo" y "funcionalidad" como se usan en este documento generalmente representan equipo informático, programa informático, soporte lógico inalterable o una combinación de ellos. En el caso de una implantación de un programa informático, el módulo, la funcionalidad o la lógica representan instrucciones y el equipo informático que realizan operaciones especificadas por el equipo informático, por ej., uno o más procesadores y/o bloques funcionales.
Por ejemplo, el dispositivo de computación 102 puede incluir una entidad (por ejemplo, un paquete informático) que hace que el equipo informático del dispositivo de computación 102 realice operaciones, por ej., procesadores, bloques funcionales, y así suficientemente. El dispositivo de computación 102 puede incluir un medio legible por computadora que puede configurarse para mantener las instrucciones que hacen que el dispositivo de computación, y más particularmente el equipo informático del dispositivo de computación 102, realice operaciones. Por lo tanto, las instrucciones funcionan para configurar el equipo informático para realizar las operaciones y, de esta manera, dan lugar a la transformación del equipo informático para que realice funciones. El medio legible por computadora puede proporcionar las instrucciones al dispositivo de computación 102 a través de una variedad de configuraciones diferentes.
Una de tales configuraciones de un medio legible por computadora es un medio portador de señales y, por lo tanto, está configurado para transmitir las instrucciones (por ej., como una onda portadora) al equipo informático del dispositivo de computación, tal como por ejemplo a través de la red 104. El medio legible por computadora puede también configurarse como un medio de almacenamiento legible por computadora y, por lo tanto, no es un medio portador de señales. Ejemplos de un medio de almacenamiento legible por computadora incluyen una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), un disco óptico, una memoria rápida (“flash” en inglés), una memoria de disco duro y otros dispositivos de memoria que pueden usar dispositivos magnéticos, ópticos y otras técnicas para almacenar instrucciones y otros datos.
La Figura 2 es una ilustración de un sistema 200 en una implantación ejemplo que muestra el módulo 106 de realidad aumentada de la Figura 1 con mayor detalle cuando se emplea para la generación de bases para el dispositivo de computación 102 que aprovecha una pluralidad de canales de color diferentes. En este ejemplo se ilustra una cámara 116 capturando imágenes de una etiqueta AR 130.
Las imágenes se ilustran como separadas en una pluralidad de canales de diferentes colores, ejemplos de los cuales incluyen un canal 202 de color rojo, un canal 204 de color verde y un canal 206 de color azul. Cada uno de los canales se ilustra como que incluye una imagen del marcador que corresponde a un color del canal respectivo. Por ejemplo, el canal 202 de color rojo incluye una imagen de una etiqueta AR roja en una escala relativamente grande y, por lo tanto, está configurado para ser visible a una distancia relativamente grande entre la cámara 116 y la etiqueta 130 AR. El canal 204 de color verde, sin embargo, incluye una imagen de una etiqueta AR verde que asume una escala relativamente media en comparación con la escala grande de la etiqueta AR roja y, por lo tanto, está configurado para ser visible a una distancia relativamente media entre la cámara y la etiqueta 130 AR. Del mismo modo, el canal 206 de color azul incluye una imagen de una etiqueta AR azul que asume una escala relativamente pequeña y, por lo tanto, está configurado para ser visible a una distancia relativamente cercana entre la cámara 116 y la etiqueta AR 130. De esta manera, cada uno de los canales de color pueden relacionarse con un alcance particular de distancias que pueden diferir (p. ej., total o parcialmente) entre la cámara 116 y la etiqueta AR 130 usando una resolución única de la cámara 116.
El módulo 136 de identificación de marcadores puede luego comparar los canales 206 de color rojo, verde y azul para ubicar una o más imágenes que se pueden resolver para determinar una posición u orientación de una parte del dispositivo de computación 102, por ej., una parte que incluye la cámara 116. Por ejemplo, la cámara 116 puede ubicarse a una distancia a la que las etiquetas AR en imágenes tomadas por los canales 202, 204 de color rojo y verde se pueden resolver, pero las etiquetas AR incluidas en el canal 206 de color azul no.
En este ejemplo, el módulo de identificación 136 de marcadores puede aprovechar una o más de las imágenes resueltas de las etiquetas AR (por ej., promediando, promediando el peso, valores de confianza, uso de la imagen "más clara" de una etiqueta AR sola, etc.) para llegar a un marcador 208 identificado. El marcador 208 identificado puede luego ser utilizado por un módulo 210 de computación de bases para computar una base óptica 212 que describe una posición u orientación de la parte del dispositivo de computación 102. Esta base óptica 212 puede usarse luego para una variedad de propósitos, tales como generar una visualización de realidad aumentada como se describió anteriormente.
De esta manera, las técnicas de canales de color descritas en este documento pueden superar una variedad de inconvenientes encontrados utilizando las técnicas tradicionales. Por ejemplo, las técnicas tradicionales anteriormente tenían un alcance limitado debido a las limitaciones de resolución de la cámara utilizada para capturar una imagen de etiquetas AR. Debido a que el etiquetado AR tradicionalmente dependía de la identificación de marcadores de un tamaño fijo, este alcance de distancias de operación entre la etiqueta AR tradicional y la cámara estaba limitado por esta combinación. Por ejemplo, la combinación puede fallar una vez que la cámara se mueve más allá del alcance de resolución de una imagen de la etiqueta AR. Por ejemplo, puede perderse la capacidad de resolver los rasgos de la etiqueta AR, ya que la resolución de píxeles de la cámara ya no es suficiente para resolver el rasgo.
Del mismo modo, una etiqueta AR "grande" tradicional puede limitar la distancia mínima en el que la etiqueta AR puede resolverse, ya que, normalmente, la imagen capturada debe incluir una parte significativa de la etiqueta con el fin de poder resolver la imagen. Por ejemplo, a corta distancia, una cámara puede no ser capaz de capturar una imagen de una parte de la etiqueta AR grande que sea suficiente para identificar la etiqueta para computar una base óptica.
En otro ejemplo, las etiquetas AR tradicionales pueden omitirse si la etiqueta AR no puede ser clasificada por el dispositivo de computación. Esto puede introducir un error y puede dar lugar a una falta de determinación de la base óptica si las etiquetas AR no están disponibles para su identificación. En un ejemplo adicional, las etiquetas AR tradicionales no se pudieron superponer. Por lo tanto, si un entorno físico era relativamente pequeño pero aún debía verse desde micro y macro distancias, puede que no haya suficiente espacio en el entorno utilizando técnicas tradicionales para incluir cada uno de los tipos de etiquetas AR que se usarán para soportar estas diferentes distancias.
Sin embargo, usando las técnicas de canales de color descritas en el presente documento, se pueden usar canales separados para capturar imágenes de marcadores ópticos que tienen diferentes escalas, aumentando de este modo el alcance efectivo de distancias entre la cámara y los marcadores. Por ejemplo, como se muestra, un flujo RGB entrante desde la cámara 116 puede separarse en sus canales 202, 204, 206 rojo, verde y azul constituyentes. Los canales pueden luego convertirse a escala de grises y procesarse para identificar los marcadores. Por lo tanto, pueden codificarse diferentes escalas de marcadores para diferentes canales de color. Además, basándose en una ubicación de referencia anterior, el módulo 136 de identificación de marcadores puede estimar qué imagen es más probable que sea relevante, comparativamente, para un marco dado, promoviendo de este modo una cobertura de píxeles suficiente.
Como se ilustra, se puede usar un canal marcador más grande (por ej., el canal 202 de color rojo) para el registro de distancias relativamente largas de la posición u orientación de la cámara. Por otro lado, se puede usar un canal marcador más pequeño (por ej., el canal 206 de color azul) para el registro de distancias relativamente cortas de la posición u orientación de la cámara 116. Si la cámara 116 se acerca a una etiqueta AR grande para aproximarse, por ejemplo, a un campo de visión de la cámara 116 puede truncar regiones de la etiqueta AR grande, lo que puede impedir que se identifique esta imagen de la parte de la etiqueta más grande. Por lo tanto, en tal caso se puede usar otro canal de color para identificar una etiqueta AR correspondiente (por ej., los canales 204, 206 de color verde o azul).
Además, el módulo 136 de identificación de marcadores puede aprovechar la resolución de etiquetas AR de múltiples canales de color. Por ejemplo, el módulo 136 de identificación de marcadores puede ser capaz de identificar una pluralidad de etiquetas AR incluidas en las respectivas de una pluralidad de corrientes de color. Estas etiquetas AR identificadas se pueden usar a continuación para llegar a un valor combinado, tal como tomando una suma ponderada, promediando los valores de confianza, etc. Mediante el uso de una pluralidad de colores diferentes, las etiquetas AR 130 también pueden combinarse para formar una etiqueta AR compuesta y, por lo tanto, pueden utilizar una menor cantidad de espacio e incluso aún soportar un mayor intervalo de distancias, de lo cual se puede encontrar más información en relación con la siguiente figura.
La Figura 3 representa un aparato 300 en una implantación ejemplo que muestra una etiqueta AR compuesta formada por una pluralidad de etiquetas AR que tienen diferentes tamaños y colores. En este ejemplo, se ilustran tres marcadores de diferentes tamaños que tienen diferentes escalas, los marcadores rojos 302 tienen una escala relativamente grande, los marcadores verdes 304 tienen una escala de tamaño mediano y los marcadores azules 306 tienen una escala relativamente pequeña. El uso del rojo por los marcadores rojos 302 se ilustra mediante el uso de líneas troceadas delanteras, el uso del verde por los marcadores verdes 304 se ilustra mediante el uso de líneas troceadas traseras y el uso de azul por los marcadores azules 306 se ilustra mediante el uso de líneas troceadas verticales.
Mediante el uso de los diferentes colores, se puede formar un marcador compuesto 308 que incluya los marcadores 306 rojo, verde y azul. Por ejemplo, las porciones del marcador compuesto 308 pueden incluir un solo color, dos colores, tres colores, ningún color, y así sucesivamente. Por lo tanto, los colores pueden superponerse de manera que el marcador compuesto 308 pueda soportar diferentes escalas de marcador. Separando los canales, cada uno de estos colores puede resolverse incluso si se superponen.
Aunque en este ejemplo se describieron tres colores, debe ser evidente que se puede utilizar una variedad de diferentes números de colores y colores en sí mismos sin apartarse del espíritu y alcance del mismo. Además, aunque en estos ejemplos se describieron etiquetas AR, también debe ser fácilmente evidente que pueden aprovecharse una variedad de marcadores ópticos, tales como los objetos que se encuentran típicamente y son identificables en un entorno físico como se describió anteriormente en relación con la Figura 1.
Procedimientos ejemplo
La siguiente discusión describe técnicas de realidad aumentada que pueden implantarse utilizando los sistemas y dispositivos descritos anteriormente. Los aspectos de cada uno de los procedimientos pueden implantarse en equipos informáticos, soportes lógicos inalterables o paquetes informáticos, o en una combinación de ellos. Los procedimientos se muestran como un conjunto de bloques que especifican las operaciones realizadas por uno o más dispositivos y no están necesariamente limitados a las órdenes mostradas para realizar las operaciones por los respectivos bloques. En partes de la siguiente discusión, se hará referencia al entorno 100 de la Figura 1 y a los sistemas y aparatos 200, 300 de las Figuras 2 y 3, respectivamente.
La Figura 4 representa un procedimiento 400 en una implantación ejemplo en la que se utilizan técnicas de canales de color para computar una base óptica para al menos parte de un dispositivo de computación. Se examina una pluralidad de canales de color obtenidos desde una cámara. Cada uno de los canales de color representa un marcador óptico que tiene una escala diferente que la de otro marcador óptico representado en otro de los canales de color (bloque 402). La cámara 116, por ejemplo, puede capturar una imagen de una etiqueta AR 130, objetos en una sala 106 (que pueden usarse como marcadores ópticos), y así sucesivamente.
Al menos uno de los marcadores ópticos se identifica con uno respectivo de la pluralidad de canales de color (bloque 404). El módulo 136 de identificación de marcadores, por ejemplo, puede examinar imágenes en los diferentes canales de color para determinar si una o más de las imágenes son suficientes para identificar un marcador óptico.
Se computa una base óptica utilizando el marcador óptico identificado que se puede usar para describir al menos una posición u orientación de una parte del dispositivo de computación (bloque 406). El cálculo de la base óptica, por ejemplo, puede basarse en un solo marcador óptico identificado en un solo canal de color, imágenes tomadas de múltiples canales, y también puede implicar la interpolación utilizando bases ópticas anteriores y/o imágenes tomadas de canales de color.
El dispositivo de realidad aumentada genera una visualización de realidad aumentada que se basa, al menos en parte, en la base óptica (bloque 408). La pantalla de realidad aumentada, por ejemplo, puede configurarse para incluir objetos generados por el módulo de realidad aumentada 106 que se colocan en la pantalla según la base óptica.
La Figura 5 muestra un procedimiento en una implantación ejemplo en la que se genera una pantalla de realidad aumentada basada en la resolución de marcadores ópticos, a partir de canales de color rojo, verde y azul. Una primera imagen se obtiene de un canal rojo de la cámara, una segunda imagen se obtiene de un canal verde de la cámara y una tercera imagen se obtiene de un canal azul de la cámara (bloque 502). La cámara 116, por ejemplo, puede incluir sensores que están configurados para capturar imágenes en rojo, verde y azul y proporcionar las imágenes a través de canales de color separados. En otro ejemplo, un dispositivo de computación 102 puede separar una alimentación RGB en canales rojo, verde y azul.
Se utilizan uno o más módulos para identificar cuál de las imágenes primera, segunda o tercera representa un marcador óptico que se puede resolver con uno o más módulos para determinar una posición u orientación de al menos una parte de un aparato (bloque 504). Como se describió anteriormente, las imágenes pueden convertirse a escala de grises y procesarse para determinar si una o más de las imágenes se pueden resolver para identificar un marcador óptico, como una etiqueta AR.
Se computa una base que describe la posición u orientación de al menos la parte del aparato (bloque 506). La base, por ejemplo, puede computarse a partir de una sola imagen de una etiqueta AR, valores promedio de dos de las imágenes, un promedio ponderado de los tres canales de color, etc. Luego se puede generar una pantalla de realidad aumentada para que sea mostrada por el dispositivo de visualización utilizando la base calculada (bloque 508). Como se describió anteriormente, aunque se describieron los canales de color rojo, verde y azul, también se puede usar una variedad de colores diferentes para el mismo propósito.
Conclusión
Aunque la invención se ha descrito en un lenguaje específico para características estructurales y/o actos metodológicos, debe entenderse que la invención definida en las reivindicaciones adjuntas no se limita necesariamente a las características o actos específicos descritos. Más bien, las características y los actos específicos se describen como formas de ejemplos de implantación de la invención reivindicada.

Claims (11)

REIVINDICACIONES
1. Un método (400) implantado mediante un dispositivo de computación (102), con una cámara (116), método que comprende:
examinar (402) una pluralidad de canales de color (202, 204, 206) obtenidos desde una cámara (116), representando cada uno de dichos canales de color (202, 204, 206) un marcador óptico (302, 304, 306) que tiene una escala diferente que otro marcador óptico representado en otro de dichos canales de color (202, 204, 206), pudiendo resolverse las diferentes escalas de los marcadores ópticos (302, 304, 306) a diferentes distancias de la cámara (116);
identificar (404) al menos dicho marcador óptico (302, 304, 306) en uno respectivo de la pluralidad de canales de color (202, 204, 206) comparando imágenes resueltas de los marcadores ópticos (302, 304, 306) para localizar una o más etiquetas ópticas; y
computar (406) una base óptica (212) para determinar la posición y/o la orientación de dicha cámara (116) en un entorno físico utilizando el marcador óptico (208) identificado utilizable para describir la posición y/o la orientación de una parte del dispositivo de computación (102).
2. Un método (400) según la reivindicación 1, en el que la pluralidad de canales de color (202, 204, 206) incluye un canal (202) de color rojo, un canal (204) de color verde y un canal (206) de color azul.
3. Un método (400) según la reivindicación 1, en el que la una o más etiquetas ópticas de los marcadores ópticos (302, 304, 306) son etiquetas compuestas (308) de realidad aumentada que se pueden resolver a diferentes distancias de la cámara (116 ), respectivamente.
4. Un método (400) según la reivindicación 1, que además comprende separar la pluralidad de canales de color (202, 204, 206) en alimentaciones separadas para ser utilizadas para el examen.
5. Un método (400) según la reivindicación 1, en el que el cómputo (406) incluye resolver un marco de coordenadas utilizando una salida ponderada de valores de confianza computados utilizando las etiquetas ópticas respectivas de la pluralidad de canales de color (202, 204, 206).
6. Un método (400) según la reivindicación 1, en el que la identificación (404) incluye la selección de al menos uno de dichos marcadores ópticos (302, 304, 306) a partir de imágenes de la pluralidad de canales de color (202, 204, 206) que tenga una resolución suficiente para computar la base óptica (212).
7. Un método (400) según la reivindicación 1, en el que los marcadores ópticos (302, 304, 306) son parte de un marcador óptico compuesto (308) que se forma a partir de una pluralidad de colores diferentes, correspondiendo cada uno de los colores a uno respectivo de dichos canales de colores (202, 204, 206) y resoluble para mostrar uno respectivo de dichos marcadores ópticos (302, 304, 306) en una dicha escala respectiva.
8. Un método (400) según la reivindicación 1, en el que la parte del dispositivo de computación (102) es utilizable por un usuario.
9. Un método (400) según la reivindicación 1, que además comprende generar (408) una pantalla de realidad aumentada para visualizar mediante el dispositivo de computación (102) basada al menos en parte en la base óptica (212).
10. Un aparato (300), que comprende:
un primer marcador óptico que se puede resolver a una primera distancia mediante una cámara (116) de un dispositivo de computación (102) y que se representa usando un primer color (302); y
un segundo marcador óptico que se puede resolver a una segunda distancia a la que la cámara (116) del dispositivo de computación (102) no puede resolver el primer marcador óptico, representado el segundo marcador óptico usando un segundo color que es diferente que el primer color (306); y
el primer y segundo marcador óptico forman un marcador óptico compuesto (308) que incluye el primer y el segundo color, siendo la primera distancia diferente que la segunda distancia, y el dicho primer marcador óptico se puede resolver a la primera distancia basado en el primer color, pero no se puede resolver a la segunda distancia, y el dicho segundo marcador óptico se puede resolver a la segunda distancia basado en el segundo color, pero no se puede resolver a la primera distancia.
11. Un medio legible por computadora que tiene instrucciones ejecutables por computadora almacenadas en el mismo que, cuando son ejecutadas por un procesador de un dispositivo de computación (102), hacen que el procesador del dispositivo de computación (102) ejecute el método (400) de una cualquiera de las reivindicaciones 1 a 9.
ES12773552T 2011-04-21 2012-04-21 Canales de color y marcadores ópticos Active ES2729102T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/091,575 US8817046B2 (en) 2011-04-21 2011-04-21 Color channels and optical markers
PCT/US2012/034597 WO2012145731A2 (en) 2011-04-21 2012-04-21 Color channels and optical markers

Publications (1)

Publication Number Publication Date
ES2729102T3 true ES2729102T3 (es) 2019-10-30

Family

ID=47020976

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12773552T Active ES2729102T3 (es) 2011-04-21 2012-04-21 Canales de color y marcadores ópticos

Country Status (9)

Country Link
US (1) US8817046B2 (es)
EP (1) EP2700040B1 (es)
JP (1) JP5961249B2 (es)
KR (1) KR101848959B1 (es)
CN (1) CN103477348B (es)
AR (1) AR086470A1 (es)
ES (1) ES2729102T3 (es)
TW (1) TWI533027B (es)
WO (1) WO2012145731A2 (es)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US20130278626A1 (en) * 2012-04-20 2013-10-24 Matthew Flagg Systems and methods for simulating accessory display on a subject
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US8928695B2 (en) * 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
US9466266B2 (en) * 2013-08-28 2016-10-11 Qualcomm Incorporated Dynamic display markers
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
USD788116S1 (en) * 2014-08-19 2017-05-30 Fujifilm Corporation Display screen for digital camera with animated graphical user interface
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN107734320B (zh) * 2017-09-29 2019-08-13 成都国翼电子技术有限公司 一种计算vr摄影场地内主动发光标记点光强下限的方法
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11126845B1 (en) * 2018-12-07 2021-09-21 A9.Com, Inc. Comparative information visualization in augmented reality
KR20220122287A (ko) 2021-02-26 2022-09-02 삼성전자주식회사 증강 현실 제공 장치의 포즈 결정 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830977A (ja) * 1994-07-19 1996-02-02 Olympus Optical Co Ltd 情報記録媒体及び情報記録再生システム
IL120175A (en) 1997-02-07 2000-11-21 Tribelsky Zamir Method for optically marking an elongated indication path and devices using this method
JP2001054971A (ja) 1999-08-18 2001-02-27 Funai Electric Co Ltd 印字装置
US7176936B2 (en) * 2001-03-27 2007-02-13 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with modulated guiding graphics
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
JP4054585B2 (ja) 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
US8669936B2 (en) * 2004-04-21 2014-03-11 Wsi Corporation System and method for presenting a dynamically ordered presentation
US7965887B2 (en) 2005-12-01 2011-06-21 Cognex Technology And Investment Corp. Method of pattern location using color image data
US7800628B2 (en) * 2006-06-16 2010-09-21 Hewlett-Packard Development Company, L.P. System and method for generating scale maps
EP1887526A1 (en) 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
JP2008176696A (ja) * 2007-01-22 2008-07-31 Misae Saito Ｃｇキャラクタアニメーション作成装置
JP4886560B2 (ja) * 2007-03-15 2012-02-29 キヤノン株式会社 情報処理装置、情報処理方法
US8165345B2 (en) 2007-12-07 2012-04-24 Tom Chau Method, system, and computer program for detecting and characterizing motion
WO2010045271A1 (en) 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
KR101013751B1 (ko) 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
JP5375479B2 (ja) * 2009-09-17 2013-12-25 コニカミノルタ株式会社 三次元測定システムおよび三次元測定方法

Also Published As

Publication number Publication date
CN103477348A (zh) 2013-12-25
JP5961249B2 (ja) 2016-08-02
CN103477348B (zh) 2017-11-17
TW201243387A (en) 2012-11-01
JP2014513836A (ja) 2014-06-05
TWI533027B (zh) 2016-05-11
US8817046B2 (en) 2014-08-26
EP2700040B1 (en) 2019-04-10
KR101848959B1 (ko) 2018-05-28
WO2012145731A3 (en) 2013-01-17
AR086470A1 (es) 2013-12-18
WO2012145731A2 (en) 2012-10-26
EP2700040A4 (en) 2014-10-15
US20120268491A1 (en) 2012-10-25
KR20140013034A (ko) 2014-02-04
EP2700040A2 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
ES2729102T3 (es) Canales de color y marcadores ópticos
US9940720B2 (en) Camera and sensor augmented reality techniques
US9613463B2 (en) Augmented reality extrapolation techniques
TWI505709B (zh) 擴增實境場景中決定個體化深度資訊的系統和方法
Daponte et al. State of the art and future developments of the Augmented Reality for measurement applications
KR101724360B1 (ko) 혼합현실 디스플레이 장치
US11087493B2 (en) Depth-image processing device, depth-image processing system, depth-image processing method, and recording medium
US11087479B1 (en) Artificial reality system with 3D environment reconstruction using planar constraints
WO2015141080A1 (ja) プロジェクタシステム及びキャリブレーションボード
JP2020532797A (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
US10674328B2 (en) Providing visualization data to a co-located plurality of mobile devices
CN109478769A (zh) 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
CN110336973B (zh) 信息处理方法及其装置、电子设备和介质
US20190156521A1 (en) Providing visualization data to a co-located plurality of mobile devices
JP2017010228A (ja) 情報処理装置、情報処理方法、プログラム
KR101100036B1 (ko) 코드 타입 마커
JP2023011216A (ja) 画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体
KR20200046538A (ko) 3차원 컬러 블록 생성 방법 및 시스템
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
KR20200043670A (ko) 3차원 블록 정보 생성 방법 및 시스템