ES2823232T3

ES2823232T3 - Sistema de generación de marcador y método

Info

Publication number: ES2823232T3
Application number: ES08710567T
Authority: ES
Inventors: Noboru Nakajima
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-01-23
Filing date: 2008-01-23
Publication date: 2021-05-06
Anticipated expiration: 2028-01-23
Also published as: CN101589408B; US8655076B2; EP2120211A4; EP2120211A1; WO2008090908A1; JP4868186B2; US20160335525A1; US20100104135A1; EP2120211B1; JPWO2008090908A1; CN101589408A; US9760804B2

Abstract

Un sistema de generación de marcador que comprende: medios (100) de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo; medios (101) de extracción de característica para extraer características de imagen representadas por valores de luminancia o de crominancia a partir de la imagen de vídeo; medios (102) de almacenamiento de característica para calcular y almacenar una distribución de frecuencias de aparición de las características de imagen extraídas; medios (103) de selección de característica única para seleccionar al menos una característica única que tiene una frecuencia de aparición cero, a partir de la distribución calculada de frecuencias de aparición de las características de imagen extraídas; y medios (104) de generación de marcador para imprimir un patrón de marcador empleando una pintura correspondiente a los valores de luminancia o de crominancia que corresponden a la al menos una característica única.

Description

DESCRIPCIÓN

Sistema de generación de marcador y método

[CAMPO TÉCNICO]

La presente invención se refiere a sistema de generación de marcador y de detección de marcador, método y programa.

[ANTECEDENTES DE LA TÉCNICA]

En los documentos 1 - 7 de patente se describen ejemplos de sistemas convencionales de detección de objeto basados en imagen de vídeo.

Los sistemas convencionales de detección de objeto basados en imagen de vídeo funcionan de la siguiente manera:

Específicamente, un esquema descrito en el documento 1 de patente permite detectar un objeto dotado de cualquier forma y estimar su posición al sofisticar la detección de objeto sin acoplar un marcador predefinido diseñado elaboradamente con antelación para facilitar o acelerar el proceso de detección. Un esquema de detección de objeto como el del documento 1 de patente, que no utiliza marcador, elimina la necesidad de acoplar un marcador pero plantea el problema de que es relativamente poco fiable, presenta una baja velocidad de detección o es inestable. Un esquema descrito en el documento 2 de patente resuelve este problema al acoplar un marcador que posee un patrón gráfico distintivo, que visualmente es relativamente conspicuo, a un objeto que se desea detectar. Este documento sostiene que se puede mejorar la precisión en la detección de cualquier patrón gráfico predefinido. Sin embargo, plantea el problema de que cuando aparece en un fondo, por casualidad, un patrón gráfico similar al del marcador predefinido, estos patrones se confunden entre sí. Los documentos 3 y 4 de patente evitan este problema diseñando empíricamente con antelación un marcador con una forma única, de la que se puede prever que nunca va a aparecer en un fondo, tal como un marcador emisor de luz y un marcador coloreado de manera distintiva, respectivamente. Un esquema descrito en el documento 5 de patente utiliza marcadores gráficos con una forma especial, tales como arcos concéntricos. También emplea medios para construir un marcador gráfico utilizando combinadamente un reflector de infrarrojos, por ejemplo. No obstante, estos esquemas incrementan el coste del marcador y aun así todavía plantean potencialmente un problema similar al del método descrito en el documento 2 de patente en caso de que aparezca por casualidad en un fondo un patrón similar a la forma del marcador o que se coloque el marcador en circunstancias, por ejemplo, al aire libre, que contengan perturbaciones que puedan afectar a la singularidad de la forma del marcador. Además, es preciso diseñar empíricamente el marcador mediante un método que requiere pericia para lograr una forma con probabilidades de no verse afectada por un fondo o turbulencia, o diseñarlo mediante un proceso de prueba y error en un entorno real de trabajo. Además, dado que el marcador puede ser observado con distorsión geométrica debido al grado de libertad en la colocación de una cámara durante la obtención de imagen, es necesario preparar un esquema de detección que tenga en cuenta dicha distorsión. Además del aumento en el coste computacional de la detección al tener en cuenta la distorsión geométrica, es probable que aumente la posibilidad de que, por casualidad, el marcador distorsionado llegue a ser similar a un patrón de fondo. Los esquemas descritos en los documentos 6 y 7 de patente implican un marcador muy complicado, dotado de un patrón gráfico que nunca llega a ser similar por casualidad al patrón de fondo. Pueden incrustar un código redundante en el propio marcador, con el fin de verificar la identificación del marcador. Aunque los esquemas pueden reducir significativamente la posibilidad de sobredetección de un marcador con respecto a un fondo, en una imagen de vídeo es necesario visualizar una sutil información gráfica encima del marcador, lo que puede provocar una detección errónea del marcador, por lo que es preciso reducir la cobertura de la obtención de imagen o bien aumentar la resolución del dispositivo de obtención de imagen, lo que origina un presumible incremento del coste de implementación de un descodificador y una disminución de la velocidad de detección.

Documento 1 de patente: JP-P2000-207568A

Documento 2 de patente: JP-P2003-223639A

Documento 3 de patente: JP-P2003-256783A

Documento 4 de patente: JP-P2005-293141A

Documento 5 de patente: JP-P2005-293579A

Documento 6 de patente: JP-P2006-190110A

Documento 7 de patente: JP-P1995-254037A

Ross Bencina et al.: "The Design and Evolution of Fiducials for the reacTIVision System" (El diseño y evolución de fiduciales para el sistema reacTIVision) (31 de diciembre de 2005, XP055324436) describe un software para rastrear, en un flujo de vídeo en tiempo real, fiduciales (marcadores) especialmente diseñados.

Charles B. Owen et al.: "What is the best fiducial?" (¿Cuál es el mejor fiducial?), AUGMENTED REALITY TOOLKIT, THE FIRST IEEE INTERNATIONAL WORKSHOP Sep. 29, 2002, 1 de enero de 2002, página 8 y sigs., XP055324195) describe un conjunto de criterios que son deseables en un fiducial rastreado ópticamente y un conjunto de imágenes fiduciales diseñado para satisfacer tales criterios.

Mark Fiala: "ARTag, a fiducial marker system using digital techniques" (ARTag, un sistema de marcador fiducial mediante el uso de técnicas digitales) (PROCEEDINGS / 2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, CVPR 2005, IEEE, PISCATAWAY, NJ, USA, vol. 2, 20 de junio de 2005, páginas 590-596, XP010817653) describe un sistema de marcador que utiliza teoría de codificación digital para conseguir una tasa muy baja de falsos positivos y de confusión entre marcadores, y que requiere un tamaño pequeño de marcador, mediante el uso de un método de enlace de bordes para proporcionar una robusta inmunidad frente a cambios en la iluminación.

[DESCRIPCIÓN DE LA INVENCIÓN]

[PROBLEMAS QUE DEBE RESOLVER LA INVENCIÓN]

Un primer problema es la baja fiabilidad, en cuanto a la detección de objetos, de los esquemas convencionales. La razón de ello radica en que los esquemas convencionales tienden a una sobredetección cuando aparece en un fondo un patrón similar a un marcador, o bien experimentan una detección errónea, debido a fallos en la lectura de la estructura fina de un marcador, cuando se complica el marcador para evitar la sobredetección.

Un segundo problema radica en que para diseñar un marcador se requiere un proceso de prueba y error o una persona experimentada. La razón de ello es que el marcador se diseña empíricamente de antemano, lo que provoca sobredetección en caso de que en un entorno de trabajo práctico esté presente un patrón similar.

Constituye un tercer problema el aumento del coste requerido para desechar un marcador. La razón de ello es que se utiliza un reflector, un elemento emisor de luz, o similares, para facilitar la discriminación visual a fin de evitar que el marcador llegue a ser similar a un patrón de fondo.

Constituye un cuarto problema el hecho de que, cuando no está restringida la relación posicional entre un marcador y un dispositivo de obtención de imagen, puede producirse una reducción más significativa de la precisión y de la velocidad de detección. La razón de ello es que, puesto que el diseño de un marcador en sí se basa en la experiencia y la pericia, sin tener en cuenta la distorsión geométrica, se requiere un algoritmo de detección que tenga en cuenta la distorsión, y la distorsión geométrica provoca un aumento de la frecuencia con la que, por casualidad, el marcador coincide con un patrón de fondo.

Constituye un quinto problema el hecho de que para un marcador más complejo se requieran, con el fin de reducir la sobredetección, un dispositivo de obtención de imagen con mayor resolución y un descodificador. La razón de ello es que el marcador debe ser complicado.

Por lo tanto, en vista de tales problemas se ha realizado la presente invención, y su objeto es proporcionar un sistema, método y programa para generar marcadores y detectar marcadores, con el fin de resolver los problemas mencionados en lo que antecede.

Es otro objeto de la presente invención proporcionar un sistema, método y programa para generar marcadores y detectar marcadores, que permitan el diseño automático de un marcador gráfico de manera que no sea similar a ningún patrón que aparezca en una imagen de vídeo de fondo.

Es otro objeto más de la presente invención proporcionar un sistema, método y programa para generar marcadores y detectar marcadores, que permitan una detección con gran precisión y alta velocidad para generar y detectar un marcador teniendo en cuenta la distorsión geométrica.

Aún es otro objeto de la presente invención proporcionar un sistema, método y programa de generación de marcador y detección de marcador que pueda ser hecho robusto frente a una disminución de la resolución de un dispositivo de obtención de imagen por que el patrón de marcador no sea más complicado de lo necesario.

[MEDIOS PARA RESOLVER LOS PROBLEMAS]

La presente invención proporciona un sistema de generación de marcador con las características de la reivindicación 1.

[EFECTOS DE LA INVENCIÓN]

Un primer efecto es que se puede mejorar la fiabilidad de la detección de objetos. La razón de ello es que se diseña un marcador observando un fondo y evitando patrones similares. Puesto que no hace falta que el marcador sea más complicado de lo necesario, se puede utilizar un dispositivo de obtención de imagen con resolución comparativamente baja sin que falle la lectura de la estructura fina de un marcador, y se evita la detección errónea. Un segundo efecto consiste en que para diseñar un marcador no se necesita un proceso de prueba y error ni una persona experimentada. La razón de ello es que se observa un fondo y se diseña automáticamente un marcador basándose en la observación.

Un tercer efecto consiste en que se puede reducir el coste de desechar un marcador. La razón de ello es que, puesto que se puede generar automáticamente un marcador en forma de un patrón gráfico distintivo, que es poco probable que se confunda con un fondo, se puede lograr una discriminabilidad visual sin depender de un material de marcador tal como un reflector o un elemento emisor de luz.

Un cuarto efecto consiste en que incluso cuando no está restringida la relación posicional entre un marcador y un dispositivo de obtención de imagen, no se experimenta disminución en la precisión ni en la velocidad de detección. La razón de ello es que, puesto que el marcador se diseña efectuando observación a través de un invariante geométrico que no se ve afectado por la distorsión geométrica debida a la relación posicional con respecto a un objeto, y se diseña el marcador de manera que el invariante geométrico no sea similar a un patrón de fondo, no hay posibilidad de que el marcador coincida por casualidad con el patrón de fondo debido a una distorsión geométrica y, además, se puede lograr la detección de marcador sin hacer ninguna consideración especial en cuanto a la detección del marcador en función de la variación en la relación posicional con respecto a un objeto, por ejemplo corregir la distorsión geométrica o efectuar un emparejamiento teniendo en cuenta la distorsión.

Un quinto problema consiste en que es posible una implementación económica sin necesidad de un dispositivo de obtención de imagen con alta resolución ni de un descodificador para un marcador más complicado. La razón de ello es que, puesto que la mínima discriminación gráfica requerida entre un marcador y un patrón de fondo puede ser suficiente, se elimina la necesidad de complicar un marcador más de lo necesario y no siempre es necesario incrustar un código redundante en un marcador.

[BREVE DESCRIPCIÓN DE LOS DIBUJOS]

[Fig. 1] Un diagrama de bloques que muestra una configuración de las realizaciones primera y segunda. [Fig. 2] Un diagrama de flujo que muestra un funcionamiento de la primera realización.

[Fig. 3] Un diagrama de flujo que muestra un funcionamiento de la segunda realización.

[Fig. 4] Un diagrama esquemático para explicar la presente invención.

[Fig. 5] Un diagrama esquemático para explicar la presente invención.

[Fig. 6] Un diagrama esquemático para explicar la presente invención.

[Fig. 7] Un diagrama esquemático que muestra un funcionamiento de un ejemplo.

[Fig. 8] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 9] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 10] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 11] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 12] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 13] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 14] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 15] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 16] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 17] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 18] Un diagrama esquemático que muestra un funcionamiento del ejemplo.

[Fig. 19] Un diagrama de bloques que muestra una configuración de las realizaciones tercera y cuarta.

[Fig. 20] Un diagrama de flujo que muestra un funcionamiento de la tercera realización.

[Fig. 21] Un diagrama de flujo que muestra un funcionamiento de la cuarta realización.

[Fig. 22] Un diagrama esquemático para explicar la presente invención.

[Fig. 23] Un diagrama esquemático para explicar la presente invención.

[Fig. 24] Un diagrama esquemático para explicar la presente invención.

[Fig. 25] Un diagrama esquemático para explicar la presente invención.

[Fig. 26] Un diagrama de bloques que muestra una configuración de las realizaciones quinta y sexta.

[Fig. 27] Un diagrama de flujo que muestra un funcionamiento de la quinta realización.

[Fig. 28] Un diagrama de flujo que muestra un funcionamiento de la sexta realización.

[Fig. 29] Un diagrama de bloques que muestra una variación de las realizaciones quinta y sexta.

[Fig. 30] Un diagrama para explicar una realización de la presente invención.

[Fig. 31] Un diagrama para explicar una realización de la presente invención.

[Fig. 32] Un diagrama para explicar un ejemplo de la presente invención.

[Fig. 33] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 34] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 35] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 36] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 37] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 38] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 39] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 40] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 41] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 42] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 43] Un diagrama para explicar el ejemplo de la presente invención.

[Fig. 44] Un diagrama para explicar otra realización de la presente invención.

[EXPLICACIÓN DE SÍMBOLOS]

10, 11 Sección de generación de marcador gráfico

20, 21 Sección de detección de marcador gráfico

100 Medios de entrada de imagen de vídeo

101 Medios de extracción de característica

102 Medios de almacenamiento de característica

103 Medios de selección de característica única

104 Medios de generación de marcador

105 Medios de almacenamiento de marcador

106 Medios de conversión a característica invariante

200 Medios de comprobación de característica

[MEJORES MODOS DE LLEVAR A CABO LA INVENCIÓN]

Se explicarán realizaciones de la presente invención.

Constituye una realización de la presente invención un sistema de generación de marcador que comprende: medios de extracción de característica para extraer como característica un segmento que contiene un patrón distintivo en una imagen de vídeo que no contiene un marcador; medios de selección de característica única para, basándose en la característica extraída, seleccionar como característica única una característica de imagen que no aparece en la imagen de vídeo; y medios de generación de marcador para generar un marcador basándose en la característica única.

La realización de la presente invención comprende además medios de almacenamiento de característica para calcular y almacenar una distribución de frecuencias de las características extraídas, en donde los medios de selección de característica única seleccionan como característica única, a partir de la distribución de frecuencias de las características, una parte que tiene una frecuencia igual o menor que un valor predefinido.

Además, la realización de la presente invención comprende también medios de conversión a característica invariante, para generar una característica invariante a partir de la característica extraída, donde los medios de selección de característica única seleccionan como característica única una parte que no es la característica invariante.

Además, en la realización los medios de conversión a característica invariante generan, a partir de la característica, una característica invariante geométrica.

Además, en la realización los medios de conversión a característica invariante generan, a partir de la característica, una característica invariante de color de objeto.

Además, en la realización los medios de conversión a característica invariante generan, a partir de la característica, una característica invariante de textura.

Además, en la realización los medios de conversión a característica invariante reciben una característica multidimensional como entrada y generan una característica invariante multidimensional.

Además, en la realización los medios de conversión a característica invariante generan una característica invariante a partir de una combinación de una cualquiera o varias de una característica invariante geométrica, una característica invariante de color de objeto, una característica invariante de textura y una característica invariante multidimensional de estas.

Además, en la realización los medios de selección de característica única están configurados para aumentar o disminuir el número de características únicas a seleccionar.

Además, en la realización los medios de selección de característica única calculan una distribución de frecuencias de las características invariantes y seleccionan como característica única, a partir de la distribución calculada de frecuencias de las características invariantes, una parte que tiene una frecuencia igual o menor que un umbral predefinido.

Además, en la realización los medios de selección de característica única controlan, mediante la modificación del umbral, el número de características únicas a seleccionar.

Además, la realización de la presente invención comprende además medios de entrada de imagen de vídeo para proporcionar como entrada la imagen de vídeo.

Además, en la realización los medios de entrada de imagen de vídeo son capaces de efectuar panorámicas, inclinaciones, acercamientos o alejamientos ("zoom"), o desplazamientos.

Además, la realización de la presente invención comprende también medios de control de entrada de imagen de vídeo para proveer tiempos de comienzo y de final entre los cuales se proporciona como entrada una imagen de vídeo a los medios de entrada de imagen de vídeo, y un tiempo en el cual se efectúa obtención de imagen.

En la realización, además, en respuesta a una señal procedente de los medios de control de entrada de imagen de vídeo, los medios de entrada de imagen de vídeo llevan a cabo la obtención de imagen, tras lo cual se genera un marcador.

En la realización, además, en respuesta a una señal procedente de los medios de control de entrada de imagen de vídeo, los medios de entrada de imagen de vídeo llevan a cabo la obtención de imagen, tras de lo cual los medios de conversión a característica invariante acumulan en consecuencia la característica invariante.

Además, una realización consiste en un sistema de detección de marcador para extraer como característica un segmento que contiene un patrón distintivo en una imagen de vídeo que no contiene un marcador, seleccionar como característica única una característica de imagen que no aparece en la imagen de vídeo basándose en la característica extraída, y detectar un marcador generado basándose en la característica única, que comprende: medios de almacenamiento para almacenar una característica del marcador; y medios de comprobación de característica para contrastar una característica de la imagen de vídeo sujeta a detección con la del marcador, y notificar la detección de un marcador cuando se encuentra una coincidencia de las características.

Además, la realización comprende también: medios de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo sometida a detección; y medios de control de entrada de imagen de vídeo para proveer tiempos de comienzo y de final entre los cuales se proporciona como entrada una imagen de vídeo a los medios de entrada de imagen de vídeo, y un tiempo en el cual se efectúa obtención de imagen, donde los medios de comprobación de característica contrastan una característica frente a un marcador cuando se proporciona como entrada la imagen de vídeo, y generan una notificación cuando la comprobación es positiva con una frecuencia igual o mayor que un número predefinido de veces.

Además, una realización consiste en un sistema de detección de marcador para extraer como característica un segmento que contiene un patrón distintivo en una imagen de vídeo que no contiene un marcador, y detectar un marcador generado basándose en una característica única seleccionada de una parte que no es una característica invariante generada a partir de la característica, que comprende: medios de almacenamiento para almacenar una característica invariante del marcador; y medios de comprobación de característica invariante para contrastar una característica invariante de la imagen de vídeo sometida a detección con la del marcador, y notificar la detección de un marcador cuando se encuentra una coincidencia de las características invariantes.

Además, en la realización la característica invariante es una cualquiera de una característica invariante geométrica, una característica invariante de color de objeto, una característica invariante de textura y una característica invariante multidimensional de estas, o una combinación de lo que antecede.

Además, en la realización los medios de comprobación de característica invariante notifican la detección de un marcador cuando una característica invariante coincide.

Además, en la realización los medios de comprobación de característica invariante excluyen de los objetos a contrastar una característica invariante del marcador que corresponda a la de la imagen de vídeo que puede provocar sobredetección.

Además, en la realización los medios de comprobación de característica invariante identifican una parte de fondo correspondiente a una característica invariante que puede provocar sobredetección.

Además, la realización comprende también medios para confinar una zona de una imagen de vídeo sometida a detección.

Además, la realización comprende también: medios de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo sometida a detección; y medios de control de entrada de imagen de vídeo para proveer tiempos de comienzo y de final entre los cuales se proporciona como entrada una imagen de vídeo a los medios de entrada de imagen de vídeo, y un tiempo en el cual se efectúa obtención de imagen, donde los medios de comprobación de característica invariante contrastan una característica invariante de la imagen de vídeo con la de un marcador cuando se proporciona como entrada la imagen de vídeo, y generan una notificación cuando la comprobación es positiva con una frecuencia igual o mayor que un número predefinido de veces.

Se explicarán ahora con detalle realizaciones de la presente invención, haciendo referencia a los dibujos adjuntos. Haciendo referencia a la Figura 1, la presente invención se divide a grandes rasgos en una sección 10 de generación de marcador gráfico y una sección 20 de detección de marcador gráfico.

Una primera realización se refiere a la sección 10 de generación de marcador gráfico. La sección 10 de generación de marcador gráfico está compuesta por medios 100 de entrada de imagen de vídeo, medios 101 de extracción de característica, medios 102 de almacenamiento de característica, medios 103 de selección de característica única y medios 104 de generación de marcador.

La sección 10 de generación de marcador gráfico tiene como finalidad, antes de acoplar efectivamente un marcador a un objeto y efectuar detección de marcador, en un entorno en el cual se aplica detección de marcador, observar un patrón de fondo, es decir, una escena con exclusión del objeto a detectar, obtener una distribución de frecuencias de aparición de características y, basándose en la distribución, emitir como salida un patrón gráfico en calidad de patrón de marcador que nunca está presente en el patrón de fondo.

Los medios que constituyen la sección 10 de generación de marcador gráfico funcionan en general de la manera que se describe a continuación.

Los medios 100 de entrada de imagen de vídeo proporcionan como entrada una imagen de vídeo que contiene una imagen de un entorno al que se aplica la presente invención, tal como una imagen de vídeo en directo procedente de un dispositivo de obtención de imagen, una imagen de vídeo grabada y una imagen de vídeo distribuida.

Los medios 101 de extracción de característica reciben como entrada, desde los medios 100 de entrada de imagen de vídeo, una imagen de vídeo que no contiene un marcador, y extraen características de imagen que incluyen patrones distintivos presentes en el cuadro de imagen de vídeo.

Los medios 102 de almacenamiento de característica reservan una zona de memoria para calcular una distribución de frecuencias en una salida de características generada por los medios 101 de extracción de característica, y la almacenan.

Los medios 103 de selección de característica única seleccionan como característica única, a partir de la distribución de frecuencias de las características que se ha generado, una parte que presenta una frecuencia cero o menor que un valor predefinido, por ejemplo.

Los medios 104 de generación de marcador reciben la característica única como entrada y generan un patrón de marcador combinándola con un patrón de imagen que puede ser fácilmente detectado por los medios 101 de extracción de característica, y lo emiten como salida.

Los medios 105 de almacenamiento de marcador almacenan en ellos mismos el patrón de marcador emitido como salida por los medios 104 de generación de marcador.

A continuación se explicará con detalle un funcionamiento global de la presente realización, haciendo referencia a la Figura 1 y al diagrama de flujo mostrado en la Figura 2.

En primer lugar, se proporciona como entrada un cuadro de imagen fija que captura un entorno que no contiene un marcador, es decir, una imagen de fondo, en forma de una imagen de cuadro digitalizada (paso A1 en la Figura 2). Después, del cuadro de imagen fija de entrada se extrae una característica de imagen (paso A2). Para la característica de imagen se puede utilizar, por ejemplo, una propiedad gráficamente distintiva en forma de valores numéricos. Por ejemplo, se puede utilizar un método descrito por T. Tommasini et al. en "Making good features track better" (Conseguir que se rastreen mejor las buenas características), Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition (1998), para extraer de una imagen (véase la Figura 4) vértices de la forma de un objeto, intersecciones de objetos lineales, puntos finales, etc. (que se indican con el símbolo " ^o" en la Figura 5), aunque se pueden definir como características gráficas una serie de informaciones acerca de las coordenadas de posición de estos puntos sobre la imagen. Cuando a una escena de fondo tal como la mostrada en la Figura 6 se le aplica la extracción de característica conforme al método, se obtienen grupos de puntos de característica que se indican con el símbolo " ^o" en la Figura 7, y después se pueden utilizar como características valores de coordenadas de estos grupos de puntos. Según un método descrito por U. Montanari en "On the optimal detection of curves in noisy pictures" (Sobre la detección óptima de curvas en imágenes con ruido), Communications of ACM, vol. 14 (1971), se pueden utilizar como características las entradas de una tabla R en la que se almacenan la distancia desde un punto de referencia y el ángulo relativo. En ese momento, al definir un punto de referencia para todas las posiciones de las características y extraer de manera exhaustiva las características, se puede hacer que la detección de marcador sea robusta frente a una pérdida parcial de características (lo que se describirá más adelante). La extracción de característica incluye la que utiliza características representadas por los propios valores de luminancia o de crominancia de los píxeles de una imagen.

Todas las características así generadas son emitidas como salida y almacenadas en los medios de almacenamiento de característica (paso A3).

Cuando se ha completado la grabación de una serie de características, de los grupos de características almacenados se selecciona como característica única una característica de imagen que no aparece en la escena (paso A4). La característica única puede seleccionarse como aquella característica que no coincide con ningún patrón de fondo, es decir, un segmento del espacio de características en el que no aparece ninguno de los grupos de características del fondo. Para evitar un suceso inesperado en el cual la característica única llega a ser, más adelante, similar al patrón de fondo debido a un error en la extracción de puntos de característica o similar, se puede seleccionar una característica única de una zona más extensa dentro del espacio de características, en donde no esté presente ninguna de las características de los patrones de fondo. Para implementar esto, y puesto que la implementación se puede considerar equivalente al problema de encontrar un gran espacio en blanco a partir de una distribución de puntos en el espacio, se puede utilizar un algoritmo tal como, por ejemplo, "An Algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis” (Un algoritmo para encontrar rectángulos máximos de espacio en blanco, en orientaciones arbitrarias, para análisis de la disposición de documentos), Proceedings of International Conference on Document Analysis and Recognition (2003), a fin de extraer un gran espacio en blanco, o bien se puede definir como característica única un centro de la región rectangular resultante, carente de cualquier punto de característica. Otro método implica cuantizar el espacio de características en una cuadrícula que posee un tamaño de celda específico, generar un histograma unidimensional o multidimensional, y definir como característica única los centros de aquellas celdas de la cuadrícula que presenten frecuencia cero. Si no se encuentra ninguna celda de cuadrícula con frecuencia cero, se puede reducir el tamaño de la celda de cuadrícula para generar de nuevo el histograma, y se puede seleccionar una característica única de entre las celdas de cuadrícula con frecuencia cero, en caso de que existan. Si no se encuentra ninguna celda de cuadrícula con frecuencia cero, se puede aplicar al histograma un tratamiento de umbralización, utilizando un valor predefinido para seleccionar una característica única de entre las celdas de cuadrícula que tengan un valor menor o igual que el valor predefinido.

Por último, a partir de la característica única extraída tal como se ha descrito en lo que antecede, se genera un patrón de marcador (paso A5). Se ilustrará en primer lugar un caso en donde, al igual que en el ejemplo antes mencionado, se utilizan como puntos de característica vértices, intersecciones y puntos finales de una imagen. Cuando se emplea el método antes mencionado que se describe en "On the optimal detection of curves in noisy pictures", la detección de grupos de puntos de característica requerida en la detección de un patrón de marcador depende de un algoritmo de detección de puntos de característica utilizado en la extracción de característica en A2. Por ejemplo, los métodos para generar un patrón de marcador se ilustran como se describe a continuación:

(1) un patrón que tiene intersecciones situadas en la posición de la característica única;

(2) un patrón generado al repetir la operación de encontrar una envoltura convexa de una característica única y llenar su interior con un color específico, y encontrar nuevamente otra envoltura convexa utilizando una característica única que no se ha utilizado en la primera envoltura convexa y llenar su interior con otro color, hasta que se hayan seleccionado todas las características;

(3) un patrón formado por un conjunto de rectángulos rellenos que tienen vértices que se encuentran en la posición de la característica única y que tienen lados horizontales y verticales; y

(4) un patrón en el cual los vecinos más próximos de puntos de característica única están conectados por segmentos de línea.

Además, cuando se emplean valores de luminancia y de crominancia como característica obtenida en A2, se imprime un marcador empleando una pintura correspondiente a los valores de luminancia y de crominancia que corresponden a la característica única.

Además, es posible combinar el método antes mencionado, que utiliza vértices, intersecciones y puntos finales como características gráficas, con otras informaciones de característica. En tal caso, se puede generar un marcador que tenga el brillo, color y forma correspondientes a la característica única seleccionada.

Se explicarán a continuación efectos de la presente realización.

Al estar la presente realización configurada para observar una escena de fondo y permitir el diseño automático de un patrón de marcador de modo que no sea similar al patrón de fondo, se puede mejorar la fiabilidad en la detección de objeto. Por una razón análoga, no se necesitan ni proceso de prueba y error ni una persona experimentada para diseñar un marcador. Puesto que el marcador no necesita ser más complicado de lo necesario, se puede utilizar un dispositivo de obtención de imagen con una resolución comparativamente baja sin que se produzcan fallos en la lectura de la estructura fina de un marcador, y se evita la detección errónea.

Además, al estar la presente realización configurada para generar automáticamente un marcador en forma de un patrón distintivo que es poco probable que se confunda con un fondo, se puede reducir el coste de desechar un marcador.

Por último, la presente realización está configurada de manera que se elimina la necesidad de complicar un marcador más de lo necesario y no siempre es necesario incrustar un código redundante en un marcador, ya que la discriminación mínima requerida entre un marcador y un patrón de fondo puede ser suficiente y, por lo tanto, es posible una implementación poco costosa sin necesidad de un dispositivo de obtención de imagen con alta resolución o un descodificador para un marcador complicado.

A continuación se explicará con detalle una realización que no forma parte de la presente invención, haciendo referencia a los dibujos adjuntos.

Se explicará ahora con detalle la sección 20 de detección de marcador gráfico haciendo referencia a la Figura 1. La presente realización se refiere a la detección de un patrón de marcador a partir de una escena.

La segunda realización se refiere a la sección 20 de detección de marcador gráfico. La sección 20 de detección de marcador gráfico está compuesta por medios 100 de entrada de imagen de vídeo, medios 101 de extracción de característica, medios 105 de almacenamiento de marcador y medios 200 de comprobación de característica.

Estos medios funcionan en general de la manera que se describe a continuación.

Los medios 100 de entrada de imagen de vídeo y los medios 101 de extracción de característica funcionan de manera similar a los de la primera realización.

Los medios 106 de almacenamiento de marcador almacenan en ellos mismos patrones de marcador generados de antemano. Cuando se utiliza un patrón de marcador generado por la sección 10 de generación de marcador gráfico de la primera realización, se proporciona como entrada, y se almacena, el patrón de marcador generado por los medios 104 de generación de marcador.

Los medios 200 de comprobación de característica la contrastan frente a un patrón de marcador almacenado en los medios 104 de almacenamiento de marcador, y notifican la detección de un marcador cuando se encuentra una coincidencia.

A continuación se explicará con detalle un funcionamiento global de la presente realización, haciendo referencia a la Figura 1 y al diagrama de flujo mostrado en la Figura 3.

En primer lugar, los pasos A1 y A2 de la Figura 3 operan de manera similar a los de la primera realización, sobre una escena de imagen de vídeo a partir de la cual se ha de detectar un marcador.

Los grupos de características generados a partir de la escena de imagen de vídeo son contrastados frente a un patrón de marcador almacenado con anterioridad en los medios 105 de almacenamiento de marcador (paso B1). El patrón de marcador ha sido convertido previamente en una característica. Por ejemplo, en caso de que una de las características del patrón de marcador y una de las características generadas a partir de la escena de la imagen de vídeo tengan una distancia euclidiana igual o menor que un valor predefinido en el espacio de características, se puede considerar que las características coinciden, y se puede definir como puntuación el número acumulado de características invariantes que coinciden.

Además, cuando el resultado de la comprobación frente al patrón de marcador satisface un criterio predefinido, se genera una notificación de que se ha encontrado el patrón de marcador en la escena de la imagen de vídeo (paso B2).

Cuando se utiliza el ejemplo antes mencionado, se puede acreditar la detección de marcador en caso de que la puntuación supere un valor predefinido, o bien se puede incorporar adicionalmente el criterio de que el valor acumulado de la distancia euclidiana antes mencionada sea igual o menor que un valor predefinido. Según se ha descrito más arriba en la primera realización, cuando tiene lugar la determinación de una característica única en un espacio de características cuantizado, se puede almacenar la característica única, y en caso de que, al diseñar un marcador, una característica de la escena de imagen de vídeo se proyecte incluso una vez sobre una celda de cuadrícula que tenga frecuencia cero, se puede considerar como una contribución del patrón de marcador para confirmar la detección, con lo que se puede lograr rápidamente la detección del marcador. Para evitar una asociación incorrecta a causa del ruido o de un error en el cálculo de extracción de característica, la frecuencia de proyección que se debe acreditar puede estar definida como un valor predefinido de uno o superior. Como alternativa, cuando a partir de un patrón de marcador se puede generar un espacio de características cuantizado similar, se puede emplear este. En tal caso, se puede acreditar la detección del patrón de marcador cuando una característica invariante obtenida a partir de la escena de la imagen de vídeo coincide con una cuadrícula del espacio de características sobre la que se ha proyectado el patrón de marcador una vez o un número predefinido de veces.

A continuación se explicarán efectos de los mejores modos para llevar a cabo la presente realización.

Al estar los mejores modos para llevar a cabo la presente realización configurados para contrastar el patrón de marcador frente a una escena de imagen de vídeo a través de un invariante, se pueden mejorar la rapidez y fiabilidad en la detección de objetos. Además, al simplificar el método para decidir la acreditación o el rechazo de un patrón de marcador, es posible mejorar aún más la velocidad del procesamiento de detección, al tiempo que se mantiene la fiabilidad de la detección de objeto.

Ejemplo 1

A continuación se explicará un ejemplo específico.

En primer lugar se explicará de manera particular una operación de diseño de marcador, haciendo referencia a un caso en el cual se utiliza una característica gráfica.

Para una escena de imagen de vídeo tal como la mostrada en la Figura 6, se generan grupos de puntos de característica, indicados por los símbolos " • " que se muestran en la Figura 7. En lo que sigue se explicará una operación ilustrativa de seleccionar una característica única a partir de un espacio de características cuantizado. La Figura 8 muestra una cuadrícula que tiene 8x8 celdas, obtenida al establecer una correspondencia (o mapa) de grupos de puntos de característica sobre un espacio de características, y cuantizando, a partir del resultado, el espacio de invariantes. En la Figura 8, una celda llena de la cuadrícula indica una frecuencia de aparición distinta de cero, es decir, indica que dentro de la celda de la cuadrícula está presente una proyección de un punto de característica, y una celda sin rellenar de la cuadrícula indica una celda de cuadrícula que tiene una frecuencia de aparición cero.

Según la primera realización, a partir de las celdas sin rellenar de la cuadrícula se selecciona una característica única. En la Figura 9 se muestra un ejemplo en el cual se define como característica única el centro de una celda sin rellenar de la cuadrícula. En este ejemplo, en la característica única está incluido un punto de referencia, es decir, un origen (0, 0), de un espacio de características. Sin embargo, el origen puede estar excluido de la característica única. Después se generan patrones de marcador ilustrativos a partir de los grupos de puntos de característica única resultantes, conforme a los cuatro métodos de generación explicados en la primera realización, que se muestran en las Figuras 10 - 13.

A continuación se explicará en particular una operación de detección de marcador. La descripción que sigue se basará sobre un procedimiento para detectar de manera rápida y estable el marcador mostrado en la Figura 13, a partir de una escena de imagen de vídeo que incluye el marcador, tal como se muestra en la Figura 14. En la Figura 15 se muestra un resultado de extracción de característica en esta escena. Además, se establece una correspondencia del resultado sobre un espacio de características invariantes, y se cuantiza para obtener una cuadrícula que presenta celdas sobre las cuales se han hecho corresponder puntos de característica, mostrándose en la Figura 17, en colores, el resultado de ello. En caso de que no esté presente el marcador, la correspondencia de los puntos de característica es la mostrada en la Figura 16. Por tanto, en el caso de que existan puntos de característica en celdas de la cuadrícula (recuadros dotados de línea gruesa en la Figura 17) en las cuales no debería existir, con arreglo al fondo, ninguna correspondencia, se puede decidir que el marcador está presente. Cuando se emplean una pluralidad de tipos de marcador, se pueden almacenar con arreglo a cada patrón de marcador (las letras de color claro "A", "H" y "B" son ejemplos de marcadores) los símbolos " o " o las celdas de cuadrícula de color violeta en la Figura 18, y se puede utilizar como resultado de la detección el marcador para el cual se han obtenido las correspondencias más similares, es decir, un mayor número de correspondencias, en la proximidad de las celdas de la cuadrícula sujetas a detección, o en las mismas.

A continuación se explicará con detalle, haciendo referencia a los dibujos adjuntos, una tercera realización que no forma parte de la presente invención.

Haciendo referencia a la Figura 19, la tercera realización se refiere a una sección 11 de generación de marcador gráfico que es similar a la sección 10 de generación de marcador gráfico de la primera realización, salvo por que se incluyen medios 106 de conversión a característica invariante.

En la sección 11 de generación de marcador gráfico, los medios 106 de conversión a característica invariante funcionan en general de la manera que se describe a continuación.

Los medios 106 de conversión a característica invariante convierten en una característica invariante una característica emitida como salida por los medios 101 de extracción de característica, y la envían a los medios 102 de almacenamiento de característica.

Los demás medios 100, 101, 102 - 105 funcionan de manera similar a los de la primera realización.

A continuación se explicará con detalle un funcionamiento de la presente realización, haciendo referencia a la Figura 19 y al diagrama de flujo de la Figura 20.

En primer lugar, en cuanto a la sección 11 de generación de marcador gráfico, los pasos A1 y A2 de la Figura 20 operan de manera similar a los de la primera realización sobre una escena de imagen de vídeo para la cual se ha generado un marcador.

Se convierte la característica resultante en una característica invariante (paso A7). Se convierte en una característica invariante, que se envía a los medios 102 de almacenamiento de característica, una característica emitida como salida por los medios 101 de extracción de característica. Cuando se extrae un segmento distintivo de una imagen y se define como característica gráfica una serie de informaciones de coordenadas de posición en esa imagen, la conversión de esta en una característica invariante se puede efectuar de la manera que se describe a continuación, por ejemplo. Por conveniencia, a la serie de informaciones de coordenadas de posición se la denominará en la presente memoria "grupos de puntos de característica". Para simplificar, se explicará una característica invariante geométrica en un fondo distante. Se debe prestar atención, sin embargo, para que una cantidad de característica sea invariante incluso en el caso de que un efecto de distorsión óptica pudiera causar en la imagen una distorsión deformante por cizallamiento. Cabe señalar que es fácil extender una característica invariante a otra que tenga un grado de libertad mayor, en caso de que el fondo no esté muy distante, lo que se describirá más adelante. Se explicará ahora un método ilustrativo para generar una característica invariante geométrica a partir de la relación posicional de los grupos de puntos de característica, donde la característica invariante geométrica es una cantidad de característica que es invariable, sea cual sea la variación en la relación posicional relativa que da como resultado una distorsión deformante por cizallamiento cuando se giran y se desplazan, una con respecto a otra, una cámara y una escena de la que se han de obtener imágenes.

De entre los grupos de puntos de característica (símbolo " ^o" en la Figura 5) se seleccionan tres puntos característicos arbitrarios (símbolo " ^o" verde en la Figura 22). Por otro lado, se define un espacio de características invariantes como un plano bidimensional recorrido por dos ejes ortogonales (Figura 23). A uno de los puntos de característica seleccionados de entre los grupos de puntos de característica se le asocia a un origen en el espacio de características invariantes. A otros dos puntos se les asocia a las coordenadas de posición (1, 0) y (0, 1), respectivamente, en el espacio de características invariantes (símbolo " ^o" verde en la Figura 23). En lo que sigue, a estos tres puntos se les denominará "bases". Se puede definir ahora como una transformación afín una correspondencia lineal, uno a uno, desde el espacio de la imagen original hacia el espacio de características invariantes. Utilizando la misma transformación afín caracterizada por las bases (símbolo " ^o" rojo en la Figura 23), se hacen corresponder todos los grupos de puntos de característica, salvo las bases, sobre el espacio de características invariantes, por lo que estos grupos de puntos de característica son invariantes sea cual sea la relación posicional relativa entre la cámara y la escena. En la práctica, sin embargo, dado que no siempre se pueden seleccionar en la escena las mismas bases, es necesario seleccionar bases de todas las permutaciones y combinaciones de tres de los grupos de puntos de características, y establecer una correspondencia de puntos de característica que no sean bases, con respecto a cada base, sobre el espacio de características invariantes.

Todas las bases así creadas, y las correspondencias de todos los puntos de característica sobre el espacio de características invariantes, son emitidas como salida hacia la sección de almacenamiento de característica invariante y almacenadas allí como características invariantes (paso A4). La razón por la cual estos grupos de puntos de característica son invariantes frente a la deformación geométrica reside en que las bases seleccionadas a partir del marcador hacen que la característica invariante resultante siempre tenga coincidencia (Figura 24) en una imagen de vídeo que contiene otros objetos (Figura 7).

Una vez completada la grabación de una serie de características invariantes (paso A3), los pasos A4 y A5 funcionan después de manera similar a los de la primera realización.

Aunque la precedente descripción de la operación en el paso 7 se ha desarrollado para un invariante geométrico, se pueden emplear diversos tipos de invariantes que no sean el invariante geométrico. Los ejemplos de los invariantes aplicables en la presente realización incluyen un invariante de color de objeto, que se explicará a continuación. El color de un objeto puede variar al obtener su imagen, incluso tratándose del mismo objeto, según el color de la fuente luminosa presente en el entorno de la obtención de imagen. Si se puede separar de la imagen el efecto de la variación en el color de la fuente luminosa, se obtiene el color real del objeto. El resultante color real del objeto se puede utilizar como invariante de color de objeto. Una parte que presente reflexión especular se verá afectada principalmente por el color de la fuente luminosa, y el valor de brillo tiende a la saturación para el componente de color de la fuente luminosa, de modo que, para evitar que el componente de color correspondiente a la parte saturada sea seleccionado como una característica invariante, se puede considerar el componente como el color de la fuente luminosa. Además, los métodos de estimación del color de un objeto a partir de una imagen que se pueden emplear incluyen un método de Robby T. Tan y Katsushi Ikeuchi, descrito en "Separating Reflection Components of Textured Surfaces Using a Single Image" (Separación de componentes de reflexión de superficies con textura mediante el uso de una única imagen), IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, n.° 2, febrero de 2005, págs. 178 - 193; y un método de Graham D. Finlayson, Steven D. Hordley, Cheng Lu y Mark S. Drew, descrito en "On the Removal of Shadows from Images" (Sobre la eliminación de sombras en imágenes), IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, n.° 1, enero de 2006, págs. 59 - 68.

A continuación se explicará un ejemplo de un invariante de textura. Se somete a cálculo numérico una distribución de brillo para una región parcial en una imagen, y se define como cantidad de característica el valor numérico o vector resultante. De manera similar al invariante gráfico, el invariante de textura es sensible al efecto de la relación posicional relativa entre la cámara y el sujeto del que se van a obtener imágenes y, por lo tanto, se calcula y se define como invariante de textura una cantidad de característica que no sea sensible al efecto. Por ejemplo, se puede implementar una cantidad de característica que no varía con la distancia entre la cámara y el objeto, o con el acercamiento o alejamiento, si se convierte una imagen parcial de interés a coordenadas polares y se registra un espectro de potencias en la dirección del vector radial. Además, se puede determinar nuevamente un espectro de potencias con respecto al primer espectro de potencias en la dirección azimutal, con el fin de obtener una cantidad de característica que sea invariable frente a la rotación en torno a un eje óptico de la cámara. Se puede emplear, además, un método de Chi-Man Pun y Moon-Chuen Lee descrito en "Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification" (Signaturas de energía de ondícula log-polar para clasificación de texturas invariante frente a rotación y escala), IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, n.° 5, mayo de 2003.

Además, para el invariante geométrico se puede emplear otro tipo de invariante geométrico tal como el de Richard Hartley y Andrew Zisserman descrito en "Multiple View Geometry in Computer Vision" (Geometría de vista múltiple en visión por ordenador). Cuando la misma escena es observada por una pluralidad de cámaras, el método descrito en este libro de texto permite adquirir información acerca de la distancia o relación posicional relativa en la dirección de la profundidad, donde se pueden seleccionar como bases cuatro puntos situados en planos no idénticos y, asumiendo que el espacio de invariantes de la Figura 23 es tridimensional, se puede crear un invariante geométrico tridimensional. En ese momento, se determina un mapa (o correspondencia) de conversión en la cual a una de las cuatro bases seleccionadas de grupos de puntos de característica se la asocia con un origen de un espacio de invariantes, y a los puntos de característica de las otras bases se les asocia con coordenadas de posición (1, 0, 0), (0, 1, 0) y (0, 0, 1) en el espacio de invariantes, utilizándose el mapa de conversión para establecer una correspondencia de las demás características sobre el espacio de invariantes.

Además, se pueden utilizar combinadamente dos o más tipos de estos y otros invariantes. La conversión de una característica a característica invariante (paso A7), y la selección de una característica única (paso A4) a partir de ella, funcionan en este caso generalmente de la manera que se describe a continuación.

Se expondrá una operación ilustrativa en la cual se utilizan combinadamente el invariante geométrico y el invariante de color de objeto mencionados en lo que antecede.

Se asume que el invariante geométrico es similar al empleado en la precedente descripción del funcionamiento en el paso A7 (Figura 23). Se asume que el invariante de color de objeto utilizado es el valor de brillo de un color de objeto obtenido por el método de Tan et al., mencionado más arriba, para los píxeles vecinos de los grupos de puntos de característica extraídos al determinar el invariante geométrico. En primer lugar, de manera similar al procedimiento mencionado más arriba para determinar un invariante geométrico, se seleccionan tres puntos como bases de los grupos de puntos característicos y se proyectan sobre un espacio de invariantes geométricos descrito en un plano bidimensional. Se determina un invariante de color de objeto correspondiente a cada posición de característica, y se asume un espacio tridimensional que incluye un eje ortogonal con respecto al plano de invariantes geométricos, es decir, una coordenada de invariante de color de objeto. Se cuantizan los ejes del espacio tridimensional y se dividen en celdas de cuadrícula con forma de paralelepípedo rectangular, de un tamaño predefinido, y se genera un histograma para cada paralelepípedo rectangular. Se efectúa un cálculo similar para todas las combinaciones de las bases, y se definen como característica única los valores de los centros de las celdas de cuadrícula que tienen un histograma cero (paso A4). Se puede efectuar la generación de un marcador (paso A5) generando el marcador con una posición y un color correspondientes a cada característica única.

A continuación se explicará con detalle una cuarta realización que no forma parte de la presente invención, haciendo referencia a los dibujos adjuntos.

Haciendo referencia a la Figura 19, la realización se refiere a una sección 21 de detección de marcador gráfico, que es similar a la sección 20 de detección de marcador gráfico de la segunda realización, salvo por que se incluyen medios 106 de conversión a característica invariante.

Se explicará ahora con detalle la sección 21 de detección de marcador gráfico, haciendo referencia a la Figura 19. La presente realización se refiere a un método para detectar un patrón de marcador a partir de una escena.

La presente realización se refiere a la sección 21 de detección de marcador gráfico y se caracteriza por comprender la sección 21 de detección de marcador, que a su vez se caracteriza por comprender: medios 100 de entrada de imagen de vídeo, medios 101 de extracción de característica, medios 106 de conversión a característica invariante, medios 105 de almacenamiento de marcador y medios 200 de comprobación de característica.

Estos medios funcionan en general de la manera que se describe a continuación.

Los medios 100 de entrada de imagen de vídeo, los medios 101 de extracción de característica y los medios 106 de conversión a característica invariante funcionan de manera similar a los de las realizaciones mencionadas en lo que antecede.

Los medios 105 de almacenamiento de marcador almacenan en ellos mismos patrones de marcador generados de antemano. Cuando se utiliza un marcador generado por la sección 11 de generación de marcador gráfico, se proporciona como entrada, y se almacena, el patrón de marcador generado por los medios 104 de generación de marcador.

Los medios 200 de comprobación de característica la contrastan frente a un patrón de marcador almacenado en los medios 105 de almacenamiento de marcador, y notifican la detección de un marcador cuando se encuentra una coincidencia.

A continuación se explicará con detalle un funcionamiento global de la presente realización, haciendo referencia a la Figura 19 y al diagrama de flujo mostrado en la Figura 21.

En primer lugar, los pasos A1, A2, A7 de la Figura 21 operan sobre una escena de imagen de vídeo en la que ha de detectarse un marcador, de manera similar a los de la realización de la sección 11 de generación de marcador gráfico.

Las características invariantes generadas a partir de una escena de imagen de vídeo son contrastadas frente a un patrón de marcador almacenado con anterioridad en los medios 105 de almacenamiento de marcador (paso B1). El patrón de marcador ha sido convertido previamente en una característica invariante. La comprobación frente a la característica invariante generada a partir de una escena real de imagen de vídeo se efectúa en el espacio de características invariantes. Por ejemplo, en caso de que una de las características invariantes del patrón de marcador y una de las características invariantes generadas a partir de la escena de la imagen de vídeo tengan una distancia euclidiana igual o menor que un valor predefinido en el espacio de características invariantes, se puede considerar que las características invariantes coinciden, y se puede definir como puntuación el número acumulado de características invariantes que coinciden.

Además, cuando el resultado de la comprobación frente al patrón de marcador satisface un criterio predefinido, se genera una notificación de que el patrón de marcador se encuentra en la escena de la imagen de vídeo (paso B2). Cuando se utiliza el ejemplo antes mencionado, se puede acreditar la detección del marcador en caso de que la puntuación supere un valor predefinido, o se puede incorporar adicionalmente el criterio de que un valor acumulado de la distancia euclidiana antes mencionada sea igual o menor que un valor predefinido. Según se ha descrito más arriba en las realizaciones primera y segunda, cuando la determinación de una característica única se efectúa en un espacio de características cuantizado, se puede almacenar la característica única, y en caso de que, al diseñar un marcador, una característica de la escena de imagen de vídeo se proyecte aunque sea una vez sobre una celda de cuadrícula que tenga frecuencia cero, se puede considerar como una contribución del patrón de marcador para confirmar la detección, con lo que se puede lograr rápidamente la detección del marcador. Para evitar una asociación incorrecta a causa del ruido o de un error en el cálculo de extracción de característica, la frecuencia de proyección que se debe acreditar puede estar definida como un valor predefinido de uno o superior. Como alternativa, cuando a partir de un patrón de marcador se puede generar un espacio de características invariantes cuantizado similar, se puede emplear este último. En tal caso, se puede acreditar la detección del patrón de marcador cuando una característica invariante obtenida a partir de la escena de la imagen de vídeo coincide con una cuadrícula del espacio de invariantes sobre la que se ha proyectado el patrón de marcador una vez o un número predefinido de veces.

A continuación se explicarán los efectos de las realizaciones tercera y cuarta.

Además de los efectos de las realizaciones primera y segunda, las realizaciones tercera y cuarta están configuradas para diseñar un marcador efectuando observación a través de un invariante geométrico que no se ve afectado por la distorsión geométrica debida a la relación posicional con respecto a un objeto, y diseñar el marcador de manera que el invariante geométrico no sea similar a un patrón de fondo y, por lo tanto, no haya posibilidad de que el marcador coincida por casualidad con el patrón de fondo debido a una distorsión geométrica y, además, se pueda lograr la detección de marcador sin hacer ninguna consideración especial en cuanto a la detección del marcador en función de la variación en la relación posicional con respecto a un objeto, por ejemplo corregir la distorsión geométrica o efectuar un emparejamiento teniendo en cuenta la distorsión.

Además, al estar la presente realización configurada para diseñar un marcador efectuando observación a través de un invariante geométrico que no se ve afectado por la distorsión geométrica debida a la relación posicional con respecto a un objeto, y diseñar el marcador de manera que el invariante geométrico no sea similar a un patrón de fondo, no hay posibilidad de que el marcador coincida por casualidad con el patrón de fondo debido a una distorsión geométrica y, además, se puede lograr la detección de marcador sin hacer ninguna consideración especial en cuanto a la detección de un marcador en función de la variación en la relación posicional con respecto a un objeto, por ejemplo corregir la distorsión geométrica o efectuar un emparejamiento teniendo en cuenta la distorsión.

Además, al estar la presente realización configurada para generar automáticamente un patrón gráfico distintivo que es robusto frente a variaciones en el entorno y es poco probable que se confunda con un fondo, gracias a que, para determinar una característica única, se obtienen estadísticas de una diversidad de invariantes, tales como una invariante geométrica y una invariante de color de objeto o una invariante de textura, se puede lograr la detección de manera estable y al mismo tiempo se reduce el coste de desechar un marcador.

A continuación se explicará con detalle una quinta realización que no forma parte de la presente invención, haciendo referencia a los dibujos adjuntos.

Se explicará ahora con detalle, haciendo referencia a la Figura 26, una sección 12 de generación de marcador gráfico de la presente realización. La presente realización se refiere a un método para generar un patrón de marcador a partir de una escena de fondo, que es similar a la sección 11 de generación de marcador gráfico de las realizaciones primera y tercera, salvo por que se incluyen medios 107 de control de entrada de imagen de vídeo. Los medios 107 de control de entrada de imagen de vídeo funcionan en general de la manera que se describe a continuación.

Los medios 107 de control de entrada de imagen de vídeo imparten a los medios 100 de entrada de imagen de vídeo la orden de efectuar una entrada de imagen de vídeo a partir de una imagen de vídeo de fondo para la cual se ha de generar un marcador, con tiempos de comienzo y de final determinados y con intervalos de tiempo determinados. La orden se puede impartir manualmente a través de estos medios. Después de ello, los medios 100 de entrada de imagen de vídeo, los medios 101 de extracción de característica, los medios 106 de conversión a característica invariante, los medios 102 de almacenamiento de característica, los medios 103 de selección de característica única, los medios 104 de generación de marcador y los medios 105 de almacenamiento de marcador funcionan de manera similar a los de las realizaciones mencionadas en lo que antecede, con el fin de generar una característica única de manera secuencial o de generar un grupo de características únicas para todas las imágenes.

A continuación se explicará con detalle un funcionamiento global de la presente realización, haciendo referencia a la Figura 26 y al diagrama de flujo mostrado en la Figura 27.

En primer lugar, los pasos A2 hasta A8 de la Figura 27 operan sobre una escena de imagen de vídeo en la que se ha de detectar un marcador, de manera similar a los de las realizaciones primera o tercera. Sin embargo, la entrada de un cuadro de imagen de vídeo (paso A8) se efectúan de manera continua o intermitente en respuesta a la orden procedente de los medios 107 de control de entrada de imagen de vídeo. Tras la entrada del cuadro, los pasos efectúan un procesamiento similar al de las realizaciones primera o tercera. En lugar de emitir como salida una característica única, cuadro por cuadro, en el paso A4, se puede almacenar la característica única en el espacio de invariantes, y como resultado de la observación sobre múltiples cuadros puede emitirse como salida, en calidad de característica única, una característica que no se observa en la escena de fondo.

Como alternativa, y tal como se muestra en el diagrama de bloques ilustrado en la Figura 29, se pueden emplear una pluralidad de medios 108 - 110 de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo y llevar a cabo una serie de procesamientos similares, o bien procesar cuadros de imagen de vídeo en una secuencia temporal a partir de la pluralidad de medios 108 - 110 de entrada de imagen de vídeo. Los medios 108 - 110 de entrada de imagen de vídeo pueden dar soporte a un mecanismo que permita panorámicas, inclinaciones, acercamientos o alejamientos, o desplazamientos. En tal caso, es posible llevar a cabo una serie de procesamientos similares para seleccionar una característica única mientras se efectúa el control de la vista en ángulo de una cámara.

A continuación se explicará un efecto de la quinta realización.

Gracias a que la característica única y el marcador se generan por observación durante un período de tiempo prolongado, o con un amplio abanico de vistas bajo distintos ángulos, se puede mejorar la robustez de la característica invariante. Al hacer que una pluralidad de cuadros de imagen de vídeo compartan un espacio de invariantes común, se contribuye a reducir los recursos computacionales requeridos en el procesamiento para generar y detectar un marcador. Incluso en el caso de que un objeto que efectúa un movimiento que no es rígido, por ejemplo una persona o un animal, esté presente en el fondo, es posible generar un marcador estable por observación durante un período de tiempo prolongado o bajo múltiples ángulos de visión.

A continuación se explicará con detalle una sexta realización que no forma parte de la presente invención, haciendo referencia a los dibujos adjuntos.

Se explicarán con detalle, haciendo referencia a las Figuras 26 y 29, las secciones 22, 23 de detección de marcador gráfico. La presente realización se refiere a un método para detectar un patrón de marcador a partir de una escena de imagen de vídeo, y la presente realización es similar a la sección 11 de detección de marcador gráfico en las realizaciones primera y tercera, salvo por que se incluyen medios 107 de control de entrada de imagen de vídeo. Lo mismo vale para la sección 23 de detección de marcador gráfico en la Figura 29, salvo por que se incluyen una pluralidad de medios 108 - 110 de entrada de imagen de vídeo.

Los medios 107 de control de entrada de imagen de vídeo imparten a los medios 100 de entrada de imagen de vídeo la orden de realizar una entrada de imagen de vídeo a partir de una imagen de vídeo para la cual se ha de detectar un marcador, con tiempos de comienzo y de final determinados y con intervalos de tiempo determinados. La orden se puede impartir manualmente a través de estos medios. Después de ello, los medios 100 de entrada de imagen de vídeo, los medios 101 de extracción de característica, los medios 106 de conversión a característica invariante, los medios 105 de almacenamiento de marcador y los medios 200 de comprobación de marcador funcionan de manera similar a los de las realizaciones mencionadas en lo que antecede, con el fin de detectar un marcador de manera secuencial o detectar un grupo de marcadores en todas las imágenes.

A continuación se explicará con detalle un funcionamiento global de la presente realización, haciendo referencia a la Figura 26, a la Figura 29 y al diagrama de flujo mostrado en la Figura 28.

En primer lugar, los pasos A2 hasta B2 de la Figura 28 operan sobre una escena de imagen de vídeo en la que se ha de detectar un marcador, de manera similar a los de las realizaciones segunda o cuarta. Sin embargo, la entrada de un cuadro de imagen de vídeo (paso A8) se efectúa de manera continua o intermitente en respuesta a la orden procedente de los medios 107 de control de entrada de imagen de vídeo. Tras la entrada del cuadro, los pasos efectúan un procesamiento similar al de las realizaciones primera o tercera. En lugar de generar una notificación cuando se detecta un marcador en un determinado cuadro en el paso B1, se pueden rastrear las circunstancias de detección y, como resultado de la observación sobre múltiples cuadros, solamente puede ser emitido como salida un marcador que haya sido observado en una pluralidad de escenas.

Como alternativa, y tal como se muestra en el diagrama de bloques ilustrado en la Figura 29, se pueden emplear una pluralidad de medios 108 - 110 de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo y realizar una serie de procesamientos similares, o bien procesar cuadros de imagen de vídeo en una secuencia temporal a partir de la pluralidad de medios 108 - 110 de entrada de imagen de vídeo. Los medios 108 - 110 de entrada de imagen de vídeo pueden dar soporte a un mecanismo que permita panorámicas, inclinaciones, acercamientos o alejamientos, o desplazamientos. En tal caso, es posible llevar a cabo una serie de procesamientos similares de detección de un marcador mientras se efectúa el control de la vista en ángulo de una cámara.

A continuación se explicará un efecto de la sexta realización.

Gracias a que la detección de marcador se efectúa durante un período de tiempo prolongado, o con un amplio abanico de vistas bajo distintos ángulos, se puede mejorar la robustez de la detección de marcador. Al hacer que una pluralidad de cuadros de imagen de vídeo compartan los medios de almacenamiento de marcador comunes, se contribuye a reducir los recursos computacionales requeridos en el procesamiento para detectar un marcador. En caso de que el marcador esté acoplado a un objeto que efectúa un movimiento no rígido, por ejemplo una persona o un animal, o en caso de que esté presente en el fondo un objeto que efectúa un movimiento no rígido, es posible detectar de manera estable, por observación durante un período de tiempo prolongado o bajo múltiples ángulos de visión, solamente el marcador.

Ejemplo 2

A continuación se explicará un funcionamiento de los mejores modos de llevar a cabo la realización, haciendo referencia a un ejemplo particular.

En primer lugar se explicará de manera particular una operación de diseño de un marcador. Para una escena de imagen de vídeo tal como la mostrada en la Figura 30, se generan grupos de puntos de característica, indicados por los círculos que se muestran en la Figura 31. En lo que sigue se explicará una operación ilustrativa de seleccionar una característica única a partir de un espacio de características invariantes cuantizado. La Figura 32 muestra una cuadrícula que tiene 8x8 celdas, obtenida al establecer una correspondencia de grupos de puntos de característica sobre un espacio de invariantes, y cuantizando, a partir del resultado, el espacio de invariantes. En la Figura 32, una celda sin rellenar de la cuadrícula indica una frecuencia de aparición distinta de cero, es decir, indica que dentro de la celda de la cuadrícula está presente una proyección de un punto de característica, y una celda llena de la cuadrícula indica una celda de cuadrícula que tiene una frecuencia de aparición cero. Según la primera realización, a partir de las celdas llenas de la cuadrícula se selecciona una característica única. En la Figura 33 se muestra un ejemplo en el cual se define como característica única el centro de una celda llena de la cuadrícula. En este ejemplo están incluidas en la característica única bases en el espacio de características invariantes, es decir, puntos (0, 0), (1,0), (0, 1). Sin embargo, los puntos pueden estar excluidos. Después se generan patrones de marcador ilustrativos a partir de los grupos de puntos de característica única resultantes, de acuerdo conforme a los cuatro métodos de generación explicados en la primera realización, que se muestran en las Figuras 34 - 37.

A continuación se explicará en particular una operación de detección de marcador. La descripción que sigue se basará sobre un procedimiento para detectar de manera rápida y estable el marcador mostrado en la Figura 37, a partir de una escena de imagen de vídeo que incluye el marcador, tal como se muestra en la Figura 38. En la Figura 39 se muestra un resultado de extracción de característica en esta escena. Además, se establece una correspondencia del resultado sobre un espacio de características invariantes, y se cuantiza para obtener una cuadrícula que presenta celdas sobre las cuales se han hecho corresponder puntos de característica, y que han sido rellenadas, mostrándose en la Figura 41 el resultado de ello. En caso de que no esté presente el marcador, el mapa de los puntos de característica es el mostrado en la Figura 40. Por lo tanto, en caso de que existan puntos de característica en celdas de la cuadrícula (la parte rayada en los recuadros dotados de línea gruesa en la Figura 41) en las que, de no ser así, no debería existir, con arreglo al fondo, ninguna correspondencia, se puede decidir que el marcador está presente.

Cuando se emplean una pluralidad de tipos de marcador, se pueden almacenar con arreglo a cada patrón de marcador ("A", "H" y "B" son ejemplos de marcador) los círculos o las celdas rayadas de la cuadrícula de la Figura 42, y se puede utilizar como resultado de la detección el marcador para el cual se han obtenido las correspondencias más similares, es decir, un mayor número de correspondencias, en la proximidad de las celdas de la cuadrícula sujetas a detección, o en ellas (Figura 43).

A continuación se explicará otra realización que no forma parte de la presente invención.

En esta realización se explicará un ejemplo en el cual se aplica la técnica de marcador y de detección a una técnica para detección de RFID. La Figura 44 es un diagrama para explicar esta realización.

A un RFID 300 se le ha acoplado sobre el mismo un marcador 301 de la presente invención. El RFID 300 es detectado por un aparato 302 detector de RFID, y el marcador 301 es detectado por un aparato 303 detector de marcador, proporcionado por separado del aparato 302 detector de RFID. Debe señalarse que el aparato 303 detector de marcador tiene una configuración similar a la de la sección 20 de detección de marcador descrita más arriba. Se proporcionan como entrada a una sección 304 de comparación el resultado de la detección por el aparato 302 detector de RFID y el del aparato 303 de detección de marcador, para comparar los resultados de la detección. Cuando se aplica esta configuración a la gestión logística con la que se administran artículos que pasan por una puerta predefinida, a cada artículo se le ha acoplado un RFID 300 que tiene un marcador 301. El aparato está configurado para realizar, cuando el artículo pasa a través de la puerta, tanto la detección del RFID 300 por el aparato 302 detector de RFID como la detección del marcador 301 por el aparato 303 detector de marcador. Comparando después entre sí, en la sección 304 de comparación, los resultados de la detección, se puede mejorar la precisión en la detección del artículo. Aunque en el ejemplo precedente se ha explicado un caso en el cual el marcador 301 está acoplado al RFID 300, la presente invención no está limitada a ello, y el marcador 301 y el RFID 300 pueden estar acoplados por separado al artículo, o bien se puede hacer que el papel de envoltorio del artículo sea un marcador conforme a la presente invención, y utilizarlo como se ha descrito en lo que antecede.

La presente solicitud reclama prioridad basándose en la solicitud de patente japonesa n.° 2007-12134, presentada el 23 de enero de 2007, y en la solicitud de patente japonesa n.° 2008-3950, presentada el 11 de enero de 2008. [APLICABILIDAD EN LA INDUSTRIA]

La presente invención puede ser aplicada a los ámbitos de la observación y el seguimiento de imágenes de vídeo, tales como los representados por la gestión de artículos y la seguridad física. También se puede aplicar a los ámbitos de la visión robotizada, UI de realidad mixta, generación de contenidos, y similares.

Claims

REIVINDICACIONES

1. Un sistema de generación de marcador que comprende:

medios (100) de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo; medios (101) de extracción de característica para extraer características de imagen representadas por valores de luminancia o de crominancia a partir de la imagen de vídeo;

medios (102) de almacenamiento de característica para calcular y almacenar una distribución de frecuencias de aparición de las características de imagen extraídas;

medios (103) de selección de característica única para seleccionar al menos una característica única que tiene una frecuencia de aparición cero, a partir de la distribución calculada de frecuencias de aparición de las características de imagen extraídas; y

medios (104) de generación de marcador para imprimir un patrón de marcador empleando una pintura correspondiente a los valores de luminancia o de crominancia que corresponden a la al menos una característica única.

2. Un sistema de generación de marcador según la reivindicación 1, en donde dichos medios (100) de entrada de imagen de vídeo son capaces de efectuar panorámicas, inclinaciones, acercamientos o alejamientos, o desplazamientos.

3. Un sistema de generación de marcador según la reivindicación 1 o 2, que comprende medios de control de entrada de imagen de vídeo para proveer tiempos de comienzo y de final entre los cuales se proporciona como entrada una imagen de vídeo a dichos medios (100) de entrada de imagen de vídeo, y un tiempo en el cual se efectúa obtención de imagen.

4. Un método de generación de marcador que comprende:

proporcionar como entrada una imagen de vídeo;

extraer características de imagen representadas por valores de luminancia o de crominancia a partir de la imagen de vídeo;

calcular y almacenar una distribución de frecuencias de aparición de las características de imagen extraídas; seleccionar al menos una característica única que tiene una frecuencia de aparición cero, a partir de la distribución calculada de frecuencias de aparición de las características de imagen extraídas; e

imprimir un patrón de marcador empleando una pintura correspondiente a los valores de luminancia o de crominancia que corresponden a la al menos una característica única.