ES2370893T3 - Sistema y procedimiento para el seguimiento de un objetivo en un video e información relacionada con el mismo. - Google Patents

Abstract

Procedimiento implementado por ordenador para el seguimiento automático de un objeto de píxeles o vídeo en una serie de fotogramas de vídeo en un modo de desarrollo, que incluye las siguientes etapas: determinar una posición de un objeto de píxeles seleccionado en un fotograma de la serie de fotogramas de vídeo que tiene un contenido de vídeo; determinar un valor de color para dicho objeto de píxeles; y seguir automáticamente el objeto de píxeles seleccionado en la serie de fotogramas de vídeo, caracterizo por definir en cada fotograma de la serie de fotogramas de vídeo una caja delimitadora que rodea el objeto de píxeles seleccionado, que incluye las etapas: (a) determinar una gama de color variable inicial de dicho objeto de píxeles seleccionado; (b) tomar muestras de los píxeles en un primer radio predeterminado respecto a dicho objeto de píxeles seleccionado; (c) localizar los píxeles en la muestra de la etapa (b) dentro de dicha gama de color variable inicial que define los píxeles localizados; (d) determinar una segunda gama de color variable a partir de dichos píxeles localizados, para compensar las variaciones en las variables de color; (e) tomar muestras de píxeles en un segundo radio de píxeles predeterminado en relación con dicho objeto de píxeles seleccionado, mayor que dicho primer radio de píxeles determinado; (f) localizar los píxeles en la muestra de la etapa (e) de dicho segunda gama de color variable; (g) determinar una tercera gama de color a partir de dicho píxeles localizados en la etapa (f), para compensar también las variaciones en las variables de color; (h) localizar los píxeles en la muestra de la etapa (e) en dicho tercer rango de color; (i) determinar el centroide y las coordenadas de una caja delimitadora alrededor de los píxeles localizados en la etapa (h); (j) almacenar el centroide y las coordenadas determinadas en la etapa (i), y (k) repetir las etapas (b) - (j) empezando en el centroide de la caja delimitadora del fotograma anterior usando la gama de color variable anterior hasta que todos los fotogramas de la secuencia de vídeo han sido procesados; y también caracterizado por la etapa: generar un archivo de vídeo enlazado que está separado de dicho contenido de vídeo, comprendiendo dicho archivo de vídeo enlazado (i) un archivo de píxeles que identifica las coordenadas de la caja delimitadora en cada fotograma y los fotogramas posteriores; y (ii) un archivo de objetos de datos que enlaza las coordenadas de la caja delimitadora con los objetos de datos.

Description

Sistema y procedimiento para el seguimiento de un objetivo en un vídeo e información relacionada con el mismo

Antecedentes de la invención

1. Campo de la invención

La presente invención se refiere a un sistema de vídeo interactivo y más particularmente a un sistema y a un procedimiento para la creación y reproducción de vídeo interactivo. En un modo de desarrollo de operación, el sistema sigue de manera automática un objeto de píxeles en una secuencia de vídeo que ha sido seleccionado en un fotograma del vídeo y genera uno o más archivos de vídeo enlazados representativos de la posición del objeto seleccionado en todos los fotogramas en la secuencia, junto con enlaces a objetos de datos para su uso en combinación con un sistema de vídeo interactivo. En un modo de reproducción de operación, el sistema permite que los objetos de píxeles se seleccionen durante la reproducción posterior de los fotogramas de vídeo con un dispositivo señalador, tal como un ratón, proporcionando acceso a datos de objetos enlazados.

2. Descripción de la técnica anterior

Hay una tendencia hacia el vídeo interactivo para diversos fines comerciales, educativos y de entretenimiento. Para proporcionar esta interactividad, los productores de contenido de vídeo necesitan vincular varios objetos de vídeo o de píxeles deseados en cada uno de los fotogramas del vídeo del contenido del vídeo con objetos de datos, tales como páginas web. Con el fin de proporcionar enlaces para los objetos de píxeles seleccionados en los diferentes fotogramas de vídeo, es conocido que los productores de contenido de vídeo implementen técnicas de procesamiento de imágenes para vincular los objetos de píxeles seleccionados en cada uno de los diferentes fotogramas de vídeo a otras plataformas. Ambas técnicas de procesamiento de imágenes manual y automático son conocidas.

Ejemplos de sistemas en los que los enlaces se “realizan” de forma manual se describen en las patentes US Nº 5.774.666, 6.076.104 y 5.929.849. En general, las técnicas manuales de procesamiento de imágenes incluyen la edición de cada fotograma de vídeo en una secuencia de vídeo y la incorporación manual de enlaces o puntos calientes en cada uno de los fotogramas de los objetos de píxeles deseados. Dicha tarea requiere mucha mano de obra y, por lo tanto, es muy costosa de implementar. Por ejemplo, un programa de televisión de 30 minutos se sabe que incluye 22 minutos de contenido de vídeo y 8 minutos de inserciones publicitarias. Con una tasa de reproducción de 30 fotogramas por segundo, los 22 minutos de contenido de vídeo se componen de (30 fotogramas/segundo x 60 segundos/minuto x 22 minutos) 39.600 fotogramas. Con el fin de proporcionar la capacidad para la interactividad, un productor de contenido de vídeo, por lo tanto, tendría que editar 39.600 fotogramas para una emisión de 22 minutos e incluir enlaces en cada uno de los fotogramas de uno o más objetos diferentes. Como se mencionó anteriormente, esta tarea requiere mucha mano de obra y, por lo tanto, es relativamente cara.

Con el fin de mejorar el procesamiento de imágenes de contenido de vídeo para proporcionar interactividad al proporcionar enlaces a diversos objetos en los fotogramas de vídeo, han sido desarrollados sistemas automáticos de procesamiento de imágenes que son capaces de rastrear automáticamente un objeto en una secuencia de fotogramas de vídeo y vincular los objetos de píxeles a otras plataformas. Ejemplos de tales sistemas de creación automática se describen en las patentes US Nº 6.205.231, 6.169.573 y 5.867.584.

La patente US Nº 6.169.573 se refiere a un sistema de seguimiento de objetos en una secuencia de fotogramas de vídeo que sigue los objetos en un formato comprimido con variables codificadas en contenido de vídeo comprimido MPEG. Desafortunadamente, el sistema descrito en la patente '573 sólo es útil para el seguimiento de objetos en formato MPEG y no es adecuado para su uso con contenido de vídeo en un formato sin compresión o formato de vídeo, tal como. .mov.

La patente US Nº 6.205.231 describe un sistema de procesamiento de imágenes que es capaz de seguir automáticamente un objeto en una secuencia de fotogramas de vídeo. El sistema descrito en la patente ‘231 incorpora técnicas conocidas de procesamiento de imágenes para el seguimiento de un borde de un objeto en función de su color o las características de luminosidad. El sistema descrito en la patente ‘231 “marca” los objetos seleccionados en la secuencia de fotogramas de vídeo que permite que las etiquetas y, por lo tanto, el objeto seleccionado se vinculen a otras plataformas, tales como sitios web.

Hay varios problemas con el sistema tal como se describe en la patente '205, tal como el seguimiento inexacto del objeto de píxeles. En particular, los sistemas de procesamiento de imágenes, tal como se describe en la patente '231 localizan objetos de píxeles en una imagen de vídeo mediante la localización de los píxeles que tienen un valor variable de un color determinado. Por desgracia, los valores de la variable del color de un objeto pueden cambiar de una escena a otra debido a los efectos de iluminación o debido a los efectos de la descompresión. El sistema descrito en la patente '205 no compensa estos cambios y, por lo tanto, no es capaz de seguir con precisión los objetos de píxeles en una secuencia de fotogramas de vídeo. Además, la incorporación de marcas en el contenido del vídeo original es intensivo en recursos, que requieren plataformas de un nivel relativamente alto de computación.

45 E01975637 04-08-2011

La patente US Nº 5.867.584 se refiere también a un sistema de procesamiento de imágenes para el seguimiento de forma automática de objetos en una secuencia de fotogramas de vídeo. Este sistema trata de anticipar la posición del objeto seleccionado en las siguientes imágenes, generando una serie de fotogramas conectados virtuales a lo largo de una trayectoria predeterminada anticipada del objeto de píxeles en las siguientes imágenes y la comparación de las variables de los píxeles dentro de las ventanas de la trayectoria anticipada con la ventana de prueba original. Como tal, el sistema descrito en la patente '584 es intensivo en recursos. Además, el sistema utiliza técnicas de procesamiento de imágenes conocidas sobre la base de la característica de la intensidad de los píxeles dentro de las ventanas. Como tal, el sistema descrito en la patente '584 no tiene en cuenta los cambios en el brillo y los cambios en el color debidos a los efectos de iluminación dentro de la imagen y, por lo tanto, es incapaz de hacer un seguimiento preciso de un objeto en una secuencia de fotogramas de vídeo. Por lo tanto, hay una necesidad de un sistema de procesamiento de imágenes para el seguimiento de forma automática de un objeto seleccionado en una secuencia de fotogramas de vídeo que sea capaz de un seguimiento bastante preciso del objeto y que no consuma muchos recursos.

Descripción de la invención

La presente invención se refiere a un sistema de procesamiento de imágenes para su uso en el desarrollo y la reproducción de vídeo interactivo. En un modo de desarrollo de la operación, los objetos de píxeles o de vídeo se seleccionan en un fotograma mediante una interfaz gráfica de usuario de desarrollo. El sistema de seguimiento automático de los objetos de píxeles seleccionados en los fotogramas de vídeo anterior y posterior mediante la determinación de los límites del rango para las diferentes variables de color del objeto de píxeles seleccionado para compensar los efectos de los cambios de iluminación y los efectos de la descompresión. El sistema localiza automáticamente los objetos de píxeles dentro de los límites del rango calculado en los fotogramas de vídeo anterior y posterior y genera un archivo de objetos de píxeles que identifica las coordenadas del objeto de píxeles seleccionado en cada fotograma. El archivo de objetos de píxeles está enlazado a un archivo de objetos de datos que conecta los objetos de píxeles seleccionado con objetos de datos. El archivo de objetos de píxeles y el archivo de objetos de datos, de manera colectiva “archivos de vídeo enlazados”, se crean durante un modo de desarrollo de operación. En un modo de reproducción de operación, los archivos de vídeo enlazados se importan a una plataforma de alojamiento de vídeo que incluye una aplicación de reproducción de vídeo y un reproductor de medios comunes de aplicación interfaz de programación (API) para la reproducción de los contenidos de vídeo. La aplicación de reproducción de vídeo es compatible con el procesamiento de los archivos de vídeo enlazados para permitir que los objetos de píxeles sean seleccionados por un dispositivo de señalización y relacionados con los objetos de datos a través de una interfaz gráfica de usuario del lado del cliente.

Descripción de los dibujos

Estas y otras ventajas de la presente invención se comprenderán fácilmente con referencia a la siguiente memoria y al dibujo adjunto, en el que:

La figura 1 es un diagrama de bloques de un sistema de vídeo interactivo de acuerdo con la presente invención.

La figura 2 es una captura de pantalla de una interfaz gráfica de usuario de desarrollo para su uso en un modo de desarrollo en el sistema de vídeo interactivo de acuerdo con la presente invención.

La figura 3 es una captura de pantalla de una interfaz gráfica de usuario del lado del cliente para su uso en un modo de reproducción del sistema de vídeo interactivo de acuerdo con la presente invención.

La figura 4 es un diagrama de nivel de sistema de software de una porción de procesamiento de imágenes de la invención.

La figura 5 es un diagrama de flujo de software de una aplicación de extracción de fotogramas, de conformidad con la presente invención.

Las figuras 6A y 6B son diagramas de flujo de la porción de captura de objetos de píxeles del sistema de procesamiento de imágenes de acuerdo con la presente invención.

La figura 7 es un diagrama de flujo de la porción de seguimiento automático del sistema de procesamiento de imágenes, de acuerdo con la presente invención.

La figura 8 ilustra el seguimiento automático de un fotograma de ejemplo de color rojo sobre un fondo azul para dos fotogramas sucesivos.

La figura 9 es un diagrama de flujo que muestra cómo asociar el color de un objeto con un evento de acuerdo con una realización de la presente invención.

La figura 10 es un diagrama de flujo que muestra la forma de definir las características de color de un objeto según una realización de la presente invención.

La figura 11 es un diagrama de flujo que muestra la forma de definir las características de color de un objeto de 3

55 E01975637 04-08-2011

acuerdo con otra realización de la presente invención.

La figura 12 es un diagrama de flujo que muestra la forma de definir las características de color de un objeto de acuerdo con otra realización de la presente invención.

La figura 13 es un diagrama de flujo que muestra cómo asociar el color de un objeto con un evento mediante una tabla de acuerdo con una realización de la presente invención.

La figura 14 es un entorno de ejecución de ordenador en el que una o más realizaciones de la presente invención pueden ser implementadas.

La figura 15 muestra una realización de la presente invención, donde se utiliza la memoria intermedia de fotogramas.

La figura 16 muestra una realización de la presente invención en la se utilizan gamas de colores.

Descripción detallada de la invención

La presente invención se refiere a un sistema y a un procedimiento para proporcionar interactividad a distintos tipos de contenido de vídeo, tales como contenido de vídeo streaming y contenido de vídeo bajo demanda, por ejemplo, de un reproductor de DVD. En un modo de desarrollo de operación, la presente invención incluye un sistema de procesamiento de imágenes para el seguimiento automático de un objeto de píxeles, seleccionado en un fotograma de una secuencia de fotogramas de vídeo, en los fotogramas de vídeo anterior y posterior con el propósito de vincular el objeto seleccionado a uno o más datos de objetos, tal como un localizador uniforme de recursos, información de superposición fija, un enlace de vídeo streaming, un enlace de interacción de bases de datos o la plataforma de otros recursos (en adelante “objeto de datos”). De acuerdo con un importante aspecto de la invención, el sistema de procesamiento de imágenes compensa los cambios en el brillo y los cambios de tono en una base de fotograma a fotograma, debido a los efectos de iluminación y los efectos de la descompresión mediante la determinación de los límites del rango de diferentes valores variables del color, tales como el tono (H), rojo - verde (R-G), verde - azul (G-B) y el valor de saturación2 (SV2) para proporcionar un seguimiento relativamente preciso de un objeto de píxeles. Además, a diferencia de algunos sistemas de procesamiento de imágenes conocidos, el sistema de procesamiento de imágenes que forma parte de la presente invención no incrusta etiquetas en el contenido de vídeo. En lugar del sistema, de acuerdo con la presente invención, se generan archivos de vídeo relacionados, que identifican las coordenadas en píxeles del objeto de píxeles seleccionado en cada fotograma de vídeo, así como enlaces de datos de objetos asociados a cada objeto de píxeles. Los archivos de vídeo enlazados se exportan a una plataforma de reproducción que incluye una aplicación de visualización de vídeo que soporta la reproducción de contenido de los esquemas de compresión diferentes, tales como los utilizados por los diferentes reproductores de medios comúnmente conocidos, tales como Real Player, Windows Media Player y Quick Time, y permite que los objetos de píxeles sean seleccionados durante la reproducción con un dispositivo señalador tal como un ratón, que permite el acceso a los objetos de datos enlazados. La aplicación de reproducción de vídeo puede ser alojada en una plataforma de alojamiento de vídeo o residir directamente en una plataforma de reproducción.

Interfaces gráficas de usuario (GUI) se pueden proporcionar para facilitar el desarrollo de archivos de vídeo enlazados en un modo de desarrollo de la operación, así como para facilitar la reproducción en un modo de reproducción de la operación. En particular, una GUI de desarrollo, por ejemplo, tal como se ilustra en la figura 2, se puede utilizar para facilitar el procesamiento del contenido de vídeo original, ya sea un proveedor de contenido de vídeo o un proveedor de servicios de aplicaciones, el desarrollo de los archivos de vídeo enlazados tal como se mencionó anteriormente. Un lado de cliente o interfaz gráfica de usuario de reproducción, por ejemplo, tal como se ilustra en la figura 3, se pueden proporcionar para facilitar la reproducción.

Varias realizaciones de la invención se contemplan. Por ejemplo, con referencia a la figura 1, la invención puede ser implementada a través de una plataforma de recursos, que se muestra en la caja de líneas discontinuas 20, formada por uno o más servidores o estaciones de trabajo, que pueden constituir un proveedor de servicios de aplicaciones o puede ser parte de la productora de contenido de vídeo. En esta implementación, una fuente de contenido de vídeo 22, por ejemplo, una fuente bajo demanda de, por ejemplo, un reproductor de DVD o fuente de vídeo streaming de un productor de contenido de vídeo, se transfiere a la plataforma de recursos 20, la cual, a su vez, procesa los contenidos de vídeo 22 y enlaza los objetos de píxeles seleccionados del contenido de vídeo 22 con objetos de datos y genera archivos de vídeo relacionados 24.

La plataforma de recursos 20 se utiliza para soportar un modelo de desarrollo de operación en el que los archivos de vídeo enlazados 24 se crean a partir del contenido de vídeo original 22. Tal como se muestra en la figura 1, la plataforma de recursos 20 puede incluir una plataforma de recursos de computación de ejemplo 26 y una plataforma de computación de soporte de procesamiento de vídeo 28. La plataforma de computación de recursos 26 incluye una aplicación de objetos de captura de píxeles 30, una aplicación de enlace de vídeo 32 y genera los archivos de vídeo enlazados 24 tal como se mencionó anteriormente. La aplicación de captura de objetos de píxeles 30 se utiliza para capturar un objeto de píxeles seleccionado en un fotograma de contenido de vídeo 22. La aplicación de enlace de vídeo 32 sigue de forma automática el objeto de píxeles seleccionado en los fotogramas anteriores y sucesivos de la secuencia de vídeo y los enlaza con los objetos de píxeles para los objetos de datos a través de un archivo de

55 E01975637 04-08-2011

objeto de píxeles y el archivo de datos de objetos, denominados colectivamente como archivos de vídeo enlazados

24.

La plataforma de computación de recursos 22 puede estar configurada como una estación de trabajo con dos procesadores de 1,5 GHz, 512 megabits de memoria DRAM, un disco duro de 60 gigabits, una unidad DVD-RAM, una pantalla, por ejemplo, una pantalla de 21 pulgadas; una tarjeta Ethernet de 100 megabits, un dispositivo de hardware para la codificación de vídeo y varios dispositivos de entrada estándar, tal como una tableta, el ratón y el teclado. La plataforma de computación de recursos 26 preferentemente se proporciona con software de terceros para el hardware.

La plataforma de computación de soporte de procesamiento de vídeo 28 incluye una base de datos de información mostrada 34 y una base de datos de colocación de productos 36. La base de datos de información mostrada 34 incluye la identificación relativa al contenido de vídeo, tales como nombre del programa, el número de episodio y otros similares. La base de datos de la colocación de los productos 36 incluye los datos relativos a los diferentes objetos de datos, tales como direcciones de sitios web, que estarán conectados a los objetos de píxeles seleccionados. La base de datos de información mostrada 34, así como la base de datos de la colocación de los productos 36 puede alojarse en la plataforma de computación de soporte de procesamiento de vídeo 28 o puede ser parte de la plataforma de computación de recursos 26.

De acuerdo con un importante aspecto de la invención, los archivos de vídeo enlazados 24 se crean por separado a partir del contenido del vídeo original 22 y son susceptibles de ser exportados a una plataforma de alojamiento de vídeo 38 para su uso durante un modo de reproducción de la operación. La plataforma de alojamiento de vídeo 38 incluye una interfaz de programación de aplicación de reproductores de medios comunes (API) 40 y una aplicación de reproducción 42 para permitir la reproducción de contenido de vídeo, ya sea streaming o bajo demanda con interactividad. En particular, la aplicación de reproducción de vídeo 42 permite que los objetos de píxeles que se seleccionen durante la reproducción del contenido de vídeo de un dispositivo de entrada estándar, tal como un ratón, y enlazado a los objetos de datos, por ejemplo, las plataformas de otros recursos.

Tal como se muestra en la figura 1, la plataforma de alojamiento de vídeo 38 se muestra independiente de la plataforma de reproducción 43, que puede ser una plataforma de computación personal o incluso un módulo de conexión. Por otra parte, la plataforma de alojamiento de vídeo 38 puede estar incluida dentro de la plataforma de reproducción 43. La plataforma de alojamiento de vídeo 38 puede ser, por ejemplo, una plataforma de computación personal.

Modo de desarrollo de la operación

El modo de desarrollo de la operación se explica con referencia a las figuras 4 a 8. Volviendo a la figura 4, una fuente de vídeo, tal como por ejemplo, una fuente de vídeo streaming, por ejemplo, de Internet o de una fuente de vídeo bajo demanda, tal como un reproductor de DVD, es importada mediante la aplicación de captura de objetos de píxeles 30 (figura 1) que captura, por ejemplo, 12 fotogramas por segundo del contenido de vídeo 20 y lo convierte en un archivo de mapa de bits 44. En particular, el contenido del vídeo 22, por ejemplo, en el formato MPEG, se descomprime usando un software de dominio público decodificador, disponible en el sitio web de MPEG (www.mpeg.org) desarrollado por el grupo de software de simulación de MPEG, por ejemplo, MPEG 2 DEC, una aplicación ejecutable decodificadora MPEG 2. Como es sabido en la técnica, el software decodificador MPEG decodifica un archivo MPEG antes de proporcionar toda la información global sobre el propio archivo. Dado que el contenido de vídeo debe ser identificado por el fotograma para el uso de la aplicación de captura de los objetos de píxeles 30 y la aplicación de enlace de vídeo 32, la información sobre el fotograma se puede leer desde el archivo MPEG decodificado una vez que todos los fotogramas han sido decodificados o, alternativamente, determinado mediante una aplicación de extracción de fotogramas que almacena la información sobre el fotograma de un búfer de memoria cuando el archivo MPEG se está cargando en la aplicación de captura de píxeles 30, tal como se ilustra en la figura 5 y se describe a continuación.

Aplicación de extracción de fotogramas

La aplicación de extracción de fotogramas se ilustra en la figura 5 y se describe a continuación. Con referencia a la figura 5, el archivo MPEG se importa en la aplicación de captura de los objetos de píxeles 30 en formato comprimido en la etapa 46. En esta realización, la aplicación de captura del objeto de píxeles 30 trabaja en conjunto con el software decodificador MPEG estándar, tal como se ilustra en la figura 5 para evitar tener que esperar hasta que todo el archivo se decodifique antes de obtener la información sobre el fotograma. Mientras que el archivo MPEG se está importando, la aplicación de captura de objetos de píxeles 30 lee los archivos de cabecera de los datos MPEG en la etapa 48 y almacena los datos en relación con el tipo de fotograma individual y la localización en un búfer de memoria en la etapa 50. Como tal, el sistema de captura de objetos de píxeles 30 es capaz de decodificar imágenes seleccionadas del archivo MPEG comprimido, sin necesidad de decodificar todos los fotogramas previos en la etapa

52. Basándose en la información almacenada en el fotograma de memoria intermedia en la etapa 50, los archivos MPEG decodificados luego se pueden convertir en un archivo de mapa de bits 44 (figura 4), tal como se mencionó anteriormente en la etapa 54.

55 E01975637 04-08-2011

Aplicación de salto de sección

La aplicación de captura de objeto de píxeles 30 opcionalmente puede estar provista de una aplicación de salto de sección 55 (figura 4) para facilitar el procesamiento posterior y ayudar en partición de los contenidos entre varios usuarios. La aplicación de salto de sección 55 analiza el contenido de vídeo durante la carga. Los datos de salto de sección se almacenan en un búfer temporal 56 (figura 4) y se utiliza para el análisis del objeto de píxeles de una imagen seleccionada y procedimiento y los fotogramas exitosos mediante la aplicación de captura de objetos píxeles 30 y aplicación de enlace de vídeo 32.

La aplicación de salto de sección 55 analiza automáticamente el contenido de vídeo para determinar cómo los cambios de luz afectan a los valores RGB creando grandes cambios en estos valores. En particular, se calcula el promedio de la mediana de los valores de píxeles de una serie de fotogramas. La aplicación de salto de sección 55 compara los cambios en los valores de los píxeles con la media de la mediana. Un salto de sección se puede determinar que es un cambio de aproximadamente 5 veces más en los valores de los píxeles de la media de la mediana. Estos saltos de sección se almacenan en un búfer 56, tal como una serie de números que representan el fotograma secuencial (fotograma de inicio, fotograma final), donde cada fotograma de inicio es igual al fotograma de procedimiento, más un fotograma hasta el final del vídeo. Esta información puede ser editada a través de la interfaz gráfica de usuario 60 (figura 2), descrita a continuación. Si se realizan cambios en los números de fotograma correspondiente a los saltos de sección, la nueva información se envía a la memoria búfer de salto de sección 56 (figura 4), donde se sustituye la información original.

Tal como se describirá en detalle más adelante, los fotogramas en el contenido de vídeo se analizan para un objeto de píxeles seleccionado durante una sesión con la aplicación captura de objetos de píxeles 30 (figura 1). Un objeto de píxeles se puede seleccionar en cualquier fotograma de una secuencia de vídeo 57 (figura 4). La aplicación de enlace de vídeo 32 procesa los fotogramas anterior y posterior 59 mediante el seguimiento de forma automática del objeto de píxeles seleccionado y la generación de archivos de vídeo enlazados 24 para todo un segmento definido por la aplicación de salto de segmento, o para una longitud de fotogramas determinados por el operador. El segmento puede ser tan pequeño como una sola imagen o puede incluir todos los fotogramas en el contenido.

Interfaz gráfica de usuario de desarrollo

Con el fin de facilitar el desarrollo, una interfaz gráfica de usuario de desarrollo 60 puede proporcionarse, tal como se ilustra en la figura 2. Como se muestra, la interfaz gráfica de usuario de desarrollo 60 incluye una ventana de visualización 61 para la visualización de un fotograma de contenido de vídeo y un número de campos de datos de ejemplo para asociar la información con el contenido de vídeo.

Una ventana de visualización de ejemplo de la lista de colocación de productos 62 se utiliza para proporcionar una lista gráfica de todos los objetos de datos asociados con una secuencia de fotogramas de vídeo en particular. La ventana de visualización de la lista de la colocación de los productos 62 está poblada por la base de datos de la colocación de los productos 36 (figura 1). La lista de los objetos de datos se propaga en cualquier momento que se crea la interfaz gráfica de usuario de desarrollo 60 o se abre una interfaz gráfica de usuario existente 60.

Tal como se muestra en la figura 2, los objetos de datos disponibles se muestran en la ventana de visualización de la lista de colocación de los productos 62 como texto y/o iconos. Con el fin de facilitar la vinculación de los objetos de datos con los objetos de píxeles diferentes dentro de la secuencia de fotogramas de vídeo, los objetos de datos que se muestran en la ventana de visualización de la colocación de los productos 62 se pueden mostrar en diferentes colores. Por ejemplo, un color puede ser utilizado para objetos de datos que se han enlazado a los objetos de píxeles, mientras que un color diferente puede ser utilizado para objetos de datos que no han sido asignados a los objetos de píxeles. Dicha tecnología está dentro de los conocimientos ordinarios en la técnica, por ejemplo, según se describe en la patente US Nº 5.953.244, que se incorporan aquí por referencia.

Un campo de datos “Mostrar información” 64 también se puede proporcionar en la interfaz de usuario gráfica de desarrollo 60. El campo de datos de información que se muestra 64 está poblada por la base de datos de información que se muestra 34 y puede incluir diversos datos relacionados con la secuencia de fotogramas de vídeo, tal como el nombre de la compañía de producción, nombre del programa, el número/nombre del episodio, la fecha de emisión inicial y audiencias propuestas.

Un campo de datos “Información de colocación del producto” 65 y una pantalla asociada 66 también pueden proporcionarse. El área de la pantalla 66 es una imagen de tamaño reducido de la imagen que aparece en la pantalla 61. La campo de datos de la información de la colocación de los productos 65 son diversas informaciones sobre los objetos de datos almacenados en la base de datos de la colocación del producto 36 (figura 1) para un objeto de datos seleccionado. Por ejemplo, estos campos de objetos de datos de información de la colocación de los productos pueden incluir los siguientes campos: nombre del producto, descripción de la colocación, acción, por ejemplo, redirigir a otro servidor, dirección del servidor alternativo, un identificador del producto, un descriptor de localización, así como una pluralidad de campos de datos 70, 71 y 72 que indican las posiciones de los fotogramas de los objetos de datos en la pantalla de la lista de colocación de los productos 62 que se han enlazado a los objetos de píxeles. En particular, el campo de datos 70 indica el primer fotograma de la secuencia de fotogramas de vídeo

55 E01975637 04-08-2011

en el que el objeto de datos, identificado en el campo de datos de información de la colocación de los productos 65 enlazados a un objeto de píxeles. Del mismo modo, el campo de datos 71 identifica el último fotograma de la secuencia de fotogramas de vídeo en el que ha el objeto de datos se ha enlazado a un objeto de píxeles. Por último, el campo de datos 72 identifica el número total de fotogramas de la secuencia de fotogramas de vídeo en el que el objeto de datos seleccionado ha sido enlazado a objetos de píxeles.

Con el fin de facilitar la creación automática de la secuencia de fotogramas de vídeo, la interfaz gráfica de usuario de desarrollo 60 puede estar provista de un número de botones de control 73 a 80. Estos botones de control 73 a 80 son seleccionados por un dispositivo señalador como un ratón, y se conocen colectivamente como “herramientas de habilitación”. Un botón de control de “Alcance de ajuste” 73, cuando se selecciona, permite al usuario seleccionar un objeto de píxeles en la pantalla 61 mediante un dispositivo indicador. Una pantalla x, y 92 identifica la coordenadas X e Y dentro de la ventana de visualización 61 que corresponden a un clic del ratón realizado por el usuario en relación con la selección del objeto de píxeles en la pantalla de visualización 61.

Un botón de control de “ajustar primer fotograma” 76 permite que el primer fotograma de la secuencia de fotogramas de vídeo sea seleccionado por el usuario. Una vez que el botón “Ajustar primer fotograma” 76 se ha seleccionado, una serie de botones de control 82, 84 y 86, así como una barra de desplazamiento 88 se puede utilizar para avanzar o retroceder el fotograma que se muestra en la pantalla 61. Se proporciona una pantalla de contador 90 que identifica el fotograma seleccionado.

Una vez que el primer fotograma es seleccionado por el usuario, tal como se mencionó anteriormente, un botón “objeto unido” 75 puede ser seleccionado. El botón de objeto unido 75 hace que el sistema extraiga automáticamente un límite alrededor del objeto de píxeles seleccionado en base a técnicas del límite del borde de procesamiento imágenes como veremos a continuación. El límite puede tomar la forma de un objeto geométrico, como por ejemplo un cuadrado, un rectángulo o un círculo como se explica en más detalle a continuación en relación con la aplicación de captura de objetos de píxeles 30. Después de que un objeto inicial haya sido capturado, el botón de seguimiento de objeto 74 se puede seleccionar para iniciar el seguimiento automático o la creación del objeto de píxeles seleccionado en ambos fotogramas de procedimiento y exitoso. Como se verá en más detalle a continuación, los fotogramas de vídeo de las posiciones de los objetos de píxeles se utilizan para crear los archivos de vídeo enlazados 24.

Con el fin de facilitar el desarrollo del archivo de vídeo enlazado 24 pueden ser usados marcadores bajo el control de los botones de control 77 a 80. Los marcadores se utilizan para identificar el primer fotograma asociado con un marcador. Por ejemplo, se proporciona una ventana de la pantalla de marcador 94. El botón “Insertar Marcador” 77 se selecciona para marcar el primer fotograma enlazado a un objeto de píxeles específico. Los marcadores se pueden mostrar en texto e incluir una versión de tamaño reducido del fotograma marcado.

Los marcadores se pueden cambiar y borrar. El botón de “Cambiar Marcador” 78 permite cambiar un marcador. En particular, seleccionando el botón de “Cambiar Marcador” 78, el fotograma asociado con ese marcador se puede cambiar. Esto se puede hacer mediante el avance o la copia de seguridad de la secuencia de fotogramas de vídeo hasta el fotograma deseado en la pantalla 61. El marcador actual y la ventana de visualización de marcadores 94 podría cambiarse para referirse a una número de fotograma diferente, simplemente seleccionando el botón “Cambiar marcador” 78.

Un botón “Borrar marcador” 79 permite borrar los marcadores en la ventana de visualización de marcadores 94. Con el fin de eliminar un marcador, el marcador simplemente se destaca en la pantalla de marcador 94 y se selecciona el botón "borrar marcador" 79.

Un botón "mostrar marcador" 80 también se puede proporcionar. El botón “mostrar marcador” 80 controla la visualización de los marcadores en la ventana de visualización de marcadores 94. El botón "mostrar marcador” 80 puede estar provisto de una función de activación del tipo en el que un solo clic muestra los marcadores en la ventana de visualización de marcadores 94 y un clic posterior borra la ventana de visualización de marcadores 94.

Cada uno de los marcadores se muestra en una ventana de visualización del contenido del mapa 96. La ventana de visualización del mapa de contenido 96 muestra una representación lineal de todo el contenido con todos los marcadores que se muestran junto con los números de fotograma en el que aparecen los marcadores.

Aplicación de captura de objetos de píxeles

La aplicación de captura del objeto de píxeles 30 se inicia después de que la primera imagen es seleccionada por el usuario a través de la interfaz gráfica de usuario de desarrollo 60. En particular, después de los saltos de sección se determinan, el primer fotograma calculado del contenido se muestra en una ventana de visualización 61 en la interfaz gráfica de usuario 60. Una vez que este fotograma se ha cargado en la ventana de visualización 61, el usuario puede optar por especificar otro fotograma que se indique como primer fotograma. Esto se hace para asegurar que los fotogramas adicionales capturados con el contenido que en realidad no pertenecen al principio del contenido se pueden omitir. El usuario puede seleccionar un fotograma determinado como el primer fotograma tal como se mencionó anteriormente. El fotograma de vídeo seleccionado se cargará en la ventana de visualización para el análisis del fotograma 61 tal como veremos a continuación. El proceso de elección del primer fotograma sólo

60 E01975637 04-08-2011

se realiza una vez al principio del contenido del programa, no es necesario hacer esto al comienzo de cada sección.

Cuando la ventana de visualización 61 se carga con el contenido, la plataforma de computación de recursos 26 accede a la base de datos de información mostrada 34 y la base de datos de colocación del producto 36 (figura 1) para rellenar los diferentes campos de datos en la interfaz de usuario gráfica de desarrollo 60 (figura 2) tal como se mencionó anteriormente.

Una vez que el fotograma se ha cargado en la ventana de visualización 61 (figura 2) en la interfaz de usuario gráfica del desarrollo 60, los objetos de píxeles son seleccionados y capturados durante una sesión con la aplicación de captura de objetos de píxeles 30 (figura 1). La aplicación de vinculación de vídeo 32 sigue automáticamente los objetos de píxeles seleccionados en el fotograma anterior y posterior y genera archivos de vídeo relacionados 24, que vinculan los objetos de píxeles seleccionados con objetos de datos, almacenados en la base de datos de colocación de productos 38.

La selección y la captura de un objeto de píxeles se muestran en relación con la figura 6. En general, un objeto de píxeles está visualmente situado en la ventana de visualización 61 (figura 2) durante una sesión con la aplicación de captura de objetos de píxeles 30 mediante la selección de un píxel en una sola imagen que corresponde al objeto de píxeles deseado mediante un dispositivo señalador, junto a la plataforma de computación de recursos 26 (figura 1) y son procesados tal como se ilustra en la figura 6. El píxel seleccionado es capturado en la etapa 100. El píxel capturado se analiza en la etapa 102, ya sea para los valores RGB (rojo, verde, azul) o Tono. En la etapa 104, el sistema determina si se define el valor de matiz. Si es así, los límites del rango para el valor de matiz se determinan en la etapa 106. Alternativamente, el componente de valor variable de color RGB para el píxel seleccionado se puede calcular a lo largo de sus límites de rango en la etapa 108. La determinación inicial de los límites del rango de color o las variables de color RGB se determina, por ejemplo, ± 10 de la tonalidad o el valor de color variable RGB. Después de que se han determinado los límites del rango, ya sea para el color o las variables de color RGB, el sistema analiza los píxeles en un radio de 10 píxeles alrededor del píxel seleccionado para píxeles con los componentes de tono/valor dentro de los límites primer rango calculado en la etapa 110. Los píxeles que caen dentro de estos límites de rango son capturados para su posterior análisis. Los valores de rango para los píxeles capturados en la etapa 110 se calculan en la etapa 112. Por ejemplo, los límites del rango para las variables de color: tono (H), rojo - verde (R - G), verde - azul (G - B) y el valor de saturación2 (SV2) se determinan para cada una de las variables. Los límites del rango se determina en primer lugar mediante la determinación de la media de la variable del color de la muestra y para cada variable, se calculan los límites del rango para ser, por ejemplo, 3 veces la desviación sigma de la media para establecer el límite de rango alto y bajo para cada variable. Una vez que se determina el límite de rango para las variables, se pueden utilizar conocidas técnicas de procesamiento de imágenes, por ejemplo, técnicas de última generación de procesamiento, por ejemplo, tal como se describen en las páginas 1355-1357 de Hu et al. “Feature Extraction and Matching as Signal Detection”, International Journal of Pattern Recognition and Artificial Inteligence, vol. 8, No. 6, 1994, páginas 1343-1.379, que se incorporan por referencia, para determinar los límites del color dentro de un fotograma, tal como se indica en la etapa 114. Todos los píxeles en el área de delimitación son capturados que caen dentro de los límites del rango para las variables, el matiz, R - G, G - V, SV2 en la etapa 116. A continuación, en la etapa 118, se calcula un centroide para el área de delimitación y se calculan de nuevo los límites del rango para las variables de color en la etapa 118. Calcular los límites del rango definidos en la etapa 118 se utiliza para la determinación de los bordes del área de delimitación en la etapa 120 para definir un área de delimitación concluida en la etapa 122 para el objeto. En la etapa 124, la posición del área de delimitación del objeto seleccionado se determina mediante la captura de las coordenadas (x, y), las coordenadas de la esquina superior izquierda y la esquina inferior derecha, así como las coordenadas del baricentro de la zona delimitada. Hasta ahora, se ha descrito la selección de un objeto en un fotograma único de los contenidos de vídeo.

Seguimiento automático de objetos de píxeles

El seguimiento automático del objeto de píxeles seleccionado se describe en relación con las figuras 7 y 8. En particular, la figura 7 representa un diagrama de flujo para el sistema de seguimiento automático, mientras que la figura 8 representa una ilustración visual de la operación del sistema de seguimiento automático. Refiriéndose en primer lugar a la figura 8, se ilustra un fotograma de ejemplo 126, que, por simplicidad, se muestra un objeto de color rojo 128 sobre un fondo azul. Como se ve, el objeto de píxeles 128 tiene un centroide en el punto X0 a lo largo del X1 eje 130. Tal como se muestra, el fotograma 2 se identifica con el número de referencia 129, el ejemplo supone que el objeto de píxeles 128 se ha desplazado a lo largo del eje x 130 de modo que su centroide se encuentra en la posición X1 a lo largo del eje x 130.

Con referencia a la figura 7, la aplicación de enlace de vídeo 36 (figura 1) inicia el seguimiento automático empezando en el centroide del fotograma anterior en la etapa 132. De este modo, la aplicación de enlace de vídeo 36 muestrea un radio 133 de 10 píxeles en relación con el centroide del fotograma anterior en la etapa 134, tal como se ilustra en la figura 8. Utilizando los límites del rango para las variables de color previamente determinados, la aplicación de enlace de vídeo 36 localiza los píxeles en la muestra dentro del rango de color variable anterior en la etapa 136. Como se muestra en la figura 8, esto se relaciona con la porción rayada 138 en el fotograma 126. Con el fin de compensar las variaciones en las variables de color debido a los efectos de iluminación y efectos de la descompresión, la aplicación de enlace de vídeo 36 a continuación determina un rango de color variable aproximado

45 E01975637 04-08-2011

de los píxeles dentro del área rayada 135 en la etapa 140 utilizando las técnicas descritas anteriormente. Después de calcular la gama de color variable aproximada, la aplicación de enlace de vídeo 36 muestrea de un radio mayor, por ejemplo, un radio de 80 píxeles, con base en el centroide del fotograma anterior en la etapa 142. Tal como se muestra en la figura 8, este ejemplo supone que una parte sustancial de los objetos de píxeles 128 está dentro del rango de la segunda muestra. En la etapa 145, se encuentran los píxeles de la nueva muestra que caen dentro del rango de color variable aproximado y son indicados por el área rayada 138 en la figura 8. A fin de compensar también las variaciones en las variables de color, la aplicación de enlace de vídeo 36 vuelve a calcular los rangos de variables de color para las muestras ubicadas en la etapa 146. Una vez que el rango de color variable refinado ha sido determinado, los píxeles dentro de la gama de colores calculan variables que se encuentran en la etapa 148. Tal como se muestra en la zona rayada doble 139 en la figura 8, los píxeles de la gama de colores variables calculados se ilustran en la figura 8. Tal como se puede observar en la figura 8, los píxeles dentro del rango de color en bruto, en el ejemplo, se muestran para cubrir un área mayor que el objeto de píxeles 128. Una vez que los valores de la gama de colores se vuelven a calcular en la etapa 146 en los píxeles dentro de la gama de colores variables calculados se determinan en la etapa 148, el objeto de píxeles 128 se encuentra en los filtros de esencia fuera de los píxeles que quedan fuera del objeto de píxeles 128, tal como se muestra en la figura 8. Una vez que los píxeles se encuentran con la gama de colores variables calculados en la etapa 148, se determina un nuevo centroide en la etapa 150. Además de calcular el centroide, la aplicación de enlace de vídeo 36 también determina las coordenadas de la nueva caja delimitadora, por ejemplo, tal como se mencionó anteriormente en relación con las etapas 120 a 124. En la etapa 152, el sistema almacena las coordenadas del centroide en las coordenadas (x, y) de la caja delimitadora en la memoria. El sistema controla en la etapa 154 para determinar si el último fotograma ha sido procesado. Si no, el sistema vuelve de nuevo a la etapa 132 y procesa el fotograma siguiente repitiendo las etapas 134 a 154. Tal como se mencionó anteriormente, los datos del fotograma se extraen de los contenidos de vídeo y se utilizan para definir los fotogramas dentro de un segmento. Por lo tanto, este proceso se puede repetir para todos los fotogramas señalados en el primer fotograma encontrado y los campos del último fotograma se encuentran en la interfaz gráfica de usuario de desarrollo 60. Alternativamente, la aplicación de enlace de vídeo puede configurarse para procesar más fotogramas de los que se encuentran dentro del segmento. Sin embargo, al descomponer el proceso en términos de segmentos, el seguimiento de los objetos de píxeles será relativamente más preciso debido a las diferencias en los valores de color variables que se esperan durante el cambio de segmento.

Archivos de vídeo enlazados

Con el fin de optimizar también el procesamiento de imágenes de la aplicación de enlace de vídeo 32, la plataforma de computación de recursos 26 puede procesar todos o parte de los fotogramas de vídeo y almacenar las coordenadas en la etapa 152 (figura 7). Suponiendo que el tiempo de reacción del ser humano más rápido posible es de 1/3 de segundo, se deduce que una tasa de extracción de 10 fotogramas por segundo proporcionará una información de seguimiento adecuada. Así, los archivos de vídeo enlazados 24 almacenan las coordenadas del centroide de las coordenadas de la parte superior izquierda e inferior derecha de los objetos seleccionados dentro de los intervalos de 1/3 de segundo se conocen como clústeres. A 30 FPS, un clúster se define como un segmento de diez fotogramas de vídeo. La información del archivo que ilustra el movimiento de objetos contenidos en el segmento de diez fotogramas está representada por las coordenadas utilizadas (arriba a la izquierda, e inferior derecha) para dibujar las cajas delimitadoras del objeto. Por lo tanto, diez fotogramas de información se comprimen en uno. El número de fotogramas por clúster depende de la velocidad de los fotogramas. Usando clústeres de velocidad de fotogramas estándar se definen como sigue:

Estándar (FPS = fotogramas/segundo)

Fotogramas/Clúster

NTSC (29,97 FPS)

10

30 FPS

10

PAL (25 FPS)

8, 8, 9/sección vídeo

15 FPS

5

12 FPS

4

Puesto que los archivos de vídeo enlazados 24 se basan en una frecuencia de tres (3) fotogramas por segundo, los archivos de vídeo enlazados 21 se podrán utilizar a cualquier velocidad de reproducción del contenido original. Por otra parte, mediante la limitación de la velocidad de muestreo de tres (3) fotogramas por segundo, los archivos de vídeo enlazados 21 son adecuados para la transmisión de banda estrecha, por ejemplo, con un módem de 56 K bits, así como aplicaciones de transmisión de banda ancha, tales como RDSI, ADSL, cable y aplicaciones T1. Archivos

de vídeo enlazados 24 de ejemplo se describen e ilustran a continuación. Archivo de vídeo enlazado de ejemplo

Línea 1:

569 0 2172 30 0

Línea 2:

129 0 0 0 0

Línea 3:

001 001 010 4 132

002 011 025 4 137

003 026 040 4 142

004 041 055 4 147

005 056 070 4 152

....

128 2.136 2150 2 -564

Línea 131:

129 2151 2172 2 567

Línea 132:

001 001 010 4 132

6 125 276 199 1

138 75 179 119 2

213 60 246 83 3

207 92 241 117 4

Línea 137:

002 011 025 4 137

9 123 278 199 1

133 52 177 119 2

212 56 250 83 3

208 89 243 118 4

Línea 142:

003 026 040 4 142

E01975637 04-08-2011

Línea 1

Línea 1:

569 0 2172 30 0

El primer número de la Línea 1 (569) identifica el número total de líneas en el archivo de vídeo enlazado 24. Los dos números siguientes en la Línea 1 (0,2172) son los números del primer y último fotogramas para el clip de película asociado con el archivo de vídeo enlazado 24. El próximo número en la Línea 1 (30) indica la reproducción del clip de película en fotogramas por segundo.

Línea 2

Línea 2:

129 0 0 0 0

La línea 2 sólo utiliza el primer espacio, y el número en este espacio indica el número total de “clústeres” de 10 fotogramas de vídeo en el contenido de vídeo.

Línea 3

Línea 3:

001 001 010 4 132

En este ejemplo, las Líneas 3-131 contienen información sobre los ciento veintinueve (129) clústeres de vídeo. Cada línea como sigue un formato similar. El primer número, 001 en este ejemplo, es el número de clúster. Los siguientes

15 dos números (001, 010) son los fotogramas de inicio y final del segmento de vídeo. El siguiente número (4) indica que este grupo tiene cuatro áreas de vídeo para poder hacer clic u objetos en el mismo. El número final (132) indica la línea del archivo de vídeo enlazado 24, donde se puede obtener se puede encontrar una descripción detallada del clúster de vídeo.

Línea 132

Línea 132:

001 001 010 4 132

Línea 133:

6 125 276 199 1

138 75 179 119 2

213 60 246 83 3

207 92 241 117 4

En este ejemplo, las descripciones detalladas de los clústeres de vídeo comienzan en la línea 132 para el clúster de vídeo # 1. La primera línea repite la información del clúster de vídeo general antes del archivo de vídeo enlazado 24. Cada una de las siguientes cuatro líneas proporcionan información sobre un área seleccionable separada. Los primeros cuatro números son las coordenadas (x, y) para la esquina superior izquierda y la esquina inferior derecha,

25 respectivamente. En la línea 133, por ejemplo, (6, 125) son las coordenadas (x, y) para la esquina superior izquierda y (276, 199) son las coordenadas (x, y) de la esquina inferior derecha de ese clúster de vídeo. El último número de la línea ("1" en la línea 133) es el "índice de enlace". El "índice de enlace" enlaza las coordenadas del objeto de píxeles con las coordenadas del objeto de datos a partir de la base de datos de la colocación de los producto 36 (figura 1).

Modo de reproducción de operación

30 La reproducción de los contenidos de vídeo y los archivos de vídeo enlazados 24 es a través de una plataforma de alojamiento de vídeo 38 y una plataforma de reproducción 43. Tal como se muestra en la figura 1, la plataforma de

55 E01975637 04-08-2011

alojamiento de vídeo 38 se muestra separada de la plataforma de reproducción 42 y conectada a la misma, ya sea mediante un enlace de transmisión de banda estrecha o de banda ancha. La plataforma de alojamiento de vídeo 38 puede situarse alternativamente en la plataforma de reproducción 43.

La plataforma de alojamiento de vídeo 38 incluye una aplicación de reproducción de vídeo 42 que soporta un reproductor API multimedia común 40 para la reproducción de los contenidos de vídeo y proporciona los recursos para acceder a los archivos de vídeo enlazados 24 para permitir que los objetos de píxeles se seleccionen con un dispositivo estándar de señalización, tal como un ratón, y enlazado a uno o más objetos de datos.

En particular, la aplicación de reproducción de vídeo 42 lee los archivos de datos enlazados 24 y almacena estos archivos en dos matrices. La primera matriz puede ser unidimensional y puede contener información sobre el contenido del vídeo y, en particular los segmentos. La segunda matriz se puede utilizar para proporcionar información sobre la posición de los objetos de píxeles de zonas seleccionables para cada fragmento de la película. Un código de ejemplo para almacenar los archivos de datos enlazados en una primera matriz y en una segunda matriz se presenta en un apéndice.

La aplicación de reproducción de vídeo 42 soporta objetos de píxeles en el contenido de vídeo 22 que se seleccionan con un dispositivo estándar de señalización, tal como un ratón. Las coordenadas (x, y) de la posición seleccionada mediante el dispositivo de señalización y el tiempo del fotograma donde la posición fue seleccionada se capturan y se comparan con la información en los archivos de vídeo enlazados 24 para determinar si la posición seleccionada se corresponde con un objeto de píxeles seleccionado. En particular, las coordenadas (x, y) y la información del tiempo del fotograma del dispositivo de señalización se comparan con los archivos de objetos de píxeles para determinar si la posición seleccionada en el área de visualización 155 corresponde a un objeto de píxeles. Esto se determina mediante la determinación del tiempo transcurrido desde el inicio del contenido de vídeo, y multiplicando el tiempo transcurrido por la velocidad de reproducción. Por ejemplo, un clic del ratón en 2,5 segundos en la reproducción, el fotograma aproximado será 30 sobre la base de una velocidad de reproducción de 12 fotogramas por segundo. Una vez que se determina el fotograma aproximado, la aplicación de reproducción de vídeo 42 determina la sección de la aplicación de salto de sección 55. Al determinar la sección, todas las áreas seleccionables en la sección se analizan para determinar el área seleccionable o el objeto de píxeles que contiene las coordenadas x, y asociadas con el clic del ratón, en su caso. Si es así, el sistema muestra el objeto de datos que se ha enlazado con el objeto de píxeles a través del índice de enlace en el archivo de objeto en una ventana de la pantalla de inventario 156. En particular, se muestra un objeto de datos, que está enlazado con el objeto de píxeles. Un código de ejemplo para devolver un índice de enlace se proporciona en el Apéndice.

La aplicación de reproducción de vídeo 42 también puede ser utilizada para soportar una interfaz gráfica 153 tal como se ilustra en la figura 3. La interfaz gráfica de usuario 153 puede incluir un área de visualización 151 para la visualización de los contenidos de vídeo a través de un API común reproductor de medios.

La aplicación de reproducción 42 también puede prever una capacidad adicional. Por ejemplo, la interfaz gráfica de usuario 153 puede estar provista de botones para la categorización de los diferentes objetos de datos que se han enlazado con el contenido del vídeo. Tal como se muestra en la figura 3, la interfaz gráfica de usuario 153 puede incluir botones de categorías, como entretenimiento, comercio y botones de educación 157, 159 y 161 para mostrar los objetos de datos en cada una de las categorías de ejemplo. Estos títulos de las categorías se pueden personalizar para cada programa, y de forma dinámica para reflejar por escrito el contenido del programa que se muestra. En esta configuración, los archivos de objetos de datos se configuran con la información categórica. Por lo tanto, cuando uno de los botones categóricos es seleccionado, todos los enlaces seleccionados en esa categoría se recuperan de la base de datos de la posición del producto 36 (figura 1) y se muestra en la pantalla de inventario 156.

Los botones de "Pausa en clic en" y "Click y Conectar" o casillas 165 y 167 se pueden proporcionar. El botón "Pausa en clic" 165, una vez seleccionado, detiene el contenido de vídeo en el área de visualización 151 para dejar un tiempo para decidir si el usuario se conecta a una plataforma de recursos alternativos en la actualidad después de que un objeto de píxeles seleccionado se ha enlazado con un objeto de datos o se ha recuperado el objeto de datos de la ventana de la pantalla de inventario 156 en un momento posterior. El botón "Clic y conectar" 167 se puede utilizar para mostrar el objeto de datos enlazado, por ejemplo, una página web en segundo plano en el área de visualización de la plataforma de reproducción 43 fuera de la interfaz gráfica de usuario 153, mientras que el contenido de vídeo continúa visualizándose en la pantalla 151.

También se pueden proporcionar funcionalidades adicionales, como por ejemplo los botones "Mostrar todos los enlaces en un fotograma" y "Mostrar todos los enlaces en el programa" 168 y 169. El botón "Mostrar todos los enlaces en un fotograma" 168 muestra todos los enlaces en un fotograma dado en la pantalla de inventario 156 cuando se selecciona. Esta función permite al usuario desplazarse por el contenido de acceso, por ejemplo, a través de unos botones de desplazamiento 171 para localizar la escena o el fotograma en el que aparezca el elemento deseado. Una vez que el fotograma ha sido localizado, el usuario puede hacer clic en el fotograma visualizado y todos los elementos disponibles que figuran en el fotograma de la pantalla se ordenan y se muestran en la pantalla de inventario 155. El botón "Mostrar todos los enlaces" 169, cuando se selecciona, muestra todos los enlaces de objetos de datos con el contenido de vídeo. Los objetos de datos se muestran en la pantalla de inventario 155.

55 E01975637 04-08-2011

Un botón de vídeo de reanudación 172 puede proporcionarse. El botón de vídeo de reanudación 172 se utiliza después de seleccionar un objeto desde la ventana de la pantalla de inventario 155. En particular, tal como se mencionó anteriormente, los objetos seleccionados en la ventana de la pantalla de inventario 155 enlazan la aplicación a otra plataforma de recursos, tal como por ejemplo un sitio web. Como se mencionó anteriormente, en un modo de funcionamiento de clic y conectar, el contenido de vídeo se sigue mostrando en la pantalla 151 en el reproductor, mientras que la página web se muestra en el fondo de la pantalla de la plataforma de reproducción 42. El botón de vídeo de reanudación 172 simplemente permite la reproducción del vídeo desde el punto en el que la aplicación de reproducción de vídeo 42 fue enlazada a otra plataforma de recursos.

Botones de "Ocultar/Mostrar lista", "Iniciar sesión", "Borrar lista" y "Abrir enlace" 176, 178, 180 y 182 también se pueden proporcionar. El botón "Ocultar/Mostrar lista" 176 se puede utilizar para ocultar o mostrar las funciones de la interfaz gráfica de usuario 153. En particular, cuando se selecciona el botón ocultar/mostrar lista 176, se activa un estado de encendido/apagado y se almacena en la memoria.

El botón de Iniciar sesión 178 se puede utilizar para prevenir o limitar el acceso a la plataforma de reproducción 43. La capacidad de inicio de sesión puede ser usada para capturar datos valiosos sobre el hábito de los usuarios y la información solicitada. En esta aplicación, un servidor web (no mostrado) puede utilizarse para alojar una base de datos de información de usuario y contraseña comúnmente conocida en la industria. Cuando el botón Iniciar sesión 178 se selecciona, se envía una petición desde la plataforma de reproducción 43 a un servidor web de inicio de sesión para la autenticación. Un mensaje de autenticación puede regresar a la plataforma de alojamiento de vídeo 38 para permitir la reproducción de los contenidos de vídeo enlazados.

El botón Borrar lista 180 se puede proporcionar para borrar todos los objetos de datos en la pantalla de inventario

155. Cuando el botón Borrar lista 180 es seleccionado, la aplicación de reproducción 38 borra todos los objetos de datos en una memoria temporal que se utiliza para la ventana de la pantalla de inventario 155.

Un botón Abrir enlace 182 permite que la información adicional para objetos de datos seleccionados sea visitada. En particular, una vez que un objeto de datos es seleccionado desde la ventana de la pantalla de inventario 155, la selección del botón de abrir enlace 182 se puede utilizar para proporcionar cualquier información adicional disponible para el objeto de datos seleccionado.

Un área de visualización "miniatura" 184 puede proporcionarse para mostrar una imagen de un objeto de píxeles seleccionado en un tamaño reducido, o en el fotograma del cual fue seleccionado, u otra imagen representativa o anuncio. La aplicación de reproducción de vídeo 38 también puede soportar una caja de diálogo de sala de chat 186. La caja de diálogo de la sala de chat 186 se puede implementar usando software estándar convencional y provisto de una funcionalidad adicional. Por ejemplo, las imágenes para obtener una lista de objetos dentro del área de la pantalla de inventario 155 pueden ser arrastradas en caja de diálogo del área de chat 186. En respuesta a esta acción, la aplicación de reproducción de vídeo 38 muestra el hiperenlace de espacio de texto interactivo en la caja de diálogo de chat 186. Al hacer clic en las funciones del hiperenlace, se transmite la imagen en miniatura a la dirección generada.

Realización alternativa

Una realización alternativa de la invención se ilustra en las figuras 9 a 16. Más particularmente, esta realización de la invención es un procedimiento y un aparato para asociar el color de un objeto con un evento. En la siguiente descripción, numerosos detalles específicos se establecen para proporcionar una descripción más detallada de las realizaciones de la invención. Es evidente, sin embargo, para los expertos en la materia, que la invención puede realizarse sin estos detalles específicos. En otros casos, características bien conocidas no se han descrito en detalle para que no dificulte la invención.

Una o más realizaciones de la presente invención se dirigen a mejorar la capacidad del usuario para interactuar con un módulo de conexión de ordenador, televisión interactiva, o un dispositivo de procesamiento. De acuerdo con realizaciones de la presente invención, el usuario proporciona información sobre alguna zona del dispositivo de visualización, por ejemplo presionando un botón del ratón en un lugar determinado. La invención determina que el usuario ha presionado el botón del ratón y qué valor del color aparece en el dispositivo de pantalla en el momento que el usuario ha presionado el botón del ratón. A continuación, la invención inicia un evento que corresponde a un valor de color.

Procesamiento de eventos

En una o más realizaciones, la invención toma un medio de streaming o estático y asocia un objeto activo, dinámico

o estático con un evento mediante su color determinado. El evento puede ser, por ejemplo, la recuperación de un documento en una URL especificada en un navegador web o la recuperación de otra información en implementaciones de navegador no web. Otras implementaciones incluyen, por ejemplo, la visualización de medios, a través de un televisor, DVD u otro reproductor de medios, dispositivos de conexión, web TV, TV interactiva, y videojuegos.

Se toma, por ejemplo, una página web que implementa vídeo streaming. En el ejemplo, un presentador de televisión

55 E01975637 04-08-2011

lleva una camisa verde. Si un usuario proporciona una entrada en la pantalla pulsando un ratón con el cursor en un lugar donde se encuentra la camisa verde, la invención la enlaza con una LIRL asociada con la camisa verde. Por lo tanto, el color en movimiento puede sustituirse por un enlace convencional de texto estático. En otra realización, el presentador de televisión con la camisa verde puede estar en un programa de televisión. En esta realización, al proporcionar una entrada sobre la camisa verde en movimiento se puede iniciar un evento diferente, tal como proporcionar información acerca de la camisa o del presentador del juego.

Una realización de la presente invención se muestra en la figura 9. En la etapa 150, se produce una acción. En la etapa 152, se determina la posición de la acción (una región de interés). La localización de una región de interés es bien conocida en la técnica.

Un procedimiento para localizar una región de interés es la obtención de un par ordenado que corresponde a la posición del cursor en el momento de la acción. Por ejemplo, una pantalla de ordenador puede representarse como un gráfico de dos dimensiones en el que el eje de la gráfica se encuentra en la esquina inferior izquierda de la pantalla del ordenador. Por lo tanto, todos los pares ordenados corresponderán a los valores positivos de pares x, y en el gráfico.

Después de definir la región de interés, el valor asociado con un color en la región de interés se determina en la etapa 154. A continuación, en la etapa 156, se inicia un evento asociado con ese color.

Características del color

En una realización, la invención define el color mediante sus propiedades matemáticas. Por ejemplo, una realización utiliza el estándar RGB, que separa las propiedades del rojo, verde y azul del color como valores numéricos. Otra realización también utiliza las características HSV del color, que define el tono, la saturación y el valor como componentes del color. Las características HSV definen con más detalle las propiedades de un color, por ejemplo, V representa un análogo de la intensidad de un color o la luminosidad del color. Otra realización de la presente invención utiliza características RGB y HSV.

Una realización define las características de color, tal como se muestra en la figura 10. En la etapa 200, se determina si una acción se ha producido. Si la acción no se produjo, la etapa 200 se repite hasta que se produce una acción. Si la acción se ha producido, se determina que la acción se ha producido en la etapa 210.

El lugar se muestra aquí con respecto a un solo píxel, "píxel A". En la etapa 220, se determina un componente rojo de un color del píxel A. Luego, en la etapa 230, se determina un componente verde del color para el píxel A. A continuación, en la etapa 240, se determina un componente azul del color para el píxel A. A continuación, en la etapa 250, las características del color se combinan para formar un valor del color para el píxel A.

Después de la etapa 250, se determina si algún evento está asociado con el valor del color en la etapa 255. Si no hay ningún evento asociado a ese valor de color, ningún evento se inicia y el proceso se repite en la etapa 200. Si un evento está asociado con el valor del color, entonces en la etapa 260 se inicia un evento asociado con el valor del color.

Una realización define las características del color, tal como se muestra en la figura 11. En la etapa 300, se determina si se ha producido una acción. Si la acción no se produjo, la etapa 300 se repite hasta que se produce una acción. Si la acción se ha producido, se determina que la acción se ha producido en la etapa 310. El lugar se muestra aquí con respecto a un solo píxel, "pixel B". En la etapa 320, se determina un componente de tono de un color para el píxel B. Luego, en la etapa 330, se determina un componente de saturación del color para el píxel B. A continuación, en la etapa 340, se determina un componente de valor del color para el píxel B.

A continuación, en la etapa 350, las características de color se combinan para formar un valor de color para el píxel

B. Después de la etapa 350, se determina si algún evento está asociado con el valor del color en la etapa 355. Si no hay ningún evento asociado a ese valor de color, no se inicia ningún evento y el proceso se repite en la etapa 300. Si un evento está asociado con el valor del color, entonces en la etapa 360 se inicia un evento asociado con el valor del color.

Una realización define las características del color, tal como se muestra en la figura 12. En la etapa 400, se determina si se ha producido una acción. Si la acción no se produjo, la etapa 400 se repite hasta que se produce una acción. Si la acción se ha producido, se determina que la acción se ha producido en la etapa 410. El lugar se muestra aquí con respecto a un solo píxel, "pixel C". En la etapa 420, se determina un componente de tono de un color para el píxel C. Luego, en la etapa 430, se determina un componente de la saturación del color para el píxel C. A continuación, en la etapa 440, se determina un componente del valor del color para el píxel C. En la etapa 450, se determina un componente rojo de un color para píxel C. Luego, en la etapa 460, se determina un componente verde del color para el píxel C. A continuación, en la etapa 470, se determina un componente azul del color para el píxel C.

A continuación, en la etapa 480, las características del color se combinan para formar un valor de color para el píxel

B. Después de la etapa 480, se determina si algún evento está asociado con el valor del color en la etapa 485. Si no hay ningún evento asociado a ese valor de color, no se inicia ningún evento y el proceso se repite en la etapa 400.

50 E01975637 04-08-2011

Si un evento está asociado con el valor del color, entonces se inicia en la etapa 490 un evento asociado con el valor del color.

Memoria intermedia de fotogramas

En un ordenador u otro dispositivo análogo, las imágenes se utilizan a menudo como una forma de salida. Una forma común de que tales dispositivos manejan las imágenes o secuencias de imágenes (por ejemplo, vídeo) es el uso de una "memoria intermedia de fotogramas". Para el procesamiento previo fuera de línea o para el procesamiento en tiempo real usando ordenadores de alta velocidad, las memorias intermedias de fotogramas RGB residen en la memoria. Alternativamente, una tarjeta de vídeo de alta velocidad especial se puede utilizar para procesar una memoria intermedia de fotogramas RGB para el procesamiento en tiempo real.

Una señal de vídeo, por ejemplo, comprende una serie de imágenes fijas que se muestran de forma secuencial, donde la serie de imágenes aparece con tanta rapidez que el usuario percibe la serie de imágenes como un flujo continuo de movimiento. A medida que el ordenador procesa cada imagen, los datos relativos a la imagen se almacenan en la memoria intermedia. Estos datos incluyen, por ejemplo, el color de los valores asociados a cada píxel en cada lugar de la pantalla.

Cuando una nueva imagen se muestra, nuevos datos sobre la imagen se almacena en la memoria intermedia. Dependiendo del tamaño de la memoria intermedia de fotogramas, muchas imágenes secuenciales se pueden almacenar allí antes de que se llene y los datos antiguos de la imagen deban ser sobrescritos.

Una realización de la presente invención se aprovecha de los datos ya existentes en la memoria intermedia de fotogramas, por ejemplo, para realizar la etapa 120 de la figura 9. La figura 15 muestra una realización de la presente invención, donde se utiliza la memoria intermedia de fotogramas.

En la etapa 700 se produce una acción. En la etapa 710, se determina la posición de la acción (una región de interés). A continuación, en la etapa 720, la invención accede a la memoria intermedia de fotogramas para obtener los valores del color en la posición de la acción cuando se ha producido. A continuación, se determina si algún evento está asociado con el valor del color en la etapa 730. Si no hay ningún evento asociado a ese valor de color, no se inicia ningún evento y el proceso se repite en la etapa 700. Si un evento está asociado con el valor del color, entonces se inicia en la etapa 740 un evento asociado con el valor del color.

Eventos

Tal como se describió anteriormente, un evento es un enlace a otra URL (es decir, para facilitar una transacción a través de Internet). Por lo tanto, un evento puede comprender la recuperación de una página web desde un ordenador servidor conectado a Internet.

En el contexto del medio streaming, un evento puede ser la recuperación de una página de texto. Por ejemplo, suponga que el usuario está viendo un programa de DVD que muestra varias de las grandes pirámides de Egipto. Si el usuario hace que se produzca un evento en una región de interés definida por una pirámide específica, el evento puede comprender la recuperación de una página de texto que indica al usuario exactamente qué pirámide es, cuándo se construyó, la historia relacionada con esta pirámide específica, y cualquier otra información pertinente. Por lo tanto, el evento haría que el DVD se mueva a una pista de datos diferente (es decir, acercar información diferente).

En el mismo ejemplo de la gran pirámide, otro evento puede comprender la recuperación de información de audio, por ejemplo, un narrador proporciona información similar a la dada en la pista de texto en el ejemplo anterior. Además, el evento puede comprender la recuperación de una nueva corriente de medios, tal como el acercamiento de la pirámide, ángulos alternos que muestran diferentes vistas de la misma pirámide, o vistas desde el interior de la pirámide, por ejemplo.

En una realización, un evento comprende la recuperación de una pista de datos. Una pista de datos comprende información asociada con el color que actúa en consecuencia. Supongamos por ejemplo, que esta realización de la presente invención se lleva a cabo utilizando un aparato de televisión interactiva. Mientras que la televisión interactiva está en funcionamiento, un presentador de televisión aparece vestido con una camisa verde. A continuación, supongamos, por ejemplo, que un usuario hace que se produzca una acción en el lugar de la camisa verde. En este caso, el seguimiento de los datos puede facilitar información sobre la camisa, el presentador del juego, o cualquier otra información pertinente.

Si un evento está asociado con un valor de color se puede determinar de una pluralidad de maneras. Una forma de hacerlo es utilizar una tabla. Un ejemplo de una realización de una tabla se muestra en la tabla 1.

E01975637 04-08-2011

Tabla 1

Valor del color

Evento

100

recuperar el documento en la URL www.info.com/test

300

obtener una pista de datos en un lugar específico

200

iniciar el flujo de los medios en la posición especificada

288

iniciar la pista de audio en la posición especificada

La tabla se pueden organizar en una pluralidad de formas y puede accederse en procedimientos bien conocidos por parte de los expertos en la materia, incluyendo las tablas hash, funciones hash, indicadores, índices, o cualquier otra forma adecuada de búsqueda en la tabla. Además, los distintos valores de color pueden iniciar el mismo evento. Alternativamente, todos los valores de color en un dispositivo de salida pueden estar asociados con el mismo evento.

La figura 13 muestra una realización de la presente invención, donde se implementa una tabla. En la etapa 500, se produce una acción. En la etapa 510, se determina la posición de la acción (una región de interés). A continuación, en la etapa 520, se determina el valor asociado con un color en la región de interés. A continuación, se busca en una tabla para localizar el valor del color para obtener un evento que está emparejado con el valor del color en la etapa

530. Luego, en la etapa 535, se determina si el valor del color está en la tabla. Si no es así, entonces el valor del color no está enlazado a un evento y no se inicia el evento. En ese caso el proceso se repite en la etapa 500. De lo contrario, en la etapa 540, el evento se inicia.

Gamas de color

En otra realización de la presente invención, las regiones de interés (es decir, aquellas regiones en las que un usuario ha realizado una acción) están asociadas con eventos basados en gamas de colores. Una gama de colores, por ejemplo, incluye los tonos de azul que corresponden con el cuerpo de un pájaro azul en una secuencia de vídeo. Corrientes realistas de imágenes y de vídeo no tendrán un tono uniforme de color azul en todas las áreas del cuerpo del pájaro azul, ya que la luz y otros factores harán variaciones naturales en el color percibido reflejado de un objeto. En esta realización, esta realidad se explica, que ofrece a esta realización una aplicación específica en corrientes de vídeo dinámicos y de alta calidad.

Las gamas de color se definen por las características del color. Por ejemplo, una gama de colores se puede traducir en valores en una escala RGB o HSV, o podría ser una combinación de ambas. Típicamente, en un sistema informático estos valores varían de 0-255. Por lo tanto, el cuerpo del pájaro azul puede ser definido como una región de interés en la gama de colores que incluye un valor B en la escala RGB de 50 a 75, por ejemplo.

Por lo tanto, si la acción se produjo en una parte superior izquierda o derecha inferior del cuerpo del pájaro azul, el mismo evento se inicia, a pesar del potencial que en estas esquinas de las regiones de interés, los valores de color sean diferentes. Todo lo que se requiere en esta realización es que tanto los valores de color diferentes estén dentro de la gama de colores definida.

En muchas imágenes, los colores pueden ser muy similares, incluso puede haber aspectos de los diferentes componentes de la imagen y que se asocian con diferentes eventos. En una realización, las gamas son definidas respecto a una pluralidad de características de color incluyendo RGB y HSV.

Por ejemplo, una gama puede ser definida donde R se selecciona para tener un rango de 50 a 80, G se selecciona para tener una gama de 150 a 160, y B se selecciona para tener una gama de 200 a 220. Un ejemplo es el color seleccionado por el usuario en el ejemplo, el color tiene las características RGB de 60, 155 y 205, respectivamente. Otro color en la pantalla que está asociado con un evento diferente puede parecer que es substancialmente idéntico al color de ejemplo, pero tiene características RGB de 190, 100, 33. Como los intervalos se han definido mediante una pluralidad de características, sin embargo, estas pequeñas diferencias en los tonos de los colores se explican para esta realización de la presente invención.

En una realización, las características del color se definen mediante R, G, B, H, S, V, y R-G, G-B, donde R-G y G-B tienen componentes rojo y verde y verde y azul, respectivamente. En esta realización, cualquiera de estas tres variables es suficiente para definir inequívocamente todos los colores mostrados en un dispositivo de salida o almacenados en una memoria intermedia de fotogramas. Para determinar si las variables se encuentran dentro de la gama de colores con el fin de determinar si un evento se asocia con el área de interés, se utiliza el siguiente algoritmo (que se muestra en la figura 16).

55 E01975637 04-08-2011

En la etapa 800, se determina si una acción se ha producido. Si la acción no se produjo, la etapa 800 se repite hasta que se produce una acción. Si la acción se ha producido, se determina que la acción se ha producido en la etapa

810. A continuación, en la etapa 820, se eligen tres variables de una lista de posibles componentes del color, por ejemplo, R, G, B, H, S, V, R-G, o G-B. Para las variables elegidas, se producen histogramas en la etapa 830.

Un histograma es un procedimiento gráfico para describir los datos. Es una presentación de los datos cuantitativos (es decir, los componentes del color) que se han resumido en una distribución de frecuencias. Los valores de las variables cuantitativas se muestran en el eje horizontal. Un rectángulo se dibuja por encima de cada clase, de tal manera que la base del rectángulo es igual a la anchura del intervalo de clase y su altura es proporcional al número de valores de datos en la clase.

Usando el histograma, las gamas de colores se determinan en la etapa 840, por ejemplo mediante la determinación del pico de la variable en el histograma + o - tres veces su varianza. Después de la etapa 840, se determina si algún evento se asocia con la gama de colores en la etapa 850. Si no hay ningún evento asociado a esa gama de colores, no se inicia ningún evento y el proceso se repite en la etapa 800. Si un evento se asocia con la gama de colores, entonces se inicia en la etapa 860 un evento asociado a la gama de colores.

Patrones de color

A menudo es beneficioso definir una región de interés que no es uniforme en color. Una región de interés, por ejemplo, puede ser un mantel de tela escocesa. En este caso, no es adecuado utilizar un valor de un solo color, ni una gama de colores para definir la región de interés. Para explicar esto, una realización de la presente invención utiliza patrones de color para definir la región de interés.

Un patrón de color comprende una representación de los colores en la región de interés, por ejemplo, una representación gráfica, que se define por un trazado en un eje x, y. Los colores que varían en la región de interés crear picos y valles en la representación gráfica de patrón del color. Al colocar los patrones de picos y valles en este patrón de color, se utilizan patrones de múltiples colores, tal como el mantel de tela escocesa, para asociar las acciones con los eventos.

Detección de bordes

Una realización de la presente invención utiliza un esquema de detección de bordes para definir los límites para los colores. El componente del color de un objeto se describe por sus píxeles. Un algoritmo da a los píxeles un "borde" que no es visible para el usuario, ni dibujado en la pantalla, ni procesados previamente antes de que el usuario vea las imágenes formadas por los píxeles. Por ejemplo, un fotograma de alambre invisible se ha creado para describir la forma del objeto de color determinado para asociarse con el evento. Pero el valor de los píxeles define el fotograma del alambre en lugar de realmente dibujar un fotograma de alambre en la pantalla.

Una realización de la presente invención utiliza QuickTime, un paquete de software disponible de Apple Computers™. En esta realización, Quicktime se utiliza para soportar el uso de "sprite". Un “sprite” es un elemento seleccionable dentro de un flujo de vídeo. Usando Quicktime, se modifica un “sprite” para ser definido por su componente de color. Así, una o más realizaciones de la presente invención crean las asociaciones entre objetos y eventos de forma dinámica, en la que los datos que crean la asociación son una propiedad de la propia imagen (es decir, sus valores de color). La presente invención no requiere la modificación o el procesamiento previo de la imagen para crear las asociaciones.

Realización de ambiente de ejecución informática (Hardware)

Una realización de la invención se puede implementar como software de ordenador en forma de código de programa informático ejecutado en un entorno informático de propósito general, tal como el ambiente 600 que se ilustra en la figura 14, o en forma de archivos ejecutables de clase de códigos de bytes de Java™ de tiempo de funcionamiento en un entorno, o en forma de códigos de bytes que se ejecutan en un procesador (o los dispositivos habilitados para procesar códigos de bytes) existentes en un entorno distribuido (por ejemplo, uno o más procesadores en una red). Un teclado 610 y un ratón 611 están acoplados a un bus de sistema 618. El teclado y el ratón son para la introducción de la entrada del usuario en el sistema informático y para la comunicación de la entrada del usuario a la unidad central de procesamiento (CPU) 613. Otros dispositivos de entrada adecuados se pueden utilizar, además, o en lugar, del ratón 611 y del teclado 610. Una unidad I/O (entrada/salida) 619 acoplada al bus del sistema bidireccional 618 representa estos elementos I/O como una impresora, A/V (audio/vídeo), I/O, etc.

Un ordenador 601 puede incluir una interfaz de comunicación 620, acoplada al bus 618. La interfaz de comunicación 620 permite una comunicación bidireccional de datos de acoplamiento a través de un enlace de red 621 a una red local 622. Por ejemplo, si la interfaz de comunicación 620 es una tarjeta o un módem digital de servicios integrados (RDSI), la interfaz de comunicación 620 proporciona una conexión de comunicación de datos al tipo correspondiente de la línea telefónica, que comprende parte del enlace de red 621. Si la interfaz de comunicación 620 es una tarjeta de red de área local (LAN), la interfaz de comunicación 620 proporciona una conexión de comunicación de datos a través del enlace de la red 621 a una LAN compatible. Enlaces inalámbricos también son posibles. En cualquiera de estas implementaciones, la interfaz de comunicación 620 envía y recibe señales eléctricas, electromagnéticas u

60 E01975637 04-08-2011

ópticas que transportan los flujos de datos digitales que representan diversos tipos de información.

Un enlace de red 621 típicamente proporciona una comunicación de datos a través de una o más redes a otros dispositivos de datos. Por ejemplo, el enlace de red 621 puede proporcionar una conexión a través de una red local 622 a un ordenador servidor local 623 o al equipo de datos operado por un ISP 624. El ISP 624, a su vez, proporciona servicios de comunicación de datos a través de la red mundial de comunicación de paquetes de datos ahora comúnmente conocida como "Internet" 625. La red local 622 e Internet 625 utilizan ambas señales eléctricas, electromagnéticas u ópticas que llevan flujos de datos digitales. Las señales a través de las distintas redes y las señales en el enlace de red 621 y a través de la interfaz de comunicación 620, que llevan la información digital a y desde el ordenador 600, son formas de ejemplo de ondas portadoras que llevan la información.

Un procesador 613 puede residir completamente en el ordenador cliente 601 o en su totalidad en el servidor 626 o un procesador 613 puede tener su poder de computación distribuido entre el ordenador 601 y el servidor 626. El servidor 626 simbólicamente se representa en la figura 6 como una unidad, pero el servidor 626 también se puede distribuir entre varios "niveles". En una realización, el servidor 626 comprende un nivel medio y trasero, donde la lógica de aplicación se ejecuta en el nivel medio y los datos persistentes se obtienen en el nivel trasero. En el caso de que el procesador 613 resida por completo en el servidor 626, los resultados de los cálculos realizados por el procesador 613 se transmiten al ordenador 601 a través de Internet 625, el proveedor de servicios de Internet (ISP) 624, la red local 622 y la interfaz de comunicación 620. De esta manera, el ordenador 601 es capaz de mostrar los resultados de la computación a un usuario en forma de salida.

El ordenador 601 incluye una memoria de vídeo 614, una memoria principal 615 y un almacenamiento masivo 612, todos acoplados a un bus de sistema bidireccional 618 junto con el teclado 610, el ratón 611 y el procesador 613. Al igual que con el procesador 613, en distintos entornos informáticos, la memoria principal 615 y el almacenamiento masivo 612 pueden residir completamente en el servidor 626 o el ordenador 601, o pueden estar distribuidos entre los dos. Ejemplos de sistemas en los que el procesador 613, la memoria principal 615, y el almacenamiento masivo 612 se distribuyen entre el ordenador 601 y el servidor 626 incluyen la arquitectura de computación de cliente ligero desarrollada por Sun Microsystems, Inc., el dispositivo de computación Palm Pilot y otros asistentes personales digitales, teléfonos celulares para conectarse a Internet y otros dispositivos de computación en Internet, y en entornos de plataforma de computación independientes, tales como los que utilizan tecnología Java, también desarrollada por Sun Microsystems, Inc.

El almacenamiento masivo 612 puede incluir medios fijos y extraíbles, tal como sistemas magnéticos de almacenamiento, ópticos o magnético ópticos o de cualquier otra tecnología disponible de almacenamiento masivo. El bus 618 puede contener, por ejemplo, treinta y dos líneas para la dirección de la memoria de vídeo 614 o la memoria principal 615. El bus del sistema 618 también incluye, por ejemplo, un bus de datos de 32 bits para transferir datos entre dos o más componentes, tales como el procesador 613, la memoria principal 615, la memoria de vídeo 614 y el almacenamiento masivo 612. Alternativamente, los datos del multiplexor/líneas de dirección se pueden utilizar en lugar de separar los datos y las líneas de dirección.

En una realización de la invención, el procesador 613 es un microprocesador fabricado por Motorola, tal como el procesador 680X0, o un microprocesador fabricado por Intel, tal como el procesador 80x86, o Pentium o un microprocesador SPARC de Sun Microsystems, Inc. Sin embargo, cualquier otro microprocesador adecuado o microcomputador pueden ser utilizados. La memoria principal 615 comprende una memoria de acceso aleatorio dinámica (DRAM). La memoria de vídeo 614 es una memoria de vídeo de acceso aleatorio de dos puertos. Un puerto de la memoria de vídeo 614 está acoplado a un amplificador de vídeo 616. El amplificador de vídeo 616 se utiliza para conducir el tubo de rayos catódicos (CRT) al monitor de rasterizado 617. El amplificador de vídeo 616 es bien conocido en la técnica y puede ser implementado mediante cualquier aparato adecuado. Este circuito convierte los datos de píxeles almacenados en la memoria de vídeo 614 en una señal de rasterizado adecuado para el uso del monitor 617. El monitor 617 es un tipo de monitor adecuado para mostrar imágenes gráficas.

El ordenador 601 puede enviar mensajes y recibir datos, incluyendo el código del programa, a través de la(s) red(es), el enlace de la red 621, y la interfaz de comunicación 620. En el ejemplo de Internet, el ordenador servidor remoto 626 puede transmitir un código solicitado para un programa de aplicación a través de Internet 625, el ISP 624, la red local 622 y la interfaz de comunicación 620. El código recibido puede ser ejecutado por un procesador 613 cuando se recibe, y/o almacenarse en almacenamiento masivo 612, u otro almacenamiento no volátil para su posterior ejecución. De esta manera, el ordenador 600 puede obtener el código de aplicación en forma de una onda portadora. Por otra parte, el ordenador servidor remoto 626 puede ejecutar aplicaciones usando el procesador 613, y utilizando el almacenamiento masivo 612, y/o la memoria de vídeo 615. Los resultados de la ejecución en el servidor 626 se transmiten a través de Internet 625, el ISP 624, la red local 622 y la interfaz de comunicación 620. En este ejemplo, el ordenador 601 sólo realiza funciones de entrada y de salida.

El código de aplicación puede realizarse en cualquier forma de producto de programa de ordenador. Un producto de programa de ordenador comprende un medio configurado para almacenar o transportar código legible por ordenador, o en el que el código legible por ordenador puede estar incorporado. Algunos ejemplos de productos de programa de ordenador son discos CD-ROM, tarjetas ROM, disquetes, cintas magnéticas, discos duros de ordenador, servidores en una red, y las ondas portadoras.

Obviamente, muchas modificaciones y variaciones de la presente invención son posibles a la luz de las enseñanzas anteriores. Por lo tanto, debe entenderse que, dentro del alcance de las reivindicaciones adjuntas, la invención se puede practicar de otra manera que no esté específicamente descrita anteriormente.

Lo que se reivindica y se desea que esté cubierto por una patente es lo siguiente:

Código de ejemplo para la lectura de datos en la primera matriz

numberOfLine = readFirstNumberOfFirstLine ();

startFrame readNextNumber = ();

endFrame readNextNumber = ();

trueFramePerSecond readNextNumber = ();

numberOfMovieSegment = readFirstNumberOfSecondLine ();

for (int i = 0; i <numberOfMovieSegments; i + +) { firstArray [i * 5] readNextNumber = (); firstArray [i * 5 +1] readNextNumber = (); firstArray [i * 5 +2] readNextNumber = (); firstArray [i * 5 +3] = readNextNumber (); firstArray [i * 5 +4] = readNextNumber ();

numberOfClickableAreas = calculateTheSumOfClickableAreas (firstArray [i * 5 +3]);}

Código de ejemplo para la lectura de datos en segundo conjunto

for (int i = 0; i <nurnberOfClickableAreas; i + +) { readLine (); secondArray [i * 5] readNextNumber = (); secondArray [i * 5 +1] readNextNumber = (); secondArray [i * 5 2] readNextNumber = (); secondArray [i * 5 +3] readNextNumber = (); secondArray [i * 5 +4] = readNextNumber ();}

Código de ejemplo para devolver un Índice de Enlace

int getLinkIndex (int x, int y, en frameNumber) { approximatedFrameNumber = frameNumber * trueFramePerSecond/12; segmentNumber = getSegmentNumber (approximateFrameNumber); numberOfClickableAreas = firstArray [segmentNumber * 5 + 3]; segmentStart = firstArray [segmentNumber * 5 + 4]

- numberOfSegments - 3; // 3 is the offset needed due to extra lines

for (int i = 0; i <numberOf ClickableAreas; i + +) {

x0 = secondArray [(segmentStart + i) * 5],

y0 = secondArray [ (segmentStart + i) * 5 + 1];

5

x2 = secondArray [(segmentStart + i) * 5 + 2];

xy2 = secondArray [(segmentStart + i) * 5 + 3],

if (x0 <= xR; y x < = x 2 + y y0 <= y &amp; &amp; y <= y2) {

return secondArray [(segmentStart + i) * 5 + 4];

}

10

}

return -1;

}

55 E01975637 04-08-2011

Claims (8)

1. REIVINDICACIONES

   1. Procedimiento implementado por ordenador para el seguimiento automático de un objeto de píxeles o vídeo en una serie de fotogramas de vídeo en un modo de desarrollo, que incluye las siguientes etapas:

   determinar una posición de un objeto de píxeles seleccionado en un fotograma de la serie de fotogramas de vídeo que tiene un contenido de vídeo; determinar un valor de color para dicho objeto de píxeles; y seguir automáticamente el objeto de píxeles seleccionado en la serie de fotogramas de vídeo, caracterizo por definir en cada fotograma de la serie de fotogramas de vídeo una caja delimitadora que rodea el objeto de píxeles seleccionado, que incluye las etapas:

   (a)

   determinar una gama de color variable inicial de dicho objeto de píxeles seleccionado;

   (b)

   tomar muestras de los píxeles en un primer radio predeterminado respecto a dicho objeto de píxeles seleccionado;

   (c)

   localizar los píxeles en la muestra de la etapa (b) dentro de dicha gama de color variable inicial que define los píxeles localizados;

   (d)

   determinar una segunda gama de color variable a partir de dichos píxeles localizados, para compensar las variaciones en las variables de color;

   (e)

   tomar muestras de píxeles en un segundo radio de píxeles predeterminado en relación con dicho objeto de píxeles seleccionado, mayor que dicho primer radio de píxeles determinado;

   (f)

   localizar los píxeles en la muestra de la etapa (e) de dicho segunda gama de color variable;

   (g)

   determinar una tercera gama de color a partir de dicho píxeles localizados en la etapa (f), para compensar también las variaciones en las variables de color;

   (h)

   localizar los píxeles en la muestra de la etapa (e) en dicho tercer rango de color;

   (i)

   determinar el centroide y las coordenadas de una caja delimitadora alrededor de los píxeles localizados en la etapa (h);

   (j)

   almacenar el centroide y las coordenadas determinadas en la etapa (i), y

   (k)

   repetir las etapas (b) - (j) empezando en el centroide de la caja delimitadora del fotograma anterior usando la gama de color variable anterior hasta que todos los fotogramas de la secuencia de vídeo han sido procesados;

   y también caracterizado por la etapa: generar un archivo de vídeo enlazado que está separado de dicho contenido de vídeo, comprendiendo dicho archivo de vídeo enlazado

   (i)

   un archivo de píxeles que identifica las coordenadas de la caja delimitadora en cada fotograma y los fotogramas posteriores; y

   (ii)

   un archivo de objetos de datos que enlaza las coordenadas de la caja delimitadora con los objetos de datos.

2. 2.

   Procedimiento según la reivindicación 1, que también se caracteriza por la etapa de determinar saltos de sección entre segmentos en dicha secuencia de fotogramas de vídeo en función de los cambios en dichas variables de color en uno o más fotogramas.

3. 3.

   Procedimiento según la reivindicación 2, que también se caracteriza por la etapa de compensar los cambios en dichas variables de color como una función de dichos saltos de sección.

4. 4.

   Sistema implementado en ordenador para el seguimiento automático de un píxel o un objeto de vídeo en una serie de fotogramas de vídeo en un modo de desarrollo, que incluye:

   una interfaz gráfica de usuario para determinar la posición de un objeto de píxeles seleccionado en un fotograma de una serie de fotogramas de vídeo que tiene contenido de vídeo; y una plataforma informática que se está configurada para:

   determinar una posición de un objeto de píxeles seleccionado en un fotograma de una serie de fotogramas de vídeo que tiene contenido de vídeo; determinar un valor de color de dicho objeto de píxeles; seguir automáticamente del objeto de píxeles seleccionado en la serie de fotogramas de vídeo;

   caracterizado porque la plataforma informática está configurada para definir en cada fotograma de la serie de fotogramas de vídeo una caja delimitadora que rodea el objeto de píxeles seleccionado, que está configurado para:

   (a)

   determinar una gama de color variable inicial de dicho objeto de píxeles seleccionado;

   (b)

   tomar muestras de los píxeles en un primer radio predeterminado respecto a dicho objeto de píxeles seleccionado;

   (c)

   localizar los píxeles en la muestra de la etapa (b) dentro de dicha gama de color variable inicial que define los píxeles localizados;

   (d)

   determinar una segunda gama de color variable a partir de dichos píxeles localizados, para compensar

   35 E01975637 04-08-2011

   las variaciones en las variables de color;

   (e)

   tomar muestras de píxeles en un segundo radio de píxeles predeterminado en relación con dicho objeto de píxeles seleccionado, mayor que dicho primer radio de píxeles determinado;

   (f)

   localizar los píxeles en la muestra de la etapa (e) de dicho segunda gama de color variable;

   (g)

   determinar una tercera gama de color a partir de dicho píxeles localizados en la etapa (f), para compensar también las variaciones en las variables de color;

   (h)

   localizar los píxeles en la muestra de la etapa (e) en dicho tercer rango de color;

   (i)

   determinar el centroide y las coordenadas de una caja delimitadora alrededor de los píxeles localizados en la etapa (h);

   (j)

   almacenar el centroide y las coordenadas determinadas en la etapa (i), y

   (k)

   repetir las etapas (b) - (j) empezando en el centroide de la caja delimitadora del fotograma anterior usando la gama de color variable anterior hasta que todos los fotogramas de la secuencia de vídeo han sido procesados;

   y está configurado además para: generar un archivo de vídeo enlazado que está separado de dicho contenido de vídeo, comprendiendo dicho archivo de vídeo enlazado

   (i)

   un archivo de píxeles que identifica las coordenadas de la caja delimitadora en cada fotograma y los fotogramas posteriores; y

   (ii)

   un archivo de objetos de datos que enlaza las coordenadas de la caja delimitadora con los objetos de datos.

5. 5.

   Sistema según la reivindicación 4, caracterizado porque dicha plataforma informática está configurada para (i) permitir que un fotograma de dicha secuencia de fotogramas de vídeo sea capturado y uno o más objetos de píxeles en dicho fotograma capturado a seleccionar, y (ii) seguir automáticamente los objetos de píxeles seleccionados en el resto de los fotogramas de dicha secuencia de fotogramas de vídeo en función de uno o más colores característicos de dicho objeto de píxeles seleccionado, y (iii) generar uno o más archivos de vídeo enlazados separados de dichos fotogramas de vídeo.

6. 6.

   Sistema según la reivindicación 5, caracterizado porque dicha plataforma informática está configurada para capturar un fotograma de dicha secuencia de fotogramas de vídeo para ser vistos para la definición de un fotograma de vídeo capturado.

7. 7.

   Sistema según la reivindicación 5 ó 6, caracterizado porque dicha plataforma informática está configurada para la identificación automática de los valores de los píxeles promedio de la mediana de una serie de fotogramas de vídeo y comparar los cambios en los valores de los píxeles respecto al promedio de la mediana y que indica un salto de segmento cuando el cambio de los valores de los píxeles es mayor que una cantidad determinada.

8. 8.

   Sistema según la reivindicación 5 ó 6, caracterizado porque dicha plataforma informática está configurada para compensar automáticamente los cambios en dicha una o más características de color de dicho objeto de píxeles seleccionado debido a cambios de iluminación.