ES2884084T3 - Método y sistema de sincronización entre un contenido audiovisual de referencia y una versión alterada del mismo emitida por televisión - Google Patents

Abstract

Método que busca poder proporcionar o recoger información adicional relativa al contenido de una emisión, siendo necesario para ello diseñar un proceso de sincronización entre un contenido audiovisual de referencia y una versión alterada del mismo emitida por televisión, donde el método comprende las etapas de: - Creación de una huella del contenido emitido mediante la extracción en tiempo real de características de la imagen correspondientes a una serie de marcos, realizando: - Parcelación de la imagen, es decir la pantalla correspondiente a un marco de la emisión se divide en trozos más pequeños o parcelas. - Extracción del histograma de color correspondiente a cada trozo parcelado, - Búsqueda de puntos significativos de la imagen de cada marco analizado - Detección del periodo de emisión de publicidad - Comparación entre la huella creada del contenido emitido y la huella creada del contenido de referencia hasta lograr un grado de coincidencia o certidumbre o correspondencia dentro de un umbral

Description

DESCRIPCIÓN

Método y sistema de sincronización entre un contenido audiovisual de referencia y una versión alterada del mismo emitida por televisión.

OBJETO DE LA INVENCIÓN

En primer lugar, el objeto de la presente invención, como se especifica en el título, es un método para sincronizar un contenido audiovisual de referencia y una versión alterada del mismo que se transmite por televisión y, en segundo lugar, un sistema para llevar a cabo dicho método de sincronización.

La sincronización entre la transmisión de contenido por televisión y el contenido de referencia hace posible mostrar y obtener metadatos o datos adicionales para las imágenes mostradas por televisión. Es decir, el propósito es tener información adicional sobre la transmisión de imágenes por televisión, desde cualquier plataforma de visualización (tableta o teléfono inteligente, televisor inteligente, reproductor de videos en línea, etc.) en tiempo real y sincronizada con la transmisión de la película o el documental.

La presente invención se caracteriza por el uso de diferentes algoritmos, algunos de ellos adaptativos o inteligentes, además de algunas técnicas digitales, de un modo conjunto y sinérgico, a fin de obtener una sincronización de alta seguridad.

Por lo tanto, la presente invención se encuadra en el campo de las técnicas digitales, en particular, aquellas relacionadas con la transmisión de programas.

ANTECEDENTES DE LA INVENCIÓN

A fin de entender el método de sincronización propuesto, es necesario saber que las películas que vemos son una sucesión de una serie de imágenes por segundo, lo cual crea el efecto óptico de continuidad.

El número de imágenes por segundo, también conocido como frecuencia de actualización o fps (cuadros por segundo) es la frecuencia en la que un dispositivo muestra imágenes llamadas cuadros o fotogramas. El término se aplica de igual manera a películas y cámaras de video, gráficos de computadora y sistemas de captura de movimiento. La frecuencia de actualización se expresa en cuadros por segundo, o su acrónimo FPS.

Las primeras películas mudas se filmaban con cámaras que grababan solo a 15 imágenes por segundo; como resultado, cuando se exhibían, generalmente a una alta velocidad, las acciones de los personajes parecían mucho más aceleradas. La frecuencia de cuadros se incrementó progresivamente con el tiempo, hasta llegar a 22 cuadros por segundo, aunque, de hecho, la velocidad final de la película podía variar, incluso por acción de la persona a cargo de la proyección en la cabina correspondiente.

La adición del sonido a las películas implicó el requerimiento de filmar imágenes a una frecuencia fija de 24 cuadros por segundo, para poder lograr la uniformidad del sonido. El oído humano es más sensible que el ojo y el aumento o reducción de la velocidad del sonido no hubiese sido algo que pase desapercibido frente a los espectadores. La frecuencia de 24 cuadros por segundo sobrevivió con el tiempo, de modo tal que incluso hoy se utiliza como un estándar en las filmaciones y exhibiciones cinematográficas, lo que les da a las películas su particular apariencia visual cinematográfica.

A veces, al ver una película o una transmisión grabada, nos gustaría tener información adicional sobre lo que estamos viendo; por ejemplo, datos relacionados con los objetos o lugares mostrados (horarios, precios de venta de diferentes productos, ubicaciones, datos históricos, datos geográficos, cómo llegar ahí, etc.); sin embargo, no es algo que se necesite de inmediato. También resulta interesante obtener datos (opiniones, deseos, mensajes etc.) relacionados con un aspecto específico del contenido.

En el estado de la técnica se conoce el documento US2015110340 que describe sistemas y métodos para identificar un contenido de video desconocido. Un método ejemplar puede incluir recibir una primera huella digital y una segunda huella digital. La primera huella digital puede ser a base de color, derivada de colores en una porción del contenido de video desconocido, mientras que la segunda huella digital puede basarse al menos parcialmente en una característica diferente a los colores del contenido de video desconocido. Una base de datos de referencia de las huellas digitales de referencia se puede consultar, a continuación, usando la primera o la segunda huella digital, a fin de obtener un grupo candidato de huellas digitales. El grupo candidato de huellas digitales se puede consultar, a continuación, usando la otra huella digital, ya sea la primera o la segunda, para identificar al menos una huella digital de consulta. El contenido de video desconocido, a continuación, se puede identificar usando la al menos una huella digital de consulta. Por ejemplo, la segunda huella digital puede ser una huella digital basada en luminancia que deriva de la luminancia en el contenido de video desconocido.

Por tanto, con el método propuesto en esta invención, nuestra intención es proporcionar información adicional relacionada con el contenido de una transmisión; a tal fin, resulta necesario diseñar un método para sincronizar un contenido audiovisual de referencia y una versión alterada del mismo emitida por televisión, donde se ha adicionado un número de campos de información, mediante el desarrollo de un método y un sistema o arquitectura tal como el que se describe a continuación, cuya esencialidad se especifica en la primera reivindicación.

DESCRIPCIÓN DE LA INVENCIÓN

El objeto de la presente invención es un método para sincronizar un contenido audiovisual de referencia y una versión alterada del mismo transmitido por televisión.

El contenido audiovisual de referencia se entiende que significa el contenido básico grabado y almacenado a sincronizar, mientras que, en general, el contenido audiovisual transmitido es una versión alterada del contenido de referencia, debido a las transformaciones que podría haber sufrido la imagen de referencia (remasterizaciones que alteran el color o los bordes, incluyendo cortes de una parte de la imagen de referencia (recorte), la existencia de diferentes versiones del mismo contenido de referencia que han tenido segmentos adicionados o eliminados y la posible diferencia en la velocidad de transmisión entre el contenido de referencia y el contenido transmitido por televisión.

En general, las etapas necesarias para

obtener dicha sincronización son:

- La creación, antes de la transmisión, de un rastro del contenido de referencia, donde se realizan las transformaciones necesarias del contenido de referencia.

- La creación, en tiempo real, de un rastro del contenido transmitido, donde se realizan las transformaciones necesarias del contenido transmitido.

- La comparación entre el rastro creado a partir del contenido transmitido y el rastro creado a partir del contenido de referencia hasta alcanzar cierto grado de coincidencia o certeza, dentro de un umbral que puede ser fijo o adaptativo. El algoritmo de sincronización toma diferentes aspectos en cuenta; por un lado, se encarga de extraer las características de la imagen que corresponden a una serie de cuadros; a tal fin, durante el método de crear los rastros tanto del contenido de referencia como del contenido transmitido, se realizan las siguientes acciones:

- Particionar la imagen, es decir, la pantalla que corresponde a un cuadro de la transmisión, mediante la división de la imagen en piezas o particiones más pequeñas.

- Extraer el histograma de color que corresponde a cada una de las piezas particionadas, para obtener cuatro histogramas de color particionados, uno para el color rojo, otro para el azul, otro para el verde y, por último, uno para el gris.

- Buscar puntos significativos mediante la búsqueda de formas o los puntos límites de la imagen del cuadro, cuyas características se deben obtener, es decir que ya no estamos buscando un análisis o histograma de color, sino las formas o puntos de borde, o aquellos que hacen a la mayor diferencia.

La comparación entre las características de la imagen en cada uno de los cuadros analizados y un cuadro del contenido de referencia, a fin de determinar si la imagen emitida en un tiempo dado corresponde o no a la imagen emitida almacenada; e este caso, si hubiese metadatos asociados con la imagen correspondiente, se mostrarían en la pantalla del usuario.

El método debería ser capaz de determinar si la comparación entre los dos cuadros, el de la imagen emitida y el de la de referencia, coinciden o no. Dicha coincidencia no necesariamente debe ser total, ya que depende de varios factores, como la calidad de la transmisión, la calidad de la transmisión almacenada o la calidad de la película en sí misma, el ruido adicionado a la imagen por la emisora, en la forma de logos o mensajes, las transformaciones que haya sufrido la imagen de referencia (remasterizaciones que alteran el color de los bordes, incluyendo los cortes de una parte de la imagen de referencia (recorte), la existencia de diferentes versiones del mismo contenido de referencia a las que se han adicionado o de las que se han eliminado segmentos, y la posible diferencia en la velocidad de transmisión entre el contenido de referencia y la transmisión del contenido por televisión; por lo tanto, se considera que existe una coincidencia cuando hay un grado de certeza dado o las diferencias están dentro de un umbral que, además, puede ser adaptativo o inteligente, es decir, uno que aprende de los niveles de certeza que se pueden alcanzar durante la comparación o que puede ser considerado como una buena o una mala sincronización de un cuadro transmitido con un cuadro de referencia dado, donde un grado de certeza requerido a lo largo de la transmisión se puede modificar cambiando el umbral requerido.

Durante el método de comparar los cuadros, se usa una ventana de navegador que está ubicada alrededor del tiempo de la transmisión, preferentemente hacia adelante, es decir, hacia un tiempo posterior. El propósito es extraer las características de la imagen de los cuadros correspondientes a una dimensión de ventana dada, a fin de no tener que recuperar las características de la imagen de todos los cuadros en la transmisión, sino solo de aquellos más cercanos al tiempo de la transmisión.

La ventana del navegador puede ser adaptativa, es decir que no necesita tener una longitud fija, de modo tal que, a medida que el grado de correspondencia alcanzado en la comparación entre los cuadros aumenta, la ventana del navegador se puede reducir, mientras que, si el grado de correspondencia entre los cuadros disminuye, la longitud de la ventana del navegador aumenta. Por consiguiente, en el caso de que el grado de correspondencia disminuya progresivamente, el número de segundos buscados en la ventana del navegador se duplica cada vez que el grado de una correspondencia disminuye, hasta un máximo prestablecido, y una vez que este último se alcanza, la ventana avanza hasta encontrar nuevamente una correspondencia entre el contenido transmitido y el contenido de referencia. Otro aspecto a considerar en el método de sincronización, es la extracción de las barras negras horizontales, las cuales, en algunas transmisiones, aparecen arriba y abajo de la imagen de la transmisión, a fin de adaptarse a diferentes formatos. El método de tiempo real debe ser capaz de detectarlas y cortarlas, para determinar qué pieza de la imagen se debe cortar, y extraer las características de la imagen solo de aquellas partes que tienen contenido comparable.

A fin de cumplir con dicho propósito, el método saca provecho de tres características específicas para estas barras negras: son bandas continuamente estáticas, motivo por el cual no sufren cambios ni se mueven; son bandas simétricas o casi simétricas ubicadas en los extremos superior e inferior del contenido; y son totalmente negras; de este modo, se puede detectar el ancho de las barras negras horizontales.

Otro aspecto clave es la detección automática de los cortes publicitarios (o pausas para otros fines) durante la transmisión del contenido por televisión. Para alcanzar dicha detección, el método se basa en tres elementos:

• La identificación del logo del canal que transmite, que se ubica habitualmente en alguna de las esquinas de la transmisión, generalmente es estático. El algoritmo detecta su posición y forma. La identificación del logo es muy útil para detectar el período de transmisión de publicidad, ya que, durante la transmisión de publicidades, el logo desaparece y reaparece cuando se reanuda la transmisión.

• La identificación de los cuadros negros, que son habitualmente tres o cuatro cuadros completamente negros consecutivos, que permite que los canales comerciales separen la transmisión de una película o un programa de las publicidades.

• El análisis del grado de correspondencia durante la comparación entre los cuadros, de modo tal que, cuando dicho grado de correspondencia se dispara bruscamente, es un claro indicador del inicio de las publicidades.

Detectar el momento en que la transmisión se reanuda es más sencillo, ya que, en la comparación, los cuadros de la transmisión empiezan a verse como los cuadros almacenados.

El sistema es muy sólido y confiable, y logra la sincronización incluso en aquellas situaciones donde el contenido transmitido y el contenido de referencia son ampliamente diferentes. De manera específica, en el caso de:

• Las diferentes velocidades de transmisión, en cuadros por segundo, del contenido de referencia y el contenido transmitido, ajustadas a diferentes estándares internacionales (PAL, NTSC, etc.).

• El ruido superpuesto que es introducido por la emisora (logos, mensajes, etc.).

• Las versiones modificadas con respecto al contenido de referencia (espectro de color modificado, suavización de los contornos, cortes parciales de la imagen, textos superpuestos en diferentes idiomas, etc.).

• Las versiones extendidas o cortas del contenido de referencia, debido al hecho de que algunas escenas han sido adicionadas o eliminadas, de que pueden contener finales alternativos, etc.

Salvo que se indique lo contrario, todos los elementos técnicos y científicos usados en la presente memoria descriptiva tienen el significado que habitualmente entiende un experto normal en la materia a la que pertenece esta invención. En la implementación de la presente invención, se pueden usar métodos y materiales similares o equivalentes a aquellos descritos en la memoria descriptiva.

A lo largo de la descripción y de las reivindicaciones, la palabra “comprende” y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o etapas. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la implementación de la invención.

EXPLICACION DE LAS FIGURAS

A fin de complementar la descripción que se presenta y para contribuir con una mejor comprensión de las características de la invención, según una realización preferida de la misma, un conjunto de dibujos se une a dicha descripción como una parte integral de la misma, donde lo siguiente está representado por cuestiones ilustrativas y no limitantes: En la Figura 1, podemos observar una representación de la arquitectura del sistema diseñado para implementar el método y la distribución de datos adicionales en las transmisiones sincronizadas.

REALIZACIÓN PREFERIDA DE LA INVENCIÓN

En vista de las figuras, a continuación se describe una realización preferida de la invención propuesta.

En la Figura 1, podemos observar que la arquitectura del sistema que permite la sincronización y la distribución de información, datos o metadatos adicionales en relación con una transmisión en vivo de una película, serie o documental hacia un número de terminales comprende:

- Una serie de receptores de televisión (1), diseñados para sincronizar el contenido de referencia con la transmisión por televisión, mediante la notificación del indicador actual y el estado de los canales sincronizados por medio de solicitudes de HTTP, y distribuirlos a todos los servidores de sincronización.

- Una serie de servidores de sincronización (2) conectados a los grupos de los sintonizadores de televisión (1), que concentran las diferentes señales de sincronización recibidas desde los mismos y redistribuyen las actualizaciones relevantes hacia los dispositivos (3) conectados a ellos. En la misma máquina se pueden ejecutar varios servidores de sincronización, mediante la recepción de conexiones desde diferentes dispositivos o puertos. El número de dispositivos (3) soportados es escalable, mediante la apertura de nuevas instancias.

- Una serie de monitores de sincronización (4) que controlan la ejecución de los servidores de sincronización (2), almacenando periódicamente el estado del mismo en una tabla (5) y actualizándolo en la nube (6).

Habiendo descrito de manera suficiente la naturaleza de la presente invención, así como también el modo de implementarla, declaramos que, dentro de su esencialidad, puede implementarse en otras realizaciones que pueden diferir en algunos detalles de la que se describe como un ejemplo, y que recibirán igualmente la protección solicitada, siempre y cuando no alteren, cambien o modifiquen el principio fundamental de la misma, como se define en las reivindicaciones adjuntas.

Claims (6)

REIVINDICACIONES

1. Método para sincronizar un contenido audiovisual de referencia con una versión alterada del mismo emitida por televisión, que comprende las siguientes etapas:

• la creación, antes de la transmisión, de un rastro del contenido de referencia, donde se realizan las transformaciones necesarias del contenido de referencia,

• la creación, en tiempo real, de un rastro del contenido transmitido mediante la extracción de las características de la imagen que corresponde a una serie de cuadros;

donde, en el método de crear los rastros tanto del contenido de referencia como del contenido transmitido, se realizan las siguientes acciones:

• particionar la imagen que corresponde a un cuadro de la transmisión, mediante la división de la imagen en piezas o particiones más pequeñas,

• extraer el histograma de color correspondiente a cada una de las piezas particionadas,

• buscar puntos significativos mediante la búsqueda de los puntos límites de la imagen en cada uno de los cuadros analizados;

El método continúa con las siguientes etapas:

• la detección de un período de transmisión de publicidad durante la transmisión del contenido,

• la comparación entre rastros creados a partir del contenido transmitido y el contenido de referencia hasta alcanzar un determinado grado de correspondencia dentro de un umbral dado,

• donde un número de cuadros de los cuales se crea un rastro del contenido transmitido coincide con una ventana de navegador ubicada alrededor del tiempo de la transmisión,

• la ventana del navegador es adaptativa, de modo tal que cuanto mayor sea el grado de correspondencia alcanzado al comparar los cuadros, la ventana del navegador se podrá reducir, mientras que, si el grado de correspondencia entre los cuadros disminuye, la longitud de la ventana del navegador aumenta,

en el caso de que el grado de correspondencia disminuya progresivamente, el número de segundos buscados en la ventana del navegador se duplica cada vez que el grado de correspondencia disminuye, hasta un máximo configurable y, una vez que se alcanza ese máximo, la ventana comienza a buscar en una dirección hacia adelante hasta alcanzar la sincronización.

2. Método para sincronizar un contenido audiovisual de referencia con una versión alterada del mismo emitida por televisión, según la reivindicación 1, donde el número de cuadros analizados para la creación del rastro de referencia es uno para cada segundo del contenido de referencia.

3. Método para sincronizar un contenido audiovisual de referencia con una versión alterada del mismo emitida por televisión, según cualquiera de las reivindicaciones anteriores, donde los histogramas de color obtenidos para cada pieza particionada de cada cuadro de la transmisión son histogramas, uno para el color rojo, otro para el azul, otro para el verde y, por último, uno para el gris.

4. Método para sincronizar un contenido audiovisual de referencia con una versión alterada del mismo emitida por televisión, según cualquiera de las reivindicaciones anteriores, donde la detección de los períodos de transmisión de publicidad se basa en uno o una combinación de algunos de los métodos descritos:

• la identificación del logo del canal transmitido, mediante la determinación, durante la transmisión de las publicidades, de que el logo desaparece y reaparece cuando la transmisión se reanuda,

• la identificación de cuadros negros, mediante la determinación de tres o cuatro cuadros completamente negros consecutivos, que permite que los canales comerciales separen la transmisión de una película o un programa de las publicidades,

• el análisis del grado de correspondencia durante la comparación entre los cuadros, mediante la determinación de que, cuando dicho grado de correspondencia se dispara bruscamente, es el inicio de las publicidades.

5. Los métodos para sincronizar un contenido audiovisual de referencia con una versión alterada del mismo emitida por televisión, según cualquiera de las reivindicaciones anteriores, donde el umbral dentro del cual una correspondencia entre el cuadro transmitido y el cuadro de referencia que se considera que existe es adaptativo o inteligente, el cual aprende de los niveles de certeza que se pueden alcanzar durante la comparación o lo que se puede considerar que es una buena o una mala sincronización de un cuadro de transmisión con un cuadro de referencia dado, donde el grado de certeza requerido a lo largo de la transmisión se puede modificar cambiando el umbral requerido.

6. Un sistema configurado para llevar a cabo la sincronización, de acuerdo con el método según cualquiera de las reivindicaciones 1 a 5, y configurado además para llevar a cabo la distribución de información adicional o datos, etadatos, relacionados con una transmisión en vivo hacia una serie de dispositivos (3), donde comprende:

• una serie de sintonizadores de televisión (1), diseñados para sincronizar el contenido transmitido por televisión de canales de transmisión con el contenido de referencia grabado o almacenado, mediante la notificación del indicador actual y el estado de los canales sincronizados por medio de solicitudes de HTTP, y distribuirlos a todos los servidores de sincronización,

• una serie de servidores de sincronización (2) conectados a los grupos de los sintonizadores de televisión (1), que concentran las diferentes señales de sincronización recibidas desde los mismos y redistribuyen las actualizaciones relevantes hacia los dispositivos (3) conectados a cada canal, manteniendo a estos últimos sincronizados en tiempo real,

• una serie de monitores de sincronización (4) que controlan la ejecución de los servidores de sincronización (2), almacenando periódicamente el estado del mismo en una tabla (5) y actualizándolo en la nube (6).