ES2719586T3

ES2719586T3 - Creación de puntos de referencia en un flujo multimedia con reconocimiento de contenido automatizado

Info

Publication number: ES2719586T3
Application number: ES15795649T
Authority: ES
Inventors: Jim Schrempp; Rob Williams; Vance Ikezoye; Dave Avery; Erling Wold; Alan Edel
Original assignee: Audible Magic Corp
Current assignee: Audible Magic Corp
Priority date: 2014-05-21
Filing date: 2015-05-15
Publication date: 2019-07-11
Anticipated expiration: 2035-05-15
Also published as: US20190036998A1; EP3146446A4; US20150341410A1; WO2015179245A1; US10476925B2; US10091263B2; EP3146446B1; EP3146446A1

Abstract

Un método que comprende: la recepción de un flujo multimedia (300) que comprende al menos una parte de audio o una parte de vídeo, en el que el flujo multimedia (300) comprende una pluralidad de segmentos de contenido que carecen de un punto de referencia; el almacenamiento del flujo multimedia (300) en un almacén de datos multimedia (104) para su reproducción en un momento posterior; cuando se identifica, por parte de un dispositivo de procesamiento (702), un primer segmento de contenido de la pluralidad de segmentos de contenido del flujo multimedia (300), en el que el primer segmento de contenido corresponde a un segmento de contenido conocido en un almacén de datos de referencia de segmentos (122), la creación de una primera entrada de punto de referencia en un almacén de datos de información de segmentos (124), en el que la primera entrada de punto de referencia está asociada con el primer segmento de contenido, y en el que la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124) comprende un identificador del flujo multimedia (300), un identificador del primer segmento de contenido, un valor que indica un tiempo de inicio del primer segmento de contenido y un valor que indica un tiempo de finalización del primer segmento de contenido; con anterioridad a la reproducción del flujo multimedia (300) en un momento posterior, y cuando se recibe una indicación de reproducción, la comparación de al menos una parte de la pluralidad de los segmentos de contenido con una o varias entradas de puntos de referencia en el almacén de datos de información de segmentos (124), y cuando se alcanza la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124), la activación de una operación sobre el primer segmento del flujo multimedia identificado por la primera entrada de punto de referencia mientras el flujo multimedia está almacenado en el almacén de datos multimedia (104).

Description

DESCRIPCIÓN

Creación de puntos de referencia en un flujo multimedia con reconocimiento de contenido automatizado

Campo técnico

Esta divulgación se refiere al campo de la identificación de contenido multimedia, y en particular a la creación de puntos de referencia en un flujo multimedia con reconocimiento de contenido automatizado.

Antecedentes

Una población numerosa y cada vez mayor de usuarios disfruta de entretenimiento a través del consumo de elementos multimedia, incluidos los medios electrónicos, como por ejemplo el audio y el vídeo digital. Los usuarios emplean diversos dispositivos electrónicos para consumir dichos elementos multimedia. Entre estos dispositivos electrónicos figuran lectores de libros electrónicos, teléfonos móviles, asistentes digitales personales (PDA por sus siglas en inglés, Personal Digital Assistant), reproductores multimedia portátiles, tabletas, cuadernos electrónicos, netbooks, ordenadores de mesa, ordenadores portátiles y dispositivos similares. Los proveedores de contenido multimedia proporcionan elementos multimedia a los consumidores a través de una variedad de medios. Algunos proveedores de contenido multimedia suministran elementos multimedia en unidades individuales, otros en grandes cantidades, otros a través de alguna experiencia de streaming lineal y otros al proporcionar listas de reproducción o archivos de manifiesto de segmentos o fragmentos de multimedia. Algunos proveedores de contenido multimedia emplean una variedad de medios de suministro. Una gran cantidad de contenido multimedia electrónico se ofrece a los usuarios de forma gratuita y subvencionada a través de publicidad. Esta publicidad puede incluir mensajes publicitarios transmitidos mediante audio, texto, logotipos, animaciones, vídeos, fotografías u otros gráficos. Algunos ejemplos de anuncios incluyen anuncios de banner, frame ads (banners tradicionales), ventanas emergentes (pop-ups), anuncios flotantes, anuncios expandibles, anuncios entre sitios (interstitial ads), anuncios de vídeo, anuncios de audio y anuncios de texto. Estos anuncios se pueden presentar a un usuario de varias formas, entre las que figuran en una página web, a través de aplicaciones de medios sociales, en un dispositivo móvil o en un espacio publicitario de vídeo o audio entre o dentro de segmentos de programación regular o incluso por encima de la programación regular.

Se hace referencia a US 2004/189873 A1, en el que se divulga un sistema de sustitución de señal de televisión que reemplaza segmentos de vídeo conocidos, como por ejemplo anuncios, por anuncios de sustitución seleccionados. Se pueden almacenar los datos de huellas digitales de anuncios conocidos en una base de datos de huellas digitales. Cuando hay nuevos datos de huellas digitales disponibles, se pueden transmitir los datos de huellas digitales de forma automática o manual a los suscriptores. Se pueden utilizar varias técnicas para identificar anuncios basándose en los datos de huellas digitales.

También se hace referencia a US 2006/195860 A1, en el que se divulga un método para detectar y actuar sobre una entidad de vídeo conocida dentro de un flujo de vídeo. El método incluye la recepción de un flujo de vídeo y la creación continua de representaciones estadísticas parametrizadas para las ventanas del flujo de vídeo. Las ventanas de representación estadística parametrizada se comparan continuamente con las ventanas de una pluralidad de huellas digitales. Cada una de la pluralidad de huellas digitales incluye representaciones estadísticas parametrizadas asociadas con una entidad de vídeo conocida. Se detecta una entidad de vídeo conocida en el flujo de vídeo cuando una huella digital particular de la pluralidad de huellas digitales tiene al menos un nivel de umbral de similitud con el flujo de vídeo.

Breve descripción de los dibujos

La presente invención se comprenderá mejor al leer la descripción detallada que se presenta más adelante y estudiar los dibujos adjuntos de diversas realizaciones de la presente invención. Sin embargo, no deberá entenderse que dicha descripción y dichos dibujos limitarán la presente invención a las realizaciones específicas, sino que se presentan únicamente con fines ilustrativos y de comprensión.

La Figura 1a es un diagrama de bloques que ilustra un reproductor multimedia con un creador local de puntos de referencia en un flujo multimedia, de acuerdo con una realización.

La Figura 1b es un diagrama de bloques que ilustra un reproductor multimedia con un creador de puntos de referencia en un flujo multimedia conectado de forma remota, de acuerdo con una realización.

La Figura 1c es un diagrama de bloques que ilustra una vista detallada de un creador de puntos de referencia en un flujo multimedia para su uso en un reproductor multimedia, de acuerdo con una realización.

La Figura 2a es un diagrama de bloques que ilustra un punto de distribución de multimedia con un creador local de puntos de referencia en un flujo multimedia, de acuerdo con una realización.

La Figura 2b es un diagrama de bloques que ilustra una vista detallada de un creador de puntos de referencia en un flujo multimedia para su uso en un punto de distribución de multimedia, de acuerdo con una realización.

La Figura 2c es un diagrama de bloques que ilustra un creador de puntos de referencia en un flujo multimedia que se distribuye en múltiples ubicaciones, de acuerdo con una realización.

La Figura 3a es un diagrama que ilustra un flujo multimedia segmentado, de acuerdo con una realización.

La Figura 3b es un diagrama que ilustra un almacén de datos de información de segmentos, de acuerdo con una realización.

La Figura 4 es un diagrama de flujo que ilustra un método de creación de puntos de referencia, de acuerdo con una realización.

La Figura 5 es un diagrama de flujo que ilustra un método de identificación de segmentos, de acuerdo con una realización.

La Figura 6 es un diagrama de flujo que ilustra un método de sustitución de segmentos, de acuerdo con una realización.

La Figura 7 es un diagrama de bloques que ilustra un ejemplo de sistema informático, de acuerdo con una realización.

Descripción detallada

La invención es definida por un método de acuerdo con la reivindicación 1, un sistema de acuerdo con la reivindicación 5 y un medio no transitorio legible por ordenador de acuerdo con la reivindicación 9. Se describen realizaciones para la creación de puntos de referencia en un flujo multimedia con reconocimiento de contenido automatizado. En una realización, un flujo multimedia, que incluye flujos de audio y/o vídeo, tiene múltiples segmentos diferentes. Estos segmentos pueden incluir, por ejemplo, segmentos de contenido y anuncios. En esta divulgación, se entenderá que la expresión “segmento de contenido” significa cualquier contenido en el flujo multimedia, ya se trate de publicidad, un programa, un anuncio de servicio público, una imagen de vídeo estática o incluso un segmento de audio o vídeo en blanco. “Segmento de contenido” también puede significar un subsegmento de un anuncio, programa, anuncio de servicio público, etc. En una realización, una parte, por ejemplo un proveedor de contenido multimedia o un fabricante de reproductores multimedia, puede desear sustituir uno o más segmentos de contenido en el flujo multimedia por diferentes segmentos de contenido. A veces, el contenido de programación o los anuncios solo se pueden suministrar en determinadas áreas geográficas. Un servicio de suministro de multimedia puede desear sustituir o eliminar determinados segmentos de contenido antes del suministro a determinados receptores o áreas geográficas. En algunos casos, un anuncio puede tener un subsegmento en algún lugar dentro del mismo que suministra un mensaje muy específico. Un servicio de suministro de multimedia puede desear sustituir ese subsegmento del anuncio por otro segmento de contenido que sea más apropiado para el receptor. En una realización, un proveedor de contenido multimedia o un servicio de suministro de multimedia puede incluir, por ejemplo, un proveedor de servicios de Internet, una compañía de cable, una compañía de producción, un proveedor de sitios web, un sitio web de medios sociales, un sitio web de música o vídeo, una empresa de telecomunicaciones, un proveedor de contenido OTT (por sus siglas en inglés, over-the-top), una compañía de DVR (grabador de vídeo digital, en inglés Digital Video Recorder) en la nube u otro proveedor. Por ejemplo, un proveedor de contenido multimedia puede desear sustituir los anuncios en un flujo multimedia que recibe por diferentes anuncios antes de proporcionar el flujo multimedia a sus usuarios (por ejemplo, clientes o suscriptores). Por ejemplo, un proveedor de contenido multimedia puede desear sustituir un segmento de contenido por otro segmento de contenido antes de suministrar el flujo multimedia a sus clientes o suscriptores. En otra realización, una parte puede desear superponer algún contenido encima de algún segmento de contenido del flujo multimedia emitido. Dichas superposiciones pueden ser un anuncio de banner o información adicional que sea de interés para un usuario. Una parte puede desear mostrar los resultados deportivos sobre el contenido multimedia, pero eliminar dicha superposición cada vez que se esté reproduciendo un anuncio. Alternativamente, una parte puede desear mostrar información adicional relacionada con un anuncio, pero eliminar la superposición en cuanto termine el anuncio. Una parte puede desear sustituir un segmento de contenido por un segmento de imagen de vídeo estática. Una parte puede desear eliminar un segmento de contenido de un flujo. En una realización, una parte puede desear realizar acciones para facilitar el aumento del flujo multimedia con el fin de prestar apoyo a los usuarios con una o más discapacidades. Por ejemplo, la parte puede proporcionar diferentes niveles de información con subtítulos mientras se reproduce el contenido. Los diferentes niveles pueden incluir información básica que puede ser útil para una persona sin problemas de audición o información adicional que puede ser útil para una persona sorda. La información adicional se puede sincronizar con el flujo multimedia, y el flujo multimedia puede no tener puntos de referencia apropiados o precisos.

En otra realización, un proveedor o dispositivo de contenido multimedia puede enviar una señal a un segundo dispositivo, como por ejemplo una tableta o un decodificador de televisión (Set-Top Box), que a continuación realiza alguna acción, por ejemplo mostrar contenido complementario o publicidad, presentar al usuario una encuesta o permitir que el usuario realice un comentario sobre la transmisión. En otra realización, una parte puede desear saber qué segmento de contenido está experimentando un usuario. Saber qué segmentos de contenido ha experimentado un usuario a lo largo del tiempo puede permitirle a una parte seleccionar mejor la publicidad futura o el contenido multimedia para dicho usuario. A menos que el flujo multimedia tenga puntos de referencia, por ejemplo códigos SCTE 35, integrados en el flujo para designar las ubicaciones de los segmentos de contenido, el proveedor de contenido multimedia puede no tener forma de saber dónde o cuándo se ubican los segmentos de contenido en el flujo. Como consecuencia, es posible que no pueda realizar acciones cuando un segmento de contenido específico se encuentra ubicado en el flujo multimedia. En algunos casos, incluso cuando los puntos de referencia u otros indicadores están presentes en el flujo multimedia, estos pueden no ser precisos o fiables, lo que puede dar lugar a errores durante la sustitución del segmento. Además, los puntos de referencia integrados, como SCTE 35, se proporcionan con mayor frecuencia para indicar los puntos de límite entre los segmentos multimedia. El proveedor de contenido multimedia puede desear activar acciones que ocurren dentro de un segmento multimedia. Por ejemplo, un proveedor de contenido multimedia puede desear activar una acción cuando una determinada canción está presente en el flujo multimedia de audio, cuando se detecta un idioma determinado, cuando se detecta un sonido determinado (por ejemplo, el sonido de una llamada telefónica, el sonido del cierre de la puerta de un automóvil) o cuando se detecta una clase de sonidos (por ejemplo, ladridos de perros, explosiones, pasos). También, un proveedor de contenido multimedia puede desear activar una acción siempre que un determinado objeto, como por ejemplo una lata de refresco o una persona en particular, esté presente en el flujo multimedia de vídeo. El proveedor de contenido multimedia puede desear sustituir solo determinados segmentos de contenido. En muchos casos, los puntos de referencia integrados no suministran metadatos o enlaces que describan los segmentos de contenido específicos que serían necesarios para sustituir solo determinados segmentos de contenido. En otra realización, una parte puede desear sustituir un subsegmento de contenido multimedia por otro segmento que sea más apropiado para el espectador. Por ejemplo, una parte puede desear sustituir la última parte de un anuncio que ofrece un descuento específico por un segmento diferente que ofrece un descuento diferente. En otro ejemplo, una parte puede desear eliminar por completo alguna parte de un anuncio que ofrece un descuento específico o menciona a un minorista específico. En otro ejemplo, una parte puede desear proporcionar información sobre la ubicación y la información de contacto de un minorista local durante un anuncio de difusión nacional.

En una realización, un creador de puntos de referencia en un flujo multimedia, ubicado dentro de un reproductor multimedia, en un punto de distribución de multimedia (por ejemplo, el centro distribuidor de un operador de cable, un nodo de una red de distribución de contenido o una estación de radio o TV que retransmite un programa sindicado) o en un servidor conectado a la red, utiliza el reconocimiento de contenido automatizado para identificar los segmentos de contenido específicos en un flujo multimedia que no tiene puntos de referencia o indicadores previos, y genera puntos de referencia asociados con los segmentos de contenido identificados. El creador de puntos de referencia en un flujo multimedia, u otras partes, pueden a continuación ubicar un segmento determinado en el flujo multimedia utilizando los puntos de referencia generados y realizar alguna operación con respecto al segmento. Por ejemplo, el creador de puntos de referencia en un flujo multimedia puede identificar un anuncio en un flujo multimedia y permitir que un proveedor de contenido sustituya el anuncio con un anuncio diferente, bloquee el anuncio, superponga contenido sobre el anuncio, sustituya el anuncio con otro contenido multimedia o suprima el anuncio.

En una realización, el creador de puntos de referencia en un flujo multimedia recibe un flujo multimedia entrante y genera una huella digital de audio y/o vídeo de flujo multimedia. El creador de puntos de referencia en un flujo multimedia compara la huella digital con una base de datos de segmentos multimedia conocidos para determinar si existe una coincidencia mediante el uso de técnicas determinadas. Una de estas técnicas se describe en la patente de Estados Unidos n.° 5.918.223, concedida el 29 de junio de 1999. Si la huella digital coincide con la huella digital de un segmento multimedia conocido en la base de datos, o al menos con una parte de la huella digital conocida, el creador de puntos de referencia en un flujo multimedia genera una entrada de punto de referencia en un almacén de datos de información de segmentos. Un experto en la técnica reconocerá que se conocen muchas técnicas para detectar objetos específicos dentro de las imágenes de un flujo multimedia de vídeo. Usando una de estas técnicas, cuando se identifica que un objeto está presente en el flujo multimedia, el creador de puntos de referencia genera una entrada de puntos de referencia en un almacén de datos de información de segmentos. La entrada del punto de referencia puede incluir información, como por ejemplo un identificador del flujo multimedia, un identificador del segmento, un tiempo/valor de inicio del segmento, información relacionada con la publicidad, un tiempo/valor de finalización del segmento y otros metadatos que describen el segmento. Antes o durante la reproducción del flujo multimedia, el creador de puntos de referencia en un flujo multimedia identifica un punto de referencia en el flujo multimedia y activa alguna operación, como por ejemplo la sustitución de un segmento. Durante la sustitución del segmento, el creador de puntos de referencia en un flujo multimedia puede identificar la información de contexto de reproducción, por ejemplo cuándo, dónde, quién, etc., está realizando la reproducción, y puede proporcionar esa información a otra parte o usar esa información él mismo para seleccionar un segmento de sustitución (por ejemplo, un nuevo anuncio). El creador de puntos de referencia en un flujo multimedia, o algún otro dispositivo, puede entonces sustituir el segmento original en el flujo multimedia por el nuevo segmento y continuar la reproducción del flujo.

En una realización, las operaciones de creación de puntos de referencia en el flujo multimedia que utilizan el reconocimiento de contenido automatizado, que se describen en este documento, permiten que una parte reconozca e identifique segmentos específicos en un flujo multimedia que anteriormente no tenía puntos de referencia u otros indicadores de los diversos segmentos. En otras realizaciones, se pueden usar las técnicas descritas en el presente en un flujo multimedia que tiene algunos puntos de referencia, pero no tiene otros, o tiene puntos de referencia presentes que son poco fiables o imprecisos. Esto permite a las partes realizar una variedad de operaciones en los segmentos, identificados ahora por los puntos de referencia creados, como la sustitución o superposición del segmento. La capacidad de identificar y sustituir e informar sobre el consumo de segmentos por parte de un espectador en un flujo multimedia puede suponer muchas ventajas, como la mejora del contenido, el aumento de los ingresos por publicidad y otras.

La Figura 1a es un diagrama de bloques que ilustra un reproductor multimedia (100) con un creador local de puntos de referencia en el flujo multimedia (110), de acuerdo con una realización. En una realización, el reproductor multimedia (100) puede ser cualquier tipo de dispositivo informático que incluye un ordenador servidor, un ordenador de enlace (gateway Computer), un ordenador de mesa, un ordenador portátil, un dispositivo de comunicaciones móvil, un teléfono móvil, un teléfono inteligente o smartphone, un ordenador de mano, una tableta, un decodificador (STB), un grabador de vídeo digital (DVR), un ordenador para llevar puesto (wearable) o un dispositivo informático similar. El reproductor multimedia (100) puede configurarse de diversas maneras con diferentes características para permitir la grabación y visualización de contenido y recursos, así como la ejecución de una o más aplicaciones. El reproductor multimedia (100) puede estar representado, por ejemplo, por el sistema informático (700) de la Figura 7.

En una realización, el reproductor multimedia (100) incluye varios módulos y almacenes de datos para permitir la grabación y reproducción de contenido multimedia. Por ejemplo, el reproductor multimedia (100) puede incluir el controlador de grabación de DVR (102), el almacén de datos multimedia (104) y el controlador de reproducción de DVR (106). En una realización, el controlador de grabación de DVR (102) recibe un flujo multimedia entrante y puede opcionalmente, siguiendo las instrucciones de un usuario o programa que se ejecuta en el reproductor multimedia (100), grabar una copia del flujo multimedia en el almacén de datos multimedia (104). Puede almacenarse temporalmente una copia del flujo multimedia (mientras el creador de puntos de referencia en un flujo multimedia (110) realiza el procesamiento asociado) antes de la reproducción, o puede almacenarse durante un periodo más prolongado de tiempo para ser reproducido en una fecha u hora posterior. El almacén de datos multimedia (104) puede incluir uno o varios dispositivos de almacenamiento masivo que pueden incluir, por ejemplo, memoria flash, discos magnéticos u ópticos o unidades de cinta; memoria de solo lectura (ROM); memoria de acceso aleatorio (RAM); memoria programable borrable (por ejemplo, EPROM y EEPROM); memoria flash; o cualquier otro tipo de medio de almacenamiento. El flujo multimedia grabado puede almacenarse en formato MPEG o en cualquier otro formato adecuado. El controlador de reproducción de DVR (106) administra la reproducción de multimedia grabada desde el almacén de datos multimedia (104) en un dispositivo de visualización conectado interno o externo, como por ejemplo una pantalla conectada directamente o una pantalla en un terminal remoto conectado a través de una red (por ejemplo, un DVR en la nube). El controlador de reproducción de DVR (106) puede iniciar, detener, pausar o continuar la reproducción de multimedia grabada siguiendo las instrucciones de un usuario u otro programa que se ejecute en el reproductor multimedia (100).

En una realización, el reproductor multimedia (100) incluye también el creador de puntos de referencia en el flujo multimedia (110) y el almacén de datos asociados (120). El almacén de datos (120) puede ser un almacén de datos independiente o puede compartir un dispositivo de almacenamiento con el almacén de datos multimedia (104). El creador de puntos de referencia en el flujo multimedia (110) utiliza el reconocimiento de contenido automatizado para identificar segmentos específicos en un flujo multimedia almacenado en el almacén de datos multimedia (104) y generar puntos de referencia asociados con los segmentos identificados. El creador de puntos de referencia en el flujo multimedia (110), u otro módulo, puede ubicar a continuación un segmento determinado en el flujo multimedia utilizando los puntos de referencia generados y realizar alguna operación en el segmento. Por ejemplo, el creador de puntos de referencia en el flujo multimedia (110) puede identificar un anuncio original en un flujo multimedia almacenado y sustituir el anuncio original por un nuevo anuncio. Esta sustitución se puede realizar mientras se visualiza el flujo multimedia. En el caso de flujos multimedia grabados, esta sustitución también se puede realizar antes de que se visualice el flujo multimedia. En otra realización, se recibe un flujo multimedia de entrada y los datos se envían al creador de puntos de referencia en un flujo multimedia (110) y a un dispositivo de salida, como por ejemplo una pantalla o altavoz, al mismo tiempo. El creador de puntos de referencia en un flujo multimedia (110) puede tardar un periodo breve de tiempo para realizar su procesamiento (es decir, identificar un segmento de contenido y crear un punto de referencia). Mientras tanto, es posible que el segmento de contenido ya haya comenzado a reproducirse en el dispositivo de salida. El creador de puntos de referencia en un flujo multimedia (110) puede activar la creación de una superposición durante el segmento de contenido. El creador de puntos de referencia en un flujo multimedia (110) puede predecir cuándo finalizará el segmento de contenido y activar la eliminación de la superposición, justo cuando finaliza el segmento de contenido. En este caso, el almacén de datos multimedia (104) puede no utilizarse. En otra realización, el almacén de datos multimedia (104) puede mantener un pequeño búfer del flujo multimedia para retrasar la reproducción, quizás para proporcionar al usuario una función de “saltar adelante” o “saltar hacia atrás”. Más adelante se proporcionarán detalles adicionales del creador de puntos de referencia en un flujo multimedia (110).

La Figura 1b es un diagrama de bloques que ilustra un reproductor multimedia (100) con un creador de puntos de referencia en un flujo multimedia (110) conectado de forma remota, de acuerdo con una realización. En una realización, el reproductor multimedia (100) puede no tener un creador interno de puntos de referencia en un flujo multimedia, sino que puede estar conectado a un servidor remoto (150) a través de una red (140). La red (140) puede ser una red de área local (LAN), una red inalámbrica, una red telefónica, una red de comunicaciones móviles, una red de área amplia (WAN), como por ejemplo Internet, un enlace de comunicación de campo cercano, Bluetooth o un sistema de comunicación similar. El servidor (150) puede incluir una funcionalidad basada en servidor accesible a través de la red, varios almacenes de datos y/u otro equipo de procesamiento de datos. Puede implementarse el servidor (150) a través de una sola máquina o un grupo de máquinas. El servidor (150) puede estar alojado, por ejemplo, en el sistema informático (700) de la Figura 7.

En una realización, el servidor (150) aloja el creador de puntos de referencia en un flujo multimedia (110) y el almacén de datos asociado (120). Cuando se ejecuta en el servidor remoto (150), el creador de puntos de referencia en un flujo multimedia (110) y el almacén de datos asociado (120) pueden realizar sustancialmente las mismas acciones que cuando están alojados localmente en el reproductor multimedia (100). En esta realización, la comunicación entre el creador de puntos de referencia en un flujo multimedia (110) y los otros componentes del reproductor multimedia (100) (por ejemplo, el controlador de grabación de DVR (102), el almacén de datos multimedia (104) y el controlador de reproducción de DVR (106)) puede producirse a través de la red (140). Un experto en la técnica comprenderá que la descripción del creador de puntos de referencia en un flujo multimedia (110) en el presente documento será aplicable igualmente cuando el creador de puntos de referencia en un flujo multimedia (110) se encuentre ubicado localmente dentro del reproductor multimedia (100), se encuentre ubicado de forma remota en el servidor (150) o se encuentre en cualquier otra ubicación. En otras realizaciones, la funcionalidad del creador de puntos de referencia en un flujo multimedia (110) puede dividirse entre múltiples dispositivos. Por ejemplo, una parte dentro del reproductor multimedia (100) puede crear huellas digitales del flujo multimedia y enviarlas a otra parte ubicada en el servidor (150), donde se realiza un análisis adicional.

La Figura 1c es un diagrama de bloques que ilustra una vista detallada de un creador de puntos de referencia en un flujo multimedia (110) para su uso en un reproductor multimedia (100), de acuerdo con una realización. En una realización, el creador de puntos de referencia en un flujo multimedia (110) incluye el módulo identificador de segmentos (112), el módulo de alerta de punto de referencia de segmento (114) y el módulo de precaptura (pre-fetch) de segmento (116). Esta configuración de módulos y componentes puede ser una separación lógica, y en otras realizaciones, estos módulos u otros componentes pueden combinarse entre sí o separarse en otros componentes adicionales, de acuerdo con una realización particular. En una realización, un almacén de datos conectado al creador de puntos de referencia en un flujo multimedia (110) incluye el almacén de datos de referencia de segmentos (122), el almacén de datos de información de segmentos (124) y el almacén de datos de segmentos de sustitución (126). En una realización, el reproductor multimedia (100) puede incluir el creador de puntos de referencia en un flujo multimedia (110) y el almacén de datos (120). En otra realización, el almacén de datos (120) puede ser externo al creador de puntos de referencia en un flujo multimedia (110) y puede estar conectado a través de una red u otra conexión. En otras realizaciones, el reproductor multimedia (100) puede incluir componentes diferentes y/o adicionales que no se muestran para simplificar la descripción.

En una realización, el módulo identificador de segmentos (112) identifica segmentos de un flujo multimedia almacenados en el almacén de datos multimedia (104) usando un reconocimiento de contenido automatizado. En una realización, puede producirse un pequeño retraso cuando se realiza el reconocimiento de contenido automatizado en un flujo de datos en vivo. Sin embargo, este retraso puede no tener importancia para el espectador final y puede ejecutarse simultáneamente con los retrasos habituales de transmisión. El módulo identificador de segmentos (112) genera una huella digital de audio y/o vídeo de al menos una parte del flujo multimedia. Por ejemplo, el módulo identificador de segmentos (112) puede dividir un flujo de audio almacenado o almacenado en búfer en tramas (frames) superpuestas (por ejemplo, de aproximadamente 0,1 segundos de duración con una superposición de aproximadamente 0,025 segundos) y extraer características acústicas o perceptivas de cada trama. Las características perceptivas pueden incluir características de los sonidos en términos de características físicas comunes, como por ejemplo brillo, tono y sonoridad. Otras características pueden incluir los graves, el ancho de banda y los Coeficientes Cepstrales en las Frecuencias de Mel (MFCC por sus siglas en inglés, Mel Frequency Cepstral Coefficients) a intervalos periódicos a lo largo de la longitud de la trama. El módulo identificador de segmentos (112) puede generar un vector de características n-dimensional para cada trama y comparar el vector de características con los vectores de características almacenados correspondientes a segmentos conocidos en el almacén de datos de referencia de segmentos (122). El almacén de datos de referencia de segmentos (122) puede almacenar vectores de características, huellas digitales, copias completas u otras representaciones de segmentos conocidos de contenido multimedia. El almacén de datos (122) puede almacenar metadatos utilizados para identificar el contenido representado por el vector de características. Por ejemplo, el almacén de datos de referencia de segmentos (122) puede incluir representaciones de anuncios conocidos que podrían identificarse y eliminarse potencialmente de los flujos multimedia en el almacén de datos multimedia (104). En una realización, el módulo identificador de segmentos (112) puede extraer características perceptivas del flujo de imágenes de vídeo. Estas características perceptivas pueden incluir características comúnmente entendidas como brillo, color, luminosidad, etc. Otras características pueden incluir líneas, formas, características de profundidad, oclusión y otras características utilizadas en la detección de objetos. El almacén de datos de referencia de segmentos (122) puede contener huellas digitales de vídeo de segmentos de contenido conocidos, así como modelos y clases de objetos. En una realización, el módulo identificador de segmentos (112) puede comparar las características del flujo de imágenes de vídeo con estas huellas digitales para identificar segmentos multimedia dentro del flujo de imágenes de vídeo. En otra realización, el módulo identificador de segmentos (112) puede usar modelos y clases de objetos para identificar objetos dentro del flujo de imagen de vídeo o el flujo de audio. Cuando se identifica un objeto determinado, esto puede significar una parte de interés en el flujo multimedia. Por ejemplo, un objeto determinado puede aparecer al comienzo de un segmento de contenido, y se puede usar la detección de ese objeto para identificar el segmento y activar la sustitución del segmento o alguna otra acción. Se puede rellenar el almacén de datos de referencia de segmentos (122) con información obtenida directamente de anunciantes, otros creadores de contenido o un distribuidor de contenido, o con información obtenida del seguimiento de flujos multimedia anteriores. Se puede rellenar el almacén de datos de referencia de segmentos (122) con modelos o clases que describen objetos o sonidos específicos (por ejemplo, una determinada persona, un determinado modelo de automóvil, un determinado edificio o un determinado logotipo corporativo) u objetos o sonidos genéricos (por ejemplo, una lata de refresco, un automóvil o un edificio). Estas clases y modelos pueden crearse específicamente para esta aplicación o pueden obtenerse de una biblioteca de clases y modelos de objetos. En una realización, el módulo identificador de segmentos (112) o algún otro módulo puede realizar un seguimiento de los flujos multimedia en vivo y ubicar segmentos que se repiten de multimedia que utiliza características acústicas, visuales u otras características perceptivas u otros datos, como por ejemplo texto de subtítulos, etc. El módulo identificador de segmentos (112) puede marcar los segmentos que se repiten de una longitud especificada (por ejemplo, 10 segundos, 30 segundos, 45 segundos y 60 segundos) para una investigación adicional. En una realización, un administrador humano puede verificar que los segmentos marcados son anuncios u otros segmentos de contenido interesante y puede añadirlos al almacén de datos de referencia de segmentos (122). Se pueden encontrar detalles adicionales sobre la identificación de segmentos conocidos para el almacén de datos de referencia de segmentos (122) en la patente de Estados Unidos n.° 7.877.438, concedida el 25 de enero de 2011.

En una realización, cuando se identifica un segmento que coincide con un segmento u objeto conocidos en el almacén de datos de referencia de segmentos (122), el módulo identificador de segmentos (112) crea un punto de referencia asociado con el segmento identificado. En una realización, el módulo identificador de segmentos (112) crea una entrada correspondiente en el almacén de datos de información de segmentos (124). En una realización, la entrada de punto de referencia puede incluir un identificador del flujo multimedia en el que se identificó el segmento, un identificador del propio segmento, un tiempo/valor de inicio del segmento dentro del flujo multimedia, un tiempo/valor de finalización del segmento y otra información o metadatos asociados con el segmento, como por ejemplo una indicación de para qué producto es el anuncio, el tema del anuncio, un público recomendado para el anuncio, el nombre de una persona, la ubicación de un edificio, una descripción del objeto, etc. Más adelante se describe un ejemplo de almacén de datos de información de segmentos (124) con respecto a la Figura 3b. En otra realización, el módulo identificador de segmentos (112) puede insertar una indicación del punto de referencia directamente en el propio flujo multimedia. Por ejemplo, el módulo identificador de segmentos (112) podría enviar instrucciones al módulo de alerta de punto de referencia de segmento (114) o a algún otro módulo para que se puedan insertar códigos SCTE 35 en el flujo multimedia o archivo multimedia.

En una realización, el módulo de alerta de punto de referencia de segmento (114) genera una alerta que indica la sustitución de un segmento en el flujo multimedia identificado por la entrada de punto de referencia en el almacén de datos de información de segmentos (124). El módulo de alerta de punto de referencia de segmento (114) identifica un punto de referencia en el flujo multimedia. Esto puede ocurrir durante la reproducción del flujo multimedia por el controlador de reproducción de DVR (106) o con anterioridad a la reproducción, cuando el flujo se almacena como un archivo en el almacén de datos multimedia (104). En una realización, el módulo de alerta de punto de referencia de segmento (114) recibe una indicación de reproducción desde el controlador de reproducción de DVR (106) y compara la ubicación con los puntos de referencia en el almacén de datos de información de segmentos (124). Cuando se alcanza un punto de referencia, el módulo de alerta de punto de referencia de segmento (114) puede activar una operación, como por ejemplo la sustitución del segmento. En otras realizaciones, el módulo de alerta de punto de referencia de segmento (114) puede activar una operación varios segundos (o algún otro periodo de tiempo) antes de que se alcance el punto de referencia. En otras realizaciones, otras operaciones que pueden ser activadas incluyen la superposición de datos de anuncios complementarios, la superposición de datos de programas complementarios (por ejemplo, resultados deportivos), la eliminación de una superposición que se colocó anteriormente, como una superposición de anuncios persistente que se elimina en cuanto empieza la programación reconocida o una superposición de programa que se elimina en cuanto empieza un segmento de anuncios, la eliminación de un segmento o la inserción de un nuevo segmento. En otras realizaciones, el módulo de alerta de punto de referencia de segmento (114) puede enviar una activación a otro dispositivo, por ejemplo una tableta o teléfono inteligente que después lleva a cabo una acción. En otras realizaciones, el módulo de punto de referencia de segmento (114) puede enviar una alerta a un almacén de datos que realiza un seguimiento de los hábitos de visualización.

En una realización, el módulo de alerta de punto de referencia de segmento (114) identifica información de contexto de reproducción para el flujo multimedia. La información del contexto de reproducción puede incluir, por ejemplo, un momento en el que se produce la reproducción, una ubicación en la que se produce la reproducción, una indicación de quién solicitó la reproducción u otra información. Usando la información del contexto de reproducción, el módulo de punto de referencia de segmento (114) puede solicitar un nuevo segmento del almacén de datos de segmentos de sustitución (126). En una realización, el módulo de precaptura de segmentos (116) puede solicitar y recibir segmentos de contenido (por ejemplo, anuncios, vídeos en línea, superposiciones o información) de una fuente externa, como por ejemplo el servidor de multimedia de sustitución (160). Entre los ejemplos de servidor de multimedia de sustitución (160) figuran un servidor de anuncios, un proveedor de contenido en línea, una red social, etc. El módulo de precaptura de segmentos (116) puede llenar el almacén de datos de segmentos de sustitución (126) con los segmentos de sustitución recibidos. En una realización, el módulo de precaptura de segmentos (116) puede solicitar segmentos basándose en la información de contexto de reproducción y el servidor de multimedia de sustitución (160) puede determinar los segmentos apropiados que se suministrarán. En otra realización, el módulo de precaptura de segmentos (116) puede solicitar segmentos genéricos del servidor de multimedia de sustitución (160) y el módulo de alerta de punto de referencia de segmento (114) puede realizar una selección de segmentos del almacén de datos de segmentos de sustitución (126) basándose en la información de contexto de reproducción. En otra realización, el módulo de alerta de punto de referencia de segmento (114) puede ordenar al controlador de reproducción de DVR (106) que inserte un flujo multimedia que se transmite en tiempo real desde el servidor de multimedia de sustitución (160). En una realización, el módulo de alerta de punto de referencia de segmento (114) proporciona una instrucción para el controlador de reproducción de DVR (106) con el fin de sustituir el segmento original en el flujo multimedia que se está reproduciendo por el segmento de sustitución del almacén de datos de segmentos de sustitución (126). En otra realización, en lugar de sustituir un segmento, el módulo de alerta de punto de referencia de segmento (114) puede proporcionar una instrucción al controlador de reproducción de DVR (106) para bloquear un segmento determinado, eliminar un segmento determinado o realizar otra operación. En otra realización, el controlador de reproducción de DVR (106) puede modificar un archivo multimedia en el almacén de datos multimedia (104).

La Figura 2a es un diagrama de bloques que ilustra un punto de distribución de multimedia (200) con un creador local de puntos de referencia en un flujo multimedia (210), de acuerdo con una realización. El punto de distribución de multimedia (200) puede estar representado, por ejemplo, por el sistema informático (700) de la Figura 7. En una realización, el punto de distribución de multimedia (200) puede ser una instalación de retransmisión o un centro distribuidor de televisión por cable y puede incluir una instalación principal para recibir señales de televisión o de otro tipo para su procesamiento y distribución a través de un sistema de televisión por cable u otro sistema de comunicación. El punto de distribución de multimedia puede incluir equipos electrónicos utilizados para recibir y retransmitir señales de audio, vídeo u otras señales a través de la infraestructura de comunicación local.

En una realización, el punto de distribución de multimedia (200) incluye varios módulos y almacenes de datos para permitir la difusión u otra distribución de contenido multimedia. Por ejemplo, el punto de distribución de multimedia (200) puede incluir un codificador (202), un servidor de origen (204) y un empalmador (splicer) (206). En una realización, el codificador (202) recibe un flujo multimedia entrante y codifica el flujo multimedia en varios formatos de distribución. El flujo multimedia entrante, o flujo de entrada, puede recibirse, por ejemplo, a través de un enlace descendente desde un satélite, un enlace de red de alta velocidad u otro sistema de comunicaciones. Los formatos pueden incluir, por ejemplo, definición estándar, alta definición, formato web u otros formatos, relaciones de aspecto y/o resolución de píxeles. El codificador (202) proporciona los diversos flujos multimedia codificados al servidor de origen (204). En una realización, el servidor de origen (204) actúa como la fuente de flujo multimedia al resto de la red en una fase posterior. Por ejemplo, el servidor de origen podría alojar varias codificaciones diferentes del mismo flujo. Es posible que el flujo multimedia no se almacene durante mucho tiempo en el servidor de origen (204), que puede actuar como un búfer entre el codificador (202) y la red de distribución. En otras realizaciones, el servidor de origen (204) podría almacenar los flujos durante un periodo de tiempo más largo (por ejemplo, una semana o un mes). En otras realizaciones, el servidor de origen (204) puede almacenar contenido indefinidamente, como es el caso de un servidor de origen de vídeo bajo demanda (VOD por sus siglas en inglés, Video On Demand). El empalmador (206) es responsable de realizar la sustitución de segmentos de determinados segmentos en los diverso flujos multimedia. Por ejemplo, el empalmador (206) puede configurarse para eliminar un determinado segmento e insertar un nuevo segmento, detener la reproducción de un primer flujo, reproducir un segmento de un flujo diferente y reanudar la reproducción del primer flujo u otras operaciones.

En una realización, el punto de distribución de multimedia (200) incluye además el creador de puntos de referencia en un flujo multimedia (210) y el almacén de datos asociado (220). El almacén de datos (220) puede incluir uno o varios dispositivos de almacenamiento masivo que pueden incluir, por ejemplo, memoria flash, discos magnéticos u ópticos o unidades de cinta; memoria de solo lectura (ROM); memoria de acceso aleatorio (RAM); memoria programable borrable (por ejemplo, EPROM y EEPROM); memoria flash; o cualquier otro tipo de medio de almacenamiento. El creador de puntos de referencia en un flujo multimedia (210) puede ser igual o similar al creador de puntos de referencia en un flujo multimedia (110) descrito anteriormente, de manera que utiliza el reconocimiento de contenido automatizado para identificar segmentos y objetos específicos en un flujo multimedia que no tiene puntos de referencia o indicadores anteriores, o que tiene puntos de referencia imprecisos o no fiables, y genera puntos de referencia asociados con los segmentos identificados. El creador de puntos de referencia en un flujo multimedia (210), u otro módulo, puede ubicar un segmento determinado en el flujo multimedia utilizando los puntos de referencia generados y realizar o alertar a otro módulo para que realice una operación en el segmento. Por ejemplo, el creador de puntos de referencia en un flujo multimedia (210) puede identificar un anuncio original en un flujo multimedia y enviar una señal al empalmador (206) para que sustituya el anuncio original con un nuevo anuncio. Por ejemplo, el creador de puntos de referencia en un flujo multimedia (210) puede identificar un segmento de contenido y alertar al codificador (202) para que coloque los marcadores de referencia apropiados, como por ejemplo SCTE 35, en los flujos codificados. Más adelante se proporcionan detalles adicionales sobre el creador de puntos de referencia en un flujo multimedia (210).

La Figura 2b es un diagrama de bloques que ilustra una vista detallada de un creador de puntos de referencia en un flujo multimedia (210) para su uso en un punto de distribución de multimedia (200), de acuerdo con una realización. En una realización, el creador de puntos de referencia en un flujo multimedia (210) es el mismo o similar al creador de puntos de referencia en un flujo multimedia (110) descrito anteriormente e incluye el módulo identificador de segmentos (112), el módulo de alerta de punto de referencia de segmento (114) y el módulo de precaptura de segmentos (116). En una realización, el almacén de datos (220) está conectado al creador de puntos de referencia en un flujo multimedia (210) e incluye el almacén de datos de referencia de segmentos (122), el almacén de datos de información de segmentos (124) y el almacén de datos de segmentos de sustitución (126). En una realización, el punto de distribución de multimedia (200) puede incluir el creador de puntos de referencia en un flujo multimedia (210) y el almacén de datos (220). En otra realización, el almacén de datos (220) puede ser externo al creador de puntos de referencia en un flujo multimedia (210) y puede estar conectado a través de una red u otra conexión. En otras realizaciones, el punto de distribución de multimedia (200) puede incluir componentes diferentes y/o adicionales que no se muestran para simplificar la descripción. Un experto en la técnica entenderá que la descripción del creador de puntos de referencia en un flujo multimedia (110) en el presente documento se aplicará igualmente al creador de puntos de referencia en un flujo multimedia (210), ya que su funcionamiento es sustancialmente el mismo. Por consiguiente, no se repite aquí una descripción de la operación del creador de puntos de referencia en un flujo multimedia (210) para no oscurecer la presente divulgación.

La Figura 2c es un diagrama de bloques que ilustra un creador de puntos de referencia en un flujo multimedia que se distribuye en múltiples ubicaciones, de acuerdo con una realización. En una realización, un entorno de red incluye dos entidades separadas, como por ejemplo el proveedor de contenido multimedia (250) y el reproductor multimedia (260). El proveedor de contenido multimedia (250) puede incluir, por ejemplo, un proveedor de televisión por cable, satélite o radiodifusión, un proveedor de servicios de Internet, un proveedor multimedia en Internet o algún otro proveedor de contenido. El reproductor multimedia (260) puede ser parte de un dispositivo de usuario configurado para recibir y reproducir contenidos multimedia recibidos del proveedor de contenido multimedia, que incluye, por ejemplo, un decodificador, un dispositivo OTT, etc. En una realización, el proveedor de contenido multimedia (250) y el reproductor multimedia (260) están ubicados en diferentes ubicaciones físicas, pero están conectados a través de una red, como por ejemplo Internet. En una realización, los diferentes componentes del creador de puntos de referencia en un flujo multimedia descritos anteriormente se distribuyen entre el proveedor de contenido multimedia (250) y el reproductor multimedia (260). Por ejemplo, el identificador de segmento (112), el almacén de datos de referencia de segmentos (122), el almacén de datos de información de segmentos (124) y el módulo de alerta de punto de referencia de segmento (114) pueden estar ubicados en el proveedor de contenido multimedia (250). Estos componentes pueden reconocer segmentos de contenido en un flujo multimedia de entrada suministrado por el codificador (202) y pueden añadir puntos de referencia al flujo multimedia de entrada. En una realización, el módulo de precaptura de segmentos (116) y el almacén de datos de segmentos de sustitución (126) se ubican en el reproductor multimedia (260). En una realización, el módulo de acción (206) pregunta al módulo de alerta de punto de referencia de segmento (114) si hay algún punto de referencia próximo en el flujo actual. Como respuesta, el módulo de alerta de punto de referencia de segmento (114) puede proporcionar una indicación de los próximos puntos de referencia. El módulo de acción (206) puede detectar un punto de referencia y realizar una acción con respecto a un determinado segmento (por ejemplo, la sustitución del segmento utilizando el módulo de precaptura de segmentos (116) y el almacén de datos de segmentos de sustitución (126)). En otra realización, se puede usar alguna otra distribución de los componentes del creador de puntos de referencia en un flujo multimedia.

La Figura 3a es un diagrama que ilustra un flujo multimedia (300), de acuerdo con una realización. El flujo multimedia (300) puede ser, por ejemplo, un flujo de audio, un flujo de vídeo, una combinación de flujo de audio y vídeo, o algún otro tipo de flujo multimedia. De acuerdo con los procesos descritos en el presente, el módulo identificador de segmentos (112) puede identificar segmentos de contenido específicos de flujo multimedia (300). En una realización, el flujo multimedia (300), o el archivo multimedia almacenado, puede comenzar en el tiempo (302) y tener segmentos de contenido regulares entre los momentos 302-304, 306-308 y 310-312. El módulo identificador de segmentos (112) puede identificar segmentos de anuncios entre los momentos 304-306, 308-310, 312-314 y 314-316. En otras realizaciones, los segmentos identificados pueden tener otras longitudes o pueden ser otros tipos de segmentos. En otras realizaciones, se puede usar alguna otra unidad de medida, además del tiempo, para designar los puntos de inicio y finalización de los diferentes segmentos en el flujo multimedia (300).

La Figura 3b es un diagrama que ilustra un almacén de datos de información de segmentos (124), de acuerdo con una realización. En una realización, cuando se identifican uno o más segmentos en el flujo multimedia (300) que coinciden con segmentos conocidos en el almacén de datos de referencia de segmentos (122), el módulo identificador de segmentos (112) crea puntos de referencia asociados con los segmentos identificados. En una realización, el módulo identificador de segmentos (112) crea entradas correspondientes en el almacén de datos de información de segmentos (124). En una realización, las entradas de puntos de referencia pueden incluir un identificador del flujo multimedia (300) en el que se identificó el segmento, un identificador del propio segmento (01, 02, 03 y 04), un tiempo/valor de inicio del segmento (304, 308, 312 y 314) dentro del flujo multimedia, un tiempo/valor de finalización del segmento (306, 310, 314 y 316) y otra información o metadatos asociados con el segmento, como por ejemplo una indicación de para qué producto es el anuncio, el tema del anuncio, un público recomendado para el anuncio, un objeto encontrado presente, el nombre de una persona específica, etc. En una realización, el módulo identificador de segmentos (112) puede crear una entrada con un tiempo/valor de inicio para el segmento y luego actualizar la entrada más tarde con un tiempo/valor de finalización. En otras realizaciones, la información del punto de referencia puede almacenarse en el almacén de datos de información de segmentos (124) en algún otro formato y cada entrada puede tener campos adicionales, menos campos o campos diferentes.

La Figura 4 es un diagrama de flujo que ilustra un método de creación de puntos de referencia, de acuerdo con una realización. El método (400) puede ser llevado a cabo por una lógica de procesamiento que comprende hardware (por ejemplo, circuitos, lógica dedicada, lógica programable, microcódigo, etc.), software (por ejemplo, instrucciones ejecutadas en un procesador para realizar una simulación de hardware), firmware o una combinación de los mismos. La lógica de procesamiento está configurada para identificar segmentos en un flujo multimedia, generar puntos de referencia correspondientes y facilitar el rendimiento de varias operaciones sobre segmentos utilizando los puntos de referencia generados. En una realización, el método (400) puede ser llevado a cabo por el creador de puntos de referencia en un flujo multimedia (110), como se muestra en las Figuras 1a-2b. En otra realización, el método (400) puede ser llevado a cabo por el identificador de segmentos (112), el módulo de alerta de punto de referencia de segmento (114) y el módulo de acción (206), como se muestra en la Figura 2c.

Por lo que respecta a la Figura 4, en el bloque (410) el método (400) identifica un segmento de un flujo o archivo multimedia mediante el uso de un reconocimiento de contenido automatizado. En una realización, el módulo identificador de segmentos se sirve de tecnología de huellas digitales y las características perceptivas de audio y/o vídeo del flujo identifican segmentos específicos en el flujo. En una realización, un segmento puede incluir una serie de tramas en el flujo que tienen las mismas características perceptivas que un segmento conocido en el almacén de datos de referencia de segmentos (122). Se pueden encontrar detalles adicionales del proceso de identificación de segmentos en la patente de Estados Unidos n.° 5.918.223 concedida el 29 de junio de 1999, la patente de Estados Unidos n.° 6.834.308 concedida el 21 de diciembre de 2004, la patente de Estados Unidos n.° 8.031.947 concedida el 4 de octubre de 2011 y la patente de Estados Unidos n.° 8.112.818 concedida el 7 de febrero de 2012. En otra realización, el identificador de segmentos (112) utiliza tecnología de reconocimiento y clasificación de objetos para identificar objetos encontrados dentro de las imágenes de vídeo del flujo multimedia. También se describirán más adelante detalles adicionales de la identificación de segmentos con respecto a la Figura 5.

En el bloque (420), el método (400) crea un punto de referencia asociado con el segmento identificado en el bloque (410). En una realización, cuando se identifica un segmento que coincide con un segmento conocido en el almacén de datos de referencia de segmentos (122), el módulo identificador de segmentos (112) crea un punto de referencia asociado con el segmento identificado. En una realización, el módulo identificador de segmentos (112) crea una entrada correspondiente en el almacén de datos de información de segmentos (124). En una realización, la entrada de punto de referencia puede incluir un identificador del flujo multimedia en el que se identificó el segmento, un identificador del propio segmento, un tiempo/valor de inicio del segmento dentro del flujo multimedia, un tiempo/valor de finalización del segmento y otra información o metadatos asociados con la identificación realizada del segmento.

En el bloque (430), el método (400) genera una alerta para indicar la sustitución del segmento encontrado en el punto de referencia creado en el bloque (420) o alguna otra operación. En una realización, el módulo de alerta de punto de referencia de segmento (114) genera una alerta que indica la sustitución de un segmento en el flujo multimedia identificado por la entrada de punto de referencia en el almacén de datos de información de segmentos (124). El módulo de alerta de punto de referencia de segmento (114) identifica un punto de referencia en el flujo multimedia. Esto puede ocurrir durante la reproducción del flujo multimedia por el controlador de reproducción de DVR (106), o antes de la reproducción, cuando el flujo se almacena como un archivo en el almacén de datos multimedia (104). En una realización, el módulo de alerta de punto de referencia de segmento (114) recibe una indicación de reproducción desde el controlador de reproducción de DVR (106) y compara la ubicación con los puntos de referencia en el almacén de datos de información del segmento (124). Cuando se alcanza un punto de referencia, el módulo de alerta de punto de referencia de segmento (114) puede activar una operación, como por ejemplo la sustitución del segmento. Más adelante se describirán los detalles adicionales de la sustitución del segmento con respecto a la Figura 6.

La Figura 5 es un diagrama de flujo que ilustra un método de identificación de segmentos, de acuerdo con una realización. El método (500) puede ser llevado a cabo por una lógica de procesamiento que comprende hardware (por ejemplo, circuitos, lógica dedicada, lógica programable, microcódigo, etc.), software (por ejemplo, instrucciones ejecutadas en un procesador para realizar una simulación de hardware), firmware o una combinación de los mismos. La lógica de procesamiento está configurada para identificar segmentos de contenido en un flujo multimedia sobre los que se pueden realizar varias operaciones. En una realización, el método (500) puede ser llevado a cabo por el creador de puntos de referencia en un flujo multimedia (110), como se muestra en las Figuras 1a-2b. En otra realización, el método (500) puede ser llevado a cabo por el identificador de segmentos (112), el módulo de alerta de punto de referencia de segmento (114) y el módulo de acción (206), como se muestra en la Figura 2c.

Por lo que respecta a la Figura 5, en el bloque (510), el método (500) genera una huella digital del flujo multimedia. En una realización, el módulo identificador de segmentos (112) identifica segmentos de un flujo multimedia almacenados en el almacén de datos multimedia (104) usando un reconocimiento de contenido automatizado. El módulo identificador de segmentos (112) genera una huella digital de audio y/o vídeo de al menos una parte del flujo multimedia. Por ejemplo, el módulo identificador de segmentos (112) puede dividir en tramas un flujo de audio almacenado y extraer las características acústicas o perceptivas de cada trama. El módulo identificador de segmentos (112) puede generar un vector de características n-dimensional para cada trama para una comparación posterior. Por ejemplo, el identificador de segmentos (112) puede extraer características de una trama de vídeo, o de un grupo de tramas de vídeo. El identificador de segmento (112) puede generar un vector de características n-dimensional para cada trama o grupo de tramas.

En el bloque (520), el método (500) compara la huella digital con una base de datos de segmentos, objetos y clases de objetos multimedia conocidos. En una realización, el módulo identificador de segmentos (112) compara el vector de características con vectores de características almacenados correspondientes a segmentos conocidos del almacén de datos de referencia de segmentos (122). El almacén de datos de referencia de segmentos (122) puede almacenar vectores de características, huellas digitales, copias completas u otras representaciones de segmentos conocidos de contenido u objetos multimedia. Por ejemplo, el almacén de datos de referencia de segmentos (122) puede incluir una indicación de anuncios conocidos que podrían identificarse y eliminarse de los flujos multimedia en el almacén de datos multimedia (104). Por ejemplo, el almacén de datos de referencia de segmentos (122) puede incluir una indicación de determinados tipos de objetos e incluso objetos específicos. Se puede llenar el almacén de datos de referencia de segmentos (122) con información obtenida directamente de los anunciantes, otros creadores de contenido o un distribuidor de contenido, o con información obtenida del seguimiento de flujos multimedia anteriores, o con modelos y clasificadores de objetos.

En el bloque (530), el método (500) determina si la huella digital coincide con un segmento u objeto conocido. En una realización, un segmento puede coincidir si los vectores de características se encuentran dentro de un umbral aceptable, indicando así que el segmento del flujo y el segmento conocido tienen las mismas características perceptivas o similares. En otra realización, un segmento puede coincidir si las características calculadas coinciden estrechamente con un modelo o clasificador para un objeto o clase de objetos específicos.

Si la huella digital coincide, en el bloque (540), el método (500) crea una entrada de punto de referencia en el almacén de datos de información de segmentos (124). En una realización, el módulo identificador de segmentos (112) crea una entrada asociada con el segmento identificado en el almacén de datos de información de segmentos (124). En una realización, la entrada del punto de referencia puede incluir un identificador del flujo multimedia en el que se identificó el segmento, un identificador del propio segmento, un tiempo/valor de inicio del segmento dentro del flujo multimedia, un tiempo/valor de finalización del segmento y otra información o metadatos asociados con el segmento identificado, como se muestra en la Figura 3b. En el bloque (550), el método (500) actualiza opcionalmente la entrada del punto de referencia creada en el bloque (540). Por ejemplo, en un módulo identificador de segmentos de flujo de datos en vivo (112), se puede crear una entrada con un tiempo/valor de inicio para el segmento y luego actualizar la entrada más tarde con un tiempo/valor de finalización, una vez que se conoce el tiempo/valor de finalización. En otra realización, puede haber entradas separadas para el tiempo/valor de inicio y el tiempo/valor de finalización.

La Figura 6 es un diagrama de flujo que ilustra un método de sustitución de segmentos, de acuerdo con una realización. El método (600) puede ser llevado a cabo por una lógica de procesamiento que comprende hardware (por ejemplo, circuitos, lógica dedicada, lógica programable, microcódigo, etc.), software (por ejemplo, instrucciones ejecutadas en un procesador para realizar una simulación de hardware), firmware o una combinación de los mismos. La lógica de procesamiento está configurada para sustituir un segmento identificado en un flujo multimedia por un segmento nuevo o diferente. En una realización, el método (600) puede ser llevado a cabo por el creador de puntos de referencia en un flujo multimedia (110), como se muestra en las Figuras 1 a-2b. En otra realización, el método (600) puede ser llevado a cabo por el identificador de segmentos (112), el módulo de alerta de punto de referencia de segmento (114) y el módulo de acción (206), como se muestra en la Figura 2c.

Por lo que respecta a la Figura 6, en el bloque (610), el método (600) identifica un punto de referencia en el flujo multimedia. En una realización, el módulo de alerta de punto de referencia de segmento (114) identifica un punto de referencia en el flujo multimedia. Esto puede ocurrir durante la reproducción del flujo multimedia por el controlador de reproducción de DVR (106) o antes de la reproducción cuando el flujo se almacena como un archivo en el almacén de datos multimedia (104). En una realización, el módulo de alerta de punto de referencia de segmento (114) recibe una indicación de reproducción del controlador de reproducción de DVR (106) y compara la ubicación con los puntos de referencia en el almacén de datos de información de segmentos (124). Cuando se alcanza un punto de referencia, en el bloque (620), el módulo de alerta de punto de referencia de segmento (114) puede activar una operación, como por ejemplo la sustitución de un segmento, la visualización de una superposición, etc. En una realización, el módulo (114) de alerta de punto de referencia del segmento genera una alerta que indica la sustitución u otra acción con respecto al segmento en el flujo multimedia identificado por la entrada del punto de referencia en el almacén de datos de información de segmento (124).

En el bloque (630), el método (600) identifica la información de contexto de reproducción para el flujo multimedia. La información del contexto de reproducción puede incluir, por ejemplo, un momento en el que se produce la reproducción, una ubicación donde se produce la reproducción, una indicación de quién solicitó la reproducción u otra información. Usando la información de contexto de reproducción, el módulo de punto de referencia de segmento (114) puede solicitar un nuevo segmento del almacén de datos de segmentos de sustitución (126) o determinar qué otra acción apropiada se debe tomar.

En el bloque (640), el método (600) recibe un segundo segmento identificado basándose en la información de reproducción. En una realización, el módulo de precaptura de segmentos (116) puede solicitar y recibir segmentos de contenido (por ejemplo, anuncios) de una fuente externa, como por ejemplo el servidor de multimedia de sustitución (160). El módulo de precaptura de segmentos (116) puede llenar el almacén de datos de segmentos de sustitución (126) con los segmentos de sustitución recibidos. En una realización, el módulo de precaptura de segmentos (116) puede solicitar segmentos basándose en la información de contexto de reproducción y el servidor de sustitución de multimedia (160) puede determinar los segmentos que debe proporcionar. En otra realización, el módulo de precaptura de segmentos (116) puede solicitar segmentos genéricos del servidor de sustitución multimedia (160) y el módulo de alerta de puntos de referencia de segmentos (114) puede realizar una selección de segmentos del almacén de datos de segmentos de sustitución (126) basándose en la información del contexto de reproducción.

En el bloque (650), el método (600) sustituye el primer segmento original en el flujo multimedia por el nuevo segundo segmento. En una realización, el módulo de alerta de punto de referencia de segmento (114) proporciona una instrucción al controlador de reproducción de DVR (106) para sustituir el segmento original en el flujo multimedia que se reproduce por el segmento de sustitución del almacén de datos de segmentos de sustitución (126). En una realización, la sustitución del segmento puede incluir la modificación del flujo multimedia, de tal manera que el antiguo segmento se elimina y se inserta el nuevo segmento. En otra realización, la sustitución puede referirse a la detención de la reproducción del flujo multimedia, la reproducción del segmento de sustitución y la reanudación posterior de la reproducción del flujo multimedia original. En otra realización, en lugar de sustituir un segmento, el módulo de alerta de punto de referencia de segmento (114) puede proporcionar una instrucción al controlador de reproducción de DVR (106) para bloquear un segmento determinado, eliminar un segmento determinado, insertar una superposición de información complementaria, insertar un anuncio de banner en el que se puede hacer clic o realizar alguna otra operación. En otra realización, el módulo de alerta de punto de referencia de segmento (114) puede proporcionar una instrucción a otro dispositivo (por ejemplo, una tableta, un teléfono móvil, un ordenador portátil, una consola de juegos, un controlador de iluminación, un decodificador, un actuadorde robot, etc.) para realizar alguna otra operación.

La Figura 7 ilustra una representación esquemática de una máquina en la forma ejemplar de un sistema informático (700) dentro del cual se puede ejecutar un conjunto de instrucciones para hacer que la máquina lleve a cabo una o varias de las metodologías descritas en el presente. El sistema (700) puede adoptar la forma de un sistema informático dentro del cual se puede ejecutar un conjunto de instrucciones para hacer que la máquina realice una o más de las metodologías descritas en el presente. En realizaciones alternativas, la máquina puede estar conectada (por ejemplo, en red) a otras máquinas en una LAN, una intranet, una extranet o Internet. La máquina puede operar en capacidad de una máquina servidor en un entorno de red cliente-servidor. La máquina puede ser un ordenador personal (PC), un decodificador (STB, Set-Top-Box), un servidor, un enrutador de red, un conmutador o puente de red, o cualquier máquina capaz de ejecutar un conjunto de instrucciones (secuenciales o no) que especifican las acciones que serán tomadas por esa máquina. Además, aunque solo se ilustra una máquina, se entenderá que el término “máquina” también incluye cualquier conjunto de máquinas que ejecutan individual o conjuntamente un conjunto (o conjuntos múltiples) de instrucciones para llevar a cabo una o varias de las metodologías que se describen en el presente. En una realización, el sistema informático (700) puede representar el reproductor multimedia (100) de la Figura 1, el servidor (150) de la Figura 1b o el punto de distribución de multimedia (200) de la Figura 2a.

El ejemplo de sistema informático (700) incluye un dispositivo de procesamiento (procesador) (702), una memoria principal (704) (por ejemplo, una memoria de solo lectura (ROM), una memoria flash, una memoria de acceso aleatorio dinámica (DRAM), como por ejemplo una memoria de acceso aleatorio dinámica y síncrona (SDRAM)), una memoria estática (706) (por ejemplo, una memoria flash, una memoria de acceso aleatorio estática (SRAM)) y un dispositivo de almacenamiento de datos (718), que se comunican entre sí a través de un bus (730).

El dispositivo de procesamiento (702) representa uno o varios dispositivos de procesamiento de uso general, como por ejemplo un microprocesador, una unidad central de procesamiento o dispositivos similares. Más en concreto, el dispositivo de procesamiento (702) puede ser un microprocesador de computación con conjunto de instrucciones complejas (CISC por sus siglas en inglés, Complex Instruction Set Computer), un microprocesador de computación con conjunto de instrucciones reducidas (RISC por sus siglas en inglés, Reduced Instruction Set Computer), un microprocesador de instrucciones de palabras muy largas (VLIW por sus siglas en inglés, Very Long Instruction Word) o un procesador que implementa otros conjuntos de instrucciones o procesadores que implementan una combinación de conjuntos de instrucciones. El dispositivo de procesamiento (702) también puede ser uno o varios dispositivos de procesamiento especializados como, por ejemplo, un circuito integrado para aplicaciones específicas (ASIC por sus siglas en inglés, Application-Specific Integrated Circuit), una matriz de puertas programables (FPGA por sus siglas en inglés, Field-Programmable Gate Array), un procesador digital de señales (DSP por sus siglas en inglés, Digital Signal Processor), una unidad de procesamiento de red o dispositivos similares. El dispositivo de procesamiento (702) está configurado para ejecutar el administrador de notificaciones (210) y que realice las operaciones y pasos mencionados en el presente.

El sistema informático (700) puede incluir además un dispositivo de interfaz de red (708). El sistema informático (700) también puede incluir una unidad de visualización de vídeo (710) (por ejemplo, una pantalla de cristal líquido (LCD, Liquid-Crystal Display) o un tubo de rayos catódicos (CRT, Cathode Ray Tube), un dispositivo de entrada alfanumérico (712) (por ejemplo, un teclado), un dispositivo de control de cursor (714) (por ejemplo, un ratón) y un dispositivo de generación de señales (716) (por ejemplo, un altavoz).

El dispositivo de almacenamiento de datos (718) puede incluir un medio legible por ordenador (728) en el que se almacenan uno o varios conjuntos de instrucciones (722) (por ejemplo, instrucciones del creador de puntos de referencia en un flujo multimedia (110 o 210)) que representan una o varias de las metodologías o funciones descritas en el presente. Las instrucciones (722) también pueden residir, completamente o al menos parcialmente, dentro de la memoria principal (704) y/o dentro de la lógica de procesamiento (726) del dispositivo de procesamiento (702) durante la ejecución del mismo por el sistema informático (700), constituyendo también la memoria principal (704) y el dispositivo de procesamiento (702) medios legibles por ordenador. Las instrucciones pueden además ser transmitidas o recibidas por una red (720) a través del dispositivo de interfaz de red (708).

Aunque el medio de almacenamiento legible por ordenador (728) se muestra en un ejemplo de realización como un solo medio, se entenderá que la expresión “medio de almacenamiento legible por ordenador” incluye un solo medio o múltiples medios (por ejemplo, una base de datos centralizada o distribuida y/o cachés y servidores asociados) que almacenan uno o varios conjuntos de instrucciones. También se entenderá que la expresión “medio de almacenamiento legible por ordenador” incluye cualquier medio que sea capaz de almacenar, codificar o enviar un conjunto de instrucciones para su ejecución por parte de la máquina y que haga que la máquina lleve a cabo una o más de las metodologías de la presente invención. Por consiguiente, se entenderá que la expresión “medio de almacenamiento legible por ordenador” incluirá, a título enunciativo pero no limitativo, memorias de estado sólido, medios ópticos y medios magnéticos.

En la descripción anterior se han expuesto numerosos detalles específicos, como los ejemplos de sistemas, componentes, métodos, etc., específicos, con el fin de facilitar la comprensión de varias realizaciones de la presente invención. Sin embargo, resultará evidente para un experto en la técnica que es posible llevar a la práctica al menos algunas realizaciones de la presente invención sin dichos detalles específicos. En otros casos, componentes o métodos bien conocidos no se describen en detalle o se presentan en un formato de diagrama de bloques sencillo con el fin de no oscurecer innecesariamente la presente invención. Por consiguiente, los detalles específicos se exponen meramente a título ilustrativo. Las implementaciones específicas pueden ser diferentes de estos detalles presentados a modo de ejemplo y ser aún consideradas como que se encuentran dentro del alcance de las realizaciones de la presente invención.

En la descripción anterior se ha expuesto un gran número de detalles. Sin embargo, resultará evidente para un experto en la técnica que haya estudiado esta divulgación que las realizaciones de la invención pueden llevarse a la práctica sin estos detalles específicos. En algunos casos, se muestran estructuras y dispositivos conocidos en un formato de diagrama de bloques, en lugar de mostrarse en detalle, con el fin de no oscurecer la descripción.

Algunas partes de la descripción detallada se presentan en términos de algoritmos y representaciones simbólicas de operaciones en bits de datos dentro de una memoria de ordenador. Estas descripciones y representaciones algorítmicas son los medios utilizados por los expertos en las técnicas de procesamiento de datos para transmitir la esencia de su trabajo de manera efectiva a otros expertos en la materia. Un algoritmo es en el presente, y generalmente, concebido para ser una secuencia internamente coherente de pasos que conducen a un resultado deseado. Los pasos son aquellos que requieren manipulaciones físicas de cantidades físicas. Normalmente, aunque no necesariamente, estas cantidades adoptan la forma de señales eléctricas o magnéticas que pueden almacenarse, transferirse, combinarse, compararse y manipularse de otro modo. A veces ha resultado conveniente, principalmente por razones de uso habitual, referirse a estas señales como bits, valores, elementos, símbolos, caracteres, términos, números o similares.

No obstante, deberá tenerse en cuenta que todos estos términos y expresiones similares se asociarán con las cantidades físicas apropiadas y constituyen simplemente etiquetas convenientes aplicadas a estas cantidades. A menos que se indique específicamente lo contrario en el análisis anterior, se apreciará que a lo largo de la descripción, las explicaciones que utilizan términos tales como “determinar”, “identificar”, “añadir”, “seleccionar” o términos similares, se refieren a las acciones y procesos de un sistema informático o dispositivo informático electrónico similar que manipula y transforma datos representados como cantidades físicas (por ejemplo, electrónicas) dentro de los registros y memorias del sistema informático en otros datos representados de forma similar como cantidades físicas dentro de los registros o memorias del sistema informático u otros dispositivos de almacenamiento, transmisión o visualización de información.

Las realizaciones de la presente invención también se refieren a un aparato para realizar las operaciones descritas en el presente. Este aparato puede construirse especialmente para los fines requeridos, o puede comprender un ordenador de uso general activado o reconfigurado selectivamente por un programa informático almacenado en el ordenador. Dicho programa informático puede almacenarse en un medio de almacenamiento legible por ordenador, como por ejemplo -pero sin estar limitado a los mismos- cualquier tipo de disco, incluidos disquetes, discos ópticos, CD-ROM y discos magneto-ópticos, memorias de solo lectura (ROM), memorias de acceso aleatorio (RAM), EPROM, EEPROM, tarjetas magnéticas u ópticas, o cualquier tipo de medios adecuado para almacenar instrucciones electrónicas.

Los algoritmos y unidades de visualización presentados en el presente no están intrínsecamente relacionados con ningún ordenador u otro aparato en particular. Se pueden usar varios sistemas de uso general con programas de acuerdo con las descripciones de este documento, o puede resultar conveniente construir un aparato más especializado para realizar los pasos requeridos del método. La estructura requerida para una variedad de estos sistemas resultará evidente a partir de la descripción que se muestra más adelante [sic]. Además, la presente invención no se describe con referencia a ningún lenguaje de programación específico. Se apreciará que se puede utilizar una variedad de lenguajes de programación para implementar las divulgaciones de la invención, como se describe en el presente.

Se entenderá que la descripción anterior es ilustrativa y no restrictiva. Muchas otras realizaciones serán evidentes para los expertos en la técnica después de leer y comprender la descripción anterior. Por consiguiente, el alcance de la invención deberá determinarse haciendo referencia a las reivindicaciones adjuntas, así como al alcance completo de los equivalentes a los que tienen derecho dichas reivindicaciones.

Claims

REIVINDICACIONES

1. Un método que comprende:

la recepción de un flujo multimedia (300) que comprende al menos una parte de audio o una parte de vídeo, en el que el flujo multimedia (300) comprende una pluralidad de segmentos de contenido que carecen de un punto de referencia; el almacenamiento del flujo multimedia (300) en un almacén de datos multimedia (104) para su reproducción en un momento posterior;

cuando se identifica, por parte de un dispositivo de procesamiento (702), un primer segmento de contenido de la pluralidad de segmentos de contenido del flujo multimedia (300), en el que el primer segmento de contenido corresponde a un segmento de contenido conocido en un almacén de datos de referencia de segmentos (122), la creación de una primera entrada de punto de referencia en un almacén de datos de información de segmentos (124), en el que la primera entrada de punto de referencia está asociada con el primer segmento de contenido, y en el que la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124) comprende un identificador del flujo multimedia (300), un identificador del primer segmento de contenido, un valor que indica un tiempo de inicio del primer segmento de contenido y un valor que indica un tiempo de finalización del primer segmento de contenido;

con anterioridad a la reproducción del flujo multimedia (300) en un momento posterior, y cuando se recibe una indicación de reproducción, la comparación de al menos una parte de la pluralidad de los segmentos de contenido con una o varias entradas de puntos de referencia en el almacén de datos de información de segmentos (124), y cuando se alcanza la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124), la activación de una operación sobre el primer segmento del flujo multimedia identificado por la primera entrada de punto de referencia mientras el flujo multimedia está almacenado en el almacén de datos multimedia (104).

2. El método de la reivindicación 1, que además comprende:

la generación de una alerta que indica la operación que se realizará en el primer segmento de contenido en el flujo multimedia (300).

3. El método de la reivindicación 2, en el que la operación comprende la sustitución del primer segmento de contenido en el flujo multimedia (300) por un segundo segmento de contenido y, opcionalmente,

que además comprende:

la identificación de la información de contexto de reproducción para la reproducción del flujo multimedia (300); y la identificación del segundo segmento de contenido teniendo en cuenta la información de contexto de reproducción y, opcionalmente,

en el que la información de contexto de reproducción comprende al menos uno de los siguientes elementos: el momento en que se solicita la reproducción del flujo multimedia, una ubicación donde se requiere la reproducción del flujo multimedia o una indicación de quién solicita la reproducción del flujo multimedia.

4. El método de la reivindicación 1, en el que la identificación del primer segmento de contenido de la pluralidad de segmentos de contenido del flujo multimedia (300) comprende:

la generación de una huella digital de al menos una parte del primer segmento de contenido;

la comparación de la huella digital con una pluralidad de segmentos de contenido conocidos en el almacén de datos de referencia de segmentos (122); y

la determinación de si la huella digital coincide al menos con uno de la pluralidad de segmentos de contenido conocidos.

5. Un sistema que comprende:

un dispositivo de procesamiento (702);

una memoria acoplada al dispositivo de procesamiento (702); esta memoria almacena un creador de puntos de referencia en un flujo multimedia (110), que puede ser ejecutado por el dispositivo de procesamiento (702) desde la memoria, para:

recibir un flujo multimedia (300) que comprende al menos una parte de audio o una parte de vídeo, en el que el flujo multimedia (300) comprende una pluralidad de segmentos de contenido que carecen de un punto de referencia; almacenar el flujo multimedia (300) en un almacén de datos multimedia para su reproducción en un momento posterior; cuando se identifica un primer segmento de contenido de la pluralidad de segmentos de contenido del flujo multimedia (300), en el que el segmento de contenido corresponde a un segmento de contenido conocido en un almacén de datos de referencia de segmentos (122);

crear una primera entrada de punto de referencia en un almacén de datos de información de segmentos (124), en el que la primera entrada de punto de referencia está asociada con el primer segmento de contenido, y en el que la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124) comprende un identificador del flujo de media (300), un identificador del primer segmento de contenido, un valor que indica un tiempo de inicio del primer segmento de contenido y un valor que indica un tiempo de finalización del primer segmento de contenido;

con anterioridad a la reproducción del flujo multimedia (300) en un momento posterior, y cuando se recibe una indicación de reproducción, comparar al menos una parte de la pluralidad de segmentos de contenido con una o varias entradas de punto de referencia en el almacén de datos de información de segmentos (124),

y cuando se alcanza la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124), activar una operación sobre el primer segmento del flujo multimedia (300) identificado por la primera entrada de punto de referencia mientras el flujo multimedia (300) está almacenado en el almacén de datos multimedia (104).

6. El sistema de la reivindicación 5, en el que el creador de punto de referencia de flujo multimedia (110) también: generará una alerta que indica la operación que se realizará sobre el primer segmento en el flujo multimedia (300).

7. El sistema de la reivindicación 6, en el que la operación comprende la sustitución del primer segmento de contenido en el flujo multimedia (300) por un segundo segmento de contenido y, opcionalmente,

en el que el creador de puntos de referencia en un flujo multimedia (110) además:

identificará la información de contexto de reproducción para la reproducción del flujo multimedia (300); e identificará el segundo segmento de contenido teniendo en cuenta la información de contexto de reproducción y, opcionalmente,

en el que la información de contexto de reproducción comprende al menos uno de los siguientes elementos: el momento en el que se solicitó la reproducción del flujo multimedia (300), una ubicación donde se requiere la reproducción del flujo multimedia (300) o una indicación de quién requiere la reproducción del flujo multimedia (300).

8. El sistema de la reivindicación 5, en el que para identificar el primer segmento de contenido de la pluralidad de segmentos de contenido del flujo multimedia (300), el creador de puntos de referencia en un flujo multimedia (110) además:

generará una huella digital de al menos una parte del primer segmento de contenido;

comparará la huella digital con una pluralidad de segmentos de contenido conocidos en el almacén de datos de referencia de segmentos (122); y

determinará si la huella digital coincide con al menos uno de la pluralidad de segmentos de contenido conocidos.

9. Un medio de almacenamiento legible por ordenador no transitorio que almacena instrucciones que, cuando son ejecutadas por un dispositivo de procesamiento (702), hacen que el dispositivo de procesamiento (702) realice operaciones que comprenden:

cuando se identifica, por parte de un dispositivo de procesamiento (702), un primer segmento de la pluralidad de segmentos de contenido del flujo multimedia (300), en el que el primer segmento de contenido corresponde a un segmento de contenido conocido en un almacén de datos de referencia de segmentos (122),

la creación de una primera entrada de punto de referencia en un almacén de datos de información de segmentos (124), en el que la primera entrada de punto de referencia está asociada con el primer segmento de contenido, y en el que la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124) comprende un identificador del flujo multimedia (300), un identificador del primer segmento de contenido, un valor que indica un tiempo de inicio del primer segmento de contenido y un valor que indica un tiempo de finalización del primer segmento de contenido;

con anterioridad a la reproducción del flujo multimedia (300) en un momento posterior, y cuando se recibe una indicación de reproducción, la comparación de al menos una parte de la pluralidad de los segmentos de contenido con una o varias entradas de puntos de referencia en el almacén de datos de información de segmentos (124), y cuando se alcanza la primera entrada de punto de referencia en el almacén de datos de información de segmentos (124), la activación de una operación sobre el primer segmento del flujo multimedia (300) identificado por la primera entrada de punto de referencia mientras el flujo multimedia (300) está almacenado en el almacén de datos multimedia (104).

10. El medio de almacenamiento legible por ordenador no transitorio de la reivindicación 9, en el que las operaciones además comprenden:

11. El medio de almacenamiento legible por ordenador no transitorio de la reivindicación 10, en el que la operación es realizada por un primer dispositivo que es diferente de un segundo dispositivo que creó el punto de referencia como se realiza en respuesta a una instrucción recibida del segundo dispositivo y, opcionalmente,

en el que las operaciones además comprenden:

en el que la información de contexto de reproducción comprende al menos uno de los siguientes elementos: el momento en que se solicita la reproducción del flujo multimedia (300), una ubicación donde se requiere la reproducción del flujo multimedia (300) o una indicación de quién solicita la reproducción del flujo multimedia (300).

12. El medio de almacenamiento legible por ordenador no transitorio de la reivindicación 9, en el que la identificación del primer segmento de contenido de la pluralidad de segmentos de contenido del flujo multimedia (300) comprende:

la comparación de la huella digital con una pluralidad de segmentos de contenido conocidos en el almacén de datos de referencia de segmentos; y