ES2933202T3 - Coordenadas como datos auxiliares - Google Patents

Coordenadas como datos auxiliares Download PDF

Info

Publication number
ES2933202T3
ES2933202T3 ES19703208T ES19703208T ES2933202T3 ES 2933202 T3 ES2933202 T3 ES 2933202T3 ES 19703208 T ES19703208 T ES 19703208T ES 19703208 T ES19703208 T ES 19703208T ES 2933202 T3 ES2933202 T3 ES 2933202T3
Authority
ES
Spain
Prior art keywords
data
audiovisual content
content
coordinates
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19703208T
Other languages
English (en)
Inventor
Michael Phillips
Patrick Greene
Henry Frecon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Source Digital Inc
Original Assignee
Source Digital Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Source Digital Inc filed Critical Source Digital Inc
Application granted granted Critical
Publication of ES2933202T3 publication Critical patent/ES2933202T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Abstract

Las coordenadas como datos auxiliares en una plataforma de distribución de contenido impulsada por un entorno de medios pueden incluir la obtención de datos de sincronización y datos auxiliares que identifiquen un conjunto de coordenadas que representan una ubicación dentro de una parte visual del contenido audiovisual, los datos auxiliares vinculados a instantes en los datos de sincronización, y comunicar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización de manera que la alineación posterior de los datos de sincronización con el contenido audiovisual sincronice el conjunto de coordenadas que representan la ubicación dentro de la parte visual del contenido audiovisual. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Coordenadas como datos auxiliares
Antecedentes
El contenido de medios se produce, procesa y a continuación se transmite a los consumidores. Además del contenido de medios tradicional, la proliferación de las tecnologías de comunicación electrónica ha permitido la entrega masiva de datos auxiliares relacionados con el contenido o su mejora. Por ejemplo, tecnologías tales como la mensajería instantánea proporcionan un medio mediante el cual entregar información electrónica a una persona o a un gran número de personas muy rápidamente. Los dispositivos electrónicos que incluyen, por ejemplo, ordenadores personales, teléfonos móviles, asistentes digitales personales y decodificadores de salón de televisión (por ejemplo, decodificadores de salón de cable, decodificadores de salón de satélite, etc.), proporcionan fácil acceso a los consumidores de información. El tipo y el contenido de los datos auxiliares que puede entregarse a través de las tecnologías de comunicación de módem varía en gran medida y comprende todo, desde información personal hasta contenido informativo y publicidad. Los datos auxiliares pueden tomar diversas formas, desde texto sencillo, gráficos, vídeo y contenido que contiene numerosas capas de datos.
Pero las tecnologías actuales son deficientes en la extracción de tales datos auxiliares para su posterior procesamiento. Los métodos actuales de sincronización de contenido y datos auxiliares, por ejemplo, pueden requerir una conexión de datos explícita entre la fuente y el objetivo o el consumidor y, a menudo, son unidireccionales. Otros métodos actuales de sincronización pueden basarse en metadatos que pueden o no estar presentes a lo largo de toda la cadena de la señal, ya que diferentes instalaciones usarán diversos flujos de trabajo que pueden o no soportar metadatos o el contenedor de formato de entrega no es bien adecuado para contener metadatos distintos de la propia esencia.
Además, convencionalmente, los datos auxiliares se han restringido a los tipos descritos anteriormente (por ejemplo, texto, gráficos, vídeo, etc.). Esta limitación en los tipos de datos auxiliares disponibles limita la utilización tanto del contenido de medios como de los datos auxiliares.
El documento US2017295412 (A1) divulga que sincronizar datos auxiliares con contenido que incluye audio incluye obtener una representación del audio del contenido y datos auxiliares vinculados a instantes en la representación del audio del contenido, y alinear la representación del audio del contenido con el audio del contenido para sincronizar los datos auxiliares vinculados a los instantes en la representación del audio del contenido al contenido.
El documento US2016300596 (A1) divulga una arquitectura y una estructura de software basados en módulos de software complementarios que soportan el manejo flexible de flujos de datos sincrónicos mediante aplicaciones de producción y edición de medios. Los complementos llamados por las aplicaciones convierten los datos de los flujos de datos sincrónicos en un formato que permite al usuario de una aplicación de este tipo ver y editar los datos sincrónicos en el tiempo contenidos dentro de tales flujos de datos. Los datos síncronos se muestran alineados temporalmente en una pista de datos síncronos dentro de una visualización de línea de tiempo de la interfaz de usuario de la aplicación. En un ejemplo, los datos de subtítulos cerrados extraídos de la porción auxiliar de una señal de vídeo se muestran como texto en una pista de datos sincronizada temporalmente con la pista de vídeo fuente. Otros complementos analizan las pistas de medios para generar datos síncronos en el tiempo que también pueden mostrarse en forma alineados temporalmente dentro de una pista de datos síncronos en una línea de tiempo.
El documento US2015189347 (A1) proporciona métodos, sistemas y medios para presentar información complementaria correspondiente al contenido de medios bajo demanda. En algunas implementaciones, el método comprende: recibir una indicación de una extensión de navegador web que se ejecuta dentro de una aplicación de navegación web de que se está presentando un elemento de contenido de medios en un sitio web de proveedor de contenido; identificar el elemento de contenido de medios que se presenta en el sitio web del proveedor de contenido; determinar si está disponible el contenido complementario asociado con el elemento de contenido de medios difundido; en respuesta a la determinación de que el contenido complementario está disponible, hacer que la extensión del navegador web presente un indicador de que el contenido complementario está disponible; obtener el contenido suplementario correspondiente al elemento de contenido de medios difundido, en donde cada pieza del contenido suplementario está asociada con información de temporización del elemento de contenido de medios difundido; y hacer que una porción del contenido complementario obtenido se presente concurrentemente con el elemento de contenido de medios en respuesta a detectar que se ha seleccionado el indicador.
El documento US2015110457 (A1) proporciona sistemas y métodos para mostrar información de vídeo que comprenden: un segundo dispositivo de pantalla que obtiene datos de la posición de reproducción actual de un vídeo que se está reproduciendo en un dispositivo de pantalla primario (por ejemplo, obtener del dispositivo de pantalla primario una identificación de un posición de reproducción del vídeo, u obtener información para generar una huella digital acústica del vídeo); determinar una posición de reproducción actual del vídeo que se reproduce en el dispositivo de pantalla primario basándose en los datos de la posición de reproducción actual (por ejemplo, identificación de la posición de reproducción actual o la huella digital acústica); descargar información (por ejemplo, mapa de vídeo, subtítulos, principios morales, contenido inaceptable, contenido memorable, artistas, mapas geográficos, compras, puntos de la trama, elementos, calificaciones e información de trivia) a través de una red de comunicaciones informáticas en la memoria del segundo dispositivo de pantalla; y mostrar información en el segundo dispositivo de pantalla sincronizada con el vídeo reproducido simultáneamente en el dispositivo de pantalla primario.
Sumario de la invención
La presente divulgación proporciona métodos y sistemas para tratar estos problemas. La presente divulgación describe una combinación dinámica de audio o código de tiempo y tecnologías de reconocimiento automático de contenido (ACR), que incluyen la toma de huellas digitales para desencadenar acciones en la canalización aguas abajo que lleva contenido desde la producción hasta los consumidores. Estas acciones preservan el contenido y la calidad originales, permiten el cumplimiento y la integración aceptable de contenido desconocido, proporcionan múltiples rutas para el acceso condicional a las bases de datos aguas arriba, así como una ruta de retorno. La presente divulgación proporciona una ruta para la sincronización de datos auxiliares, lo que permite la conectividad indirecta y elude los bloqueos de la eliminación de datos. Añadir ACR localizado, que incluye la toma de huellas digitales para comparar, por ejemplo, eventos en vivo con eventos almacenados en una base de datos permite omitir la cadena y proporciona un mecanismo para la realimentación de los datos para indicar la sincronización, así como para proporcionar cambios, actualizaciones y nueva información adicional a la base de datos. Proporciona una forma de almacenar y recuperar datos ricos en características alineados en el tiempo acerca del contenido que puede usarse para numerosos aspectos de valor añadido, tales como el comercio electrónico, el seguimiento de datos, la búsqueda, las relaciones de datos y la medición de audiencia detallada, entre otros usos.
Además, la presente divulgación proporciona un nuevo tipo de datos auxiliares, coordenadas tales como, por ejemplo, coordenadas del campo de visión de una porción visual de contenido audiovisual. Este nuevo tipo de datos auxiliares permite una utilización más avanzada del contenido audiovisual y los datos auxiliares en general. Crea una representación virtual de los datos que se alinea con el contenido en el córtex visual para que pueda actuar como un envoltorio sintético alrededor de cualquier entorno de reproducción de contenido y exponer los datos auxiliares relacionados al espectador.
Los dibujos adjuntos, que se incorporan y constituyen una parte de la memoria descriptiva, ilustran diversos sistemas de ejemplo, métodos, y así sucesivamente, que ilustran diversas realizaciones de ejemplo de aspectos de la invención. Se apreciará que los límites de los elementos ilustrados (por ejemplo, recuadros, grupos de recuadros u otras formas) en las figuras representan un ejemplo de los límites. Un experto en la materia apreciará que un elemento puede diseñarse como múltiples elementos o que múltiples elementos pueden diseñarse como un elemento. Un elemento que se muestra como un componente interno de otro elemento puede implementarse como un componente externo y viceversa. Además, los elementos pueden no estar dibujados a escala.
La Figura 1A ilustra un diagrama esquemático de un método ilustrativo para sincronizar contenido que incluye audio con datos auxiliares que incluyen coordenadas de la porción visual del contenido.
La Figura 1B ilustra un diagrama esquemático de un método ilustrativo para sincronizar los datos auxiliares que incluyen las coordenadas de la porción visual del contenido con los datos auxiliares que representan un segundo conjunto de coordenadas.
La Figura 1C ilustra un diagrama esquemático de un método ilustrativo para sincronizar datos auxiliares que incluyen coordenadas tridimensionales.
La Figura 1D ilustra un diagrama esquemático de un método ilustrativo para sincronizar datos auxiliares que representan un conjunto de coordenadas bidimensionales con datos auxiliares que representan un conjunto de coordenadas tridimensionales.
La Figura 2 ilustra un diagrama de bloques de un sistema ilustrativo para sincronizar datos auxiliares con contenido que incluye audio.
La Figura 3 ilustra un diagrama de bloques del sistema ilustrativo que incluye detalles en el distribuidor de contenido.
La Figura 4 ilustra un diagrama de bloques del sistema ilustrativo que incluye detalles en el consumidor.
La Figura 5 ilustra un diagrama de bloques del sistema ilustrativo que incluye detalles en la ubicación de almacenamiento.
La Figura 6 ilustra un diagrama de flujo para un método ilustrativo para sincronizar datos auxiliares con contenido que incluye audio.
La Figura 7A ilustra un diagrama de flujo para un método ilustrativo para sincronizar datos auxiliares con contenido que incluye audio.
La Figura 7B ilustra un diagrama de flujo para un método ilustrativo para una plataforma de distribución de contenido accionada por un entorno de medios.
La Figura 8 ilustra un diagrama de bloques de una máquina ilustrativa para sincronizar datos auxiliares con contenido que incluye audio.
Descripción detallada
La Figura 1A ilustra un diagrama esquemático de un método ilustrativo para sincronizar contenido que incluye audio con datos auxiliares que incluyen coordenadas de la porción visual del contenido. La Figura 1A muestra un contenido audiovisual 1, que incluye una porción visual 3 y una porción de audio 5. El contenido audiovisual 1 puede ser una película, un programa de TV, un evento deportivo (por ejemplo, un partido de baloncesto), un vídeo de Internet, un videojuego, un entorno de realidad virtual (VR), realidad aumentada (AR) o realidad mixta (MR) o programas solo de audio a través de radio, Internet, etc.
La Figura 1A también muestra datos auxiliares 7. Los datos auxiliares 7 son datos que están relacionados con el contenido y pueden incluir datos que describen el contenido, tal como el nombre del contenido o datos de identificación del contenido, datos sobre un guion reproducido en el contenido, datos sobre el vestuario que usan los personajes del contenido, datos que incluyen comentarios de artistas, productores o directores del contenido, un Localizador de Recursos Uniforme (URL) a un recurso que incluye información sobre el contenido, datos sobre la música en el audio del contenido, etc. Los datos auxiliares 7 pueden incluir datos comerciales tales como datos de publicidad. Los datos auxiliares 7 también pueden incluir datos del usuario, tales como comentarios de los espectadores del contenido (por ejemplo, mensajes de Twitter, etc.). Los datos auxiliares 7 también pueden incluir datos profesionales o técnicos, tales como estadísticas del audio del contenido, que incluyen, por ejemplo, el volumen o la escala de rango dinámico del audio del contenido, etc. Los datos auxiliares 7 también pueden incluir acceso a nivel de cadena de bloques a otra aplicación.
Como puede observarse a partir de los ejemplos anteriores, lo que constituye los datos auxiliares 7 puede variar ampliamente y puede recopilarse de una diversidad de fuentes. Otro ejemplo de datos auxiliares son las coordenadas de la porción visual 3 del contenido 1. Este nuevo tipo de datos auxiliares puede permitir una utilización más avanzada del contenido audiovisual y los datos auxiliares en general.
Un problema significativo que surge con los datos auxiliares es la sincronización; como cuestión práctica, cómo se alinean en tiempo exactamente los datos auxiliares 7 con el contenido audiovisual 1. Los métodos actuales de sincronización de contenido y datos auxiliares requieren una conexión de datos explícita entre la fuente del contenido y el objetivo o consumidor. Estos datos de temporización explícitos comunican la temporización al equipo en las instalaciones del consumidor. Estos métodos también normalmente son unidireccionales desde la fuente o el proveedor de contenido hasta el objetivo o el consumidor, lo cual es una limitación. Otros métodos actuales de sincronización se basan en metadatos adjuntos al contenido, que pueden o no estar presentes a lo largo de la cadena de señal desde la fuente o el proveedor de contenido hasta el objetivo o el consumidor, ya que las diferentes instalaciones usarán diversos flujos de trabajo o formatos de contenedor de contenido que pueden o no soportar metadatos.
Como se muestra en la Figura 1A, el contenido audiovisual 1 incluye la porción visual 3 y el audio 5. La Figura 1A también ilustra una representación 9 de la porción de audio 5 del contenido audiovisual 1 en forma de firma de forma de onda de audio. La representación 9 coincide con la porción de audio 5 del contenido audiovisual 1 al menos en la medida en que la porción de audio 5 es identificable desde la representación 9 a lo largo del tiempo t. En la realización de la Figura 1A, cada uno de los datos auxiliares 7 está vinculado a la representación 9 en instantes de la representación 9 correspondientes a los instantes de la porción de audio 5 con la que se alinean los datos auxiliares 7. En una realización, los datos auxiliares 7 pueden vincularse a una duración (y no simplemente a un instante) en la representación 9. En tal realización, los datos auxiliares 7 pueden vincularse a dos (o más) instantes en la representación 9 que representan un inicio y un fin, respectivamente, de la duración de la representación 9 (por ejemplo, una escena de película). En otra realización, los datos auxiliares 7 pueden vincularse al instante de inicio y una duración en la representación 9 aplicable a los datos auxiliares 7 definidos. En tal realización, los datos auxiliares 7 pueden vincularse al instante de inicio (o de fin) en la representación 9 que representa un inicio y un fin, respectivamente, de la duración en la representación 9 (por ejemplo, una escena de película) y la duración especificada como término absoluto.
En el ejemplo de la Figura 1A, los datos auxiliares A están vinculados al instante de la representación 9 correspondiente al tiempo tx del contenido audiovisual 1. Los datos auxiliares 7b, 7c y 7h están vinculados al instante de la representación 9 correspondiente al tiempo tx+1 del contenido audiovisual 1. Los datos auxiliares 7d y 7e están vinculados al instante de la representación 9 correspondiente al tiempo tx+2. Los datos auxiliares 7f están vinculados al instante de la representación 9 correspondiente al tiempo tx+3 del contenido audiovisual 1 y datos auxiliares 7g está vinculado al instante de la representación 9 correspondiente al tiempo tx+4 del contenido audiovisual 1.
Cada uno de los datos auxiliares 7 y la representación 9 pueden almacenarse a continuación en una base de datos que puede hacerse accesible a futuros usuarios o espectadores del contenido audiovisual 1. De esta forma, cuando el contenido audiovisual 1 se distribuye a esos usuarios o espectadores, la representación 9, así como los datos auxiliares 7 vinculados a la representación 9 pueden estar disponibles para esos usuarios o espectadores.
En las instalaciones del usuario, la porción de audio 5 del contenido audiovisual 1 que se recibe puede compararse en tiempo real con la representación 9 para sincronizar la porción de audio 5 y, por lo tanto, el contenido audiovisual 1 con la representación 9. Además, dado que los datos auxiliares 7 están vinculados a los instantes de la representación 9 correspondientes a sus respectivos tiempos del contenido audiovisual 1, los datos auxiliares 7 pueden sincronizarse con el contenido audiovisual 1 incluso en ausencia de datos de temporización explícitos. En la realización ilustrada de la Figura 1A, los datos auxiliares 7a se alinean (es decir, aparecen o están relacionados con) un tiempo tx del contenido audiovisual 1. Los datos auxiliares 7b y 7c aparecen o están relacionados con un tiempo tx+1 del contenido audiovisual 1. Los datos auxiliares 7d y 7e aparecen o están relacionados con el tiempo tx+2. Los datos auxiliares 7f aparecen en el tiempo o están relacionados con el tiempo tx+3 del contenido audiovisual 1 y los datos auxiliares 7g aparecen o están relacionados con el tiempo tx+4. Por ejemplo, datos auxiliares 7a en tx puede indicar el nombre del contenido, True Blood, temporada 2, episodio 2. En el tiempo tx+1 (por ejemplo, a 12 m 2 s) los datos auxiliares 7b describen que Sookie Stackhouse (personaje), interpretada por Anna Paquin (actor) lleva zapatos de salón de satén de 105 mm Manolo Blahnik Hangisi (accesorios), mientras que los datos auxiliares 7c indican que la música es la Sonata Claro de Luna de Beethoven interpretada por la Orquesta Sinfónica de Londres. Los datos auxiliares 7d y 7e pueden ser mensajes de Twitter recibidos en el tiempo tx+2 en el que los usuarios expresan sus reacciones ante el contenido audiovisual 1 o una escena particular del contenido audiovisual 1. Los datos auxiliares 7f pueden indicar un cambio en tx+3 en el volumen prescrito o la escala de rango dinámico del audio del contenido debido a una pausa comercial o puede hacerse más granular que solo el programa completo. Los datos auxiliares 7g pueden indicar un cambio en tx+4 en el volumen prescrito o la escala de rango dinámico del audio del contenido debido a un retorno al contenido audiovisual 1 de la pausa comercial.
Otro tipo de datos auxiliares pueden ser datos de coordenadas de la porción visual 3 del contenido 1. Por ejemplo, los datos auxiliares pueden incluir datos que identifican un conjunto de coordenadas que representa una ubicación dentro de la porción visual 3 del contenido audiovisual 1 y datos que identifican el centro y la forma de un objeto ubicado dentro de la porción visual 3 del contenido audiovisual 1 en la ubicación representada por el conjunto de coordenadas. En la Figura 1, los datos auxiliares 7h pueden ser un conjunto de coordenadas x, y (True Blood es un programa de TV bidimensional) correspondiente a la porción visual 3 del contenido 1. Las coordenadas 7h corresponden a la ubicación en la porción visual 3 de los datos auxiliares 7b, los zapatos de salón de satén Manolo Blahnik Hangisi de 105 mm de Sookie Stackhouse.
Siendo esta información parte de los datos auxiliares 7, un usuario puede consultar en el sistema de datos auxiliares el contenido audiovisual en el que aparecen los zapatos de salón de satén Manolo Blahnik Hangisi de satén de 105 mm. Los resultados de la búsqueda pueden ser Manolo Blahnik y/o zapatos de satén de 105 mm (producto). El resultado de la consulta sería, no solo True Blood, temporada 2, episodio 2 como el contenido audiovisual, sino también tx+1 (por ejemplo, a los 12 m 2 s) como el tiempo duración en el contenido audiovisual 1 en el que aparecen los zapatos y las coordenadas x, y como la ubicación precisa de los zapatos en la porción visual 3. Como alternativa, el usuario puede consultar el sistema de datos auxiliares para contenido audiovisual en el que aparecen los zapatos de salón de satén Manolo Blahnik Hangisi de 105 mm en las coordenadas x, y. El resultado de la consulta sería True Blood, temporada 2, episodio 2 en el tiempo tx+1 (por ejemplo, a los 12 m 2 s).
De manera similar, con los datos auxiliares del conjunto de coordenadas disponibles, un usuario puede consultar el sistema de datos auxiliares para saber qué datos auxiliares se encuentran en una ubicación dentro de la porción visual de un contenido audiovisual identificado por un conjunto de puntos específicos o coordenadas de forma. Por ejemplo, el usuario puede buscar lo que está en las coordenadas x, y en el tiempo tx+1 o desde dentro de una forma dada del contenido audiovisual 1, True Blood, temporada 2, episodio 2. Un resultado de la consulta sería zapatos de salón de satén Manolo Blahnik Hangisi de satén de 105 mm. Para consultar el sistema, el usuario puede, por ejemplo, tocar la pantalla de un dispositivo en las coordenadas x, y en el tiempo tx+1 del contenido audiovisual 1, True Blood, temporada 2, episodio 2. El sistema puede detectar el toque en la ubicación específica, buscar datos auxiliares y emitir información que identifique el objeto u objetos en la ubicación específica.
Las combinaciones de consultas anteriores son meramente ilustrativas. Son posibles muchas otras combinaciones de consultas en las que las coordenadas como datos auxiliares permiten una utilización más avanzada del contenido audiovisual y los datos auxiliares en general.
Además, la Figura 1A ilustra un ejemplo bidimensional (True Blood es un programa de TV bidimensional), pero el sistema de datos auxiliar que se divulga en este punto no está limitado a dos dimensiones y puede incluir coordenadas tridimensionales (x, y, z) para contenido tridimensional (por ejemplo, videojuegos en 3D, películas en 3D, realidad virtual en 3D, etc.) como se describe a continuación.
La inclusión de coordenadas como datos auxiliares proporciona más oportunidades para una utilización más avanzada del contenido audiovisual y los datos auxiliares en general. Las coordenadas como datos auxiliares pueden corresponder a coordenadas relativas sencillas tales como, por ejemplo, las coordenadas x, y que representan simplemente la ubicación dentro de un fotograma de vídeo (por ejemplo, x = 0-1920, y = 0-1080) o una forma dada (mínimo de tres coordenadas si se conoce la relación de aspecto) del contenido 1. Sin embargo, las coordenadas como datos auxiliares pueden corresponder a coordenadas relativas a espacios o áreas alternativas tales como, por ejemplo, las coordenadas x, y que representan la ubicación dentro del fotograma de vídeo del contenido 1 y al mismo tiempo la ubicación dentro de otro espacio o área (por ejemplo, un espacio virtual, un espacio dentro de un videojuego, un espacio dentro de un contenido audiovisual diferente, etc.) Las coordenadas como datos auxiliares también pueden corresponder a coordenadas absolutas que pueden correlacionarse con otros espacios o áreas tales como, por ejemplo, coordenadas x, y que representan la ubicación dentro del fotograma de vídeo del contenido 1 y al mismo tiempo la ubicación dentro de un espacio del mundo real (por ejemplo, un estadio, una ciudad, un país, un planeta, el universo, etc.)
Además, las coordenadas correspondientes a espacios o áreas alternativos no necesitan ser absolutas o relativas a las coordenadas correspondientes a la ubicación en la porción visual 3 del contenido 1. Estas coordenadas correspondientes a espacios o áreas alternativos pueden vincularse o correlacionarse simplemente con las coordenadas correspondientes a la ubicación en la porción visual 3 del contenido 1. Por ejemplo, las coordenadas correspondientes a áreas o espacios alternativos pueden vincularse como datos auxiliares al instante correspondiente en los datos de sincronización 9 para vincularlos o correlacionarlos con las coordenadas correspondientes a la ubicación en la porción visual 3 del contenido 1. Esta capa adicional de coordenadas se convierte en una capa adicional de datos auxiliares.
La Figura 1B ilustra un ejemplo de utilización de coordenadas como datos auxiliares. La Figura 1B ilustra un diagrama esquemático de un método ilustrativo para sincronizar los datos auxiliares que incluyen las coordenadas de la porción visual del contenido con los datos auxiliares que representan un segundo conjunto de coordenadas. Como se ha descrito anteriormente, los datos auxiliares 7h incluyen coordenadas que corresponden a la ubicación en la porción visual 3 de los datos auxiliares 7b, los zapatos de salón de satén de 105 mm Manolo Blahnik Hangisi de Sookie Stackhouse usados durante la temporada 2, episodio 2 de True Blood en el tiempo tx+1. También sabemos que True Blood tiene lugar en Small-town, Louisiana. Por lo tanto, las coordenadas 7h corresponden, no solo a la ubicación de los zapatos de Sookie Stackhouse en el tiempo tx+1 de True Blood temporada 2, episodio 2, sino también a algún lugar en Louisiana, un lugar del mundo real. Pueden hacerse referencia a múltiples ubicaciones para el mismo tramo de programa dado. Dónde tiene lugar en la historia, dónde se filma realmente y, tal vez, un lugar del que están hablando o en un letrero dentro del contenido. El sistema no se limita a una pieza de metadatos similares, sino a capas de metadatos similares relacionados con el contenido. La vista 8 representa ese espacio o ubicación en Small-town, Louisiana o la representación de Google Earth de Small-town, Louisiana. Como puede verse en la Figura 1B, las coordenadas 7h corresponden a una ubicación en Small-town, Louisiana y/o la representación de Google Earth de dicho lugar. Los dos o más espacios (tiempo tx+1 de True Blood temporada 2, episodio 2 y Small-town, Louisiana del mundo real) están, en cierto sentido, anclados entre sí por las coordenadas.
La noción de coordenadas que representan, no solo una ubicación dentro de un espacio visual de una sola pieza de contenido audiovisual, sino también una ubicación (o múltiples ubicaciones) dentro de espacios alternativos tiene enormes implicaciones. Por ejemplo, un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares para las coordenadas del mundo real donde tienen lugar escenas de programas, películas, juegos, etc. Las coordenadas correspondientes, no solo para la escena/fotograma en los programas, películas, juegos, etc. en la base de datos, sino también a una ubicación del mundo real podrían dar como resultado la ubicación del mundo real y consultar servicios en tiempo real tales como, por ejemplo, el clima, etc. En otro ejemplo, un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares para otro contenido audiovisual (o solo contenido visual) donde tienen lugar escenas de programas, películas, juegos, etc. Las coordenadas correspondientes, no solo para la escena/fotograma del programa, película, juego, etc. que se está viendo, sino también a las escenas de otros programas, películas, juegos, etc. podrían dar como resultado los otros programas, películas, juegos, etc. y la hora en que aparecen. En otro ejemplo más, un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares para programas, películas, juegos, etc. que tengan escenas que tengan lugar en un conjunto particular de coordenadas mundiales. Con las coordenadas correspondientes, no solo para la ubicación mundial, sino también para los respectivos programas, películas, juegos, etc. en la base de datos, el sistema podría dar como resultado los fotogramas/escenas específicas dentro de los programas, películas, juegos, etc. correspondientes a la ubicación del mundo real. Nociones similares también se aplican a los espacios tridimensionales.
Esta capacidad es extremadamente útil y no está disponible en la técnica anterior. Las capas de espacios que podrían correlacionarse por coordenadas son infinitas; el contenido audiovisual puede correlacionarse con espacios del mundo real y con espacios del mundo virtual (por ejemplo, videojuegos), AR, MR, etc.
La Figura 1C ilustra un ejemplo tridimensional de coordenadas como datos auxiliares. La Figura 1C ilustra un diagrama esquemático de un método ilustrativo para sincronizar datos auxiliares que incluyen coordenadas tridimensionales que pueden ocurrir en relación con el contenido tridimensional. El contenido tridimensional puede incluir vídeo 3D estéreo, vídeo 360 (monoscópico o estereoscópico), realidad virtual (VR), realidad aumentada (AR), etc. En tres dimensiones, las coordenadas pueden corresponder a x, y y z.
Para contenido tridimensional, la coordenada z puede corresponder a una coordenada de profundidad. Para propósitos ilustrativos, digamos que el contenido audiovisual 1 (temporada 2, episodio 2 de True Blood) es un contenido tridimensional. Las capas de vista 3a-3i representan la profundidad z de vistas en un tiempo tx+1 del contenido audiovisual 1. Como se ha descrito anteriormente, los datos auxiliares 7h corresponden a las coordenadas que indican la ubicación en la porción visual 3 de los datos auxiliares 7b, los zapatos de salón de satén de 105 mm Manolo Blahnik Hangisi de Sookie Stackhouse usados durante la temporada 2, episodio 2 de True Blood en el tiempo tx+1. Los zapatos, al ser objetos tridimensionales, pueden aparecer a múltiples profundidades z. Sin embargo, los zapatos pueden verse mejor en la porción visual 3 del contenido 1 a una profundidad z = 3c.
Para contenido bidimensional, la coordenada z puede corresponder a un nivel de zoom. Por ejemplo, una película de alta definición (HD, UHD, 4K y superior) incluye mucha más información de la necesaria para una visualización de alta definición en una pantalla pequeña como la de un dispositivo móvil. El sistema de datos auxiliares puede aprovechar la disponibilidad de estos datos adicionales para proporcionar un amplio zoom sin sacrificar la resolución. Volviendo al ejemplo de True Blood, puede ser que los zapatos de salón de satén de 105 mm Manolo Blahnik Hangisi de Sookie Stackhouse no sean apreciables o no se vean bien cuando True Blood, temporada 2, episodio 2 se ve a pantalla completa en la pantalla de un dispositivo móvil pequeño. En tal caso, las coordenadas correspondientes a la ubicación de los zapatos pueden incluir x, y y también z, un nivel de zoom en el que se pueden ver correctamente los zapatos. La coordenada z puede establecerse en z = 3c para que los zapatos puedan verse apropiadamente en la pantalla más pequeña.
Como se ha descrito anteriormente para el ejemplo bidimensional, las coordenadas pueden representar, no solo una ubicación dentro de un espacio visual de una sola pieza de contenido audiovisual, sino también una ubicación (o múltiples ubicaciones) dentro de espacios alternativos. Lo mismo se cumple para el contenido tridimensional. Por ejemplo, un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares para las coordenadas tridimensionales del mundo real donde tienen lugar las escenas (es decir, un momento particular) de programas, películas, juegos, etc. Las coordenadas correspondientes, no solo a la escena/fotograma en los programas, películas, juegos, etc. en la base de datos, sino también a una ubicación del mundo real podrían dar como resultado la ubicación tridimensional del mundo real. En otro ejemplo, un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares sobre contenido audiovisual que tiene escenas que tienen lugar en un conjunto particular de coordenadas del mundo tridimensional (real o virtual). Con las coordenadas correspondientes, no solo para la ubicación mundial, sino también para los respectivos programas, películas, juegos, etc. en la base de datos, el sistema podría dar como resultado los fotogramas/escenas específicas (es decir, un momento particular) dentro de los programas, películas, juegos, etc. correspondientes a la ubicación del mundo real.
La Figura 1D ilustra un diagrama esquemático de un método ilustrativo para sincronizar datos auxiliares que representan un conjunto de coordenadas bidimensionales con datos auxiliares que representan un conjunto de coordenadas tridimensionales. La Figura 1D ilustra un ejemplo en el que una ubicación 7h en una porción visual bidimensional 3 puede correlacionarse con una ubicación tridimensional. Las capas de vista 8a-8i representan la profundidad (dirección z) de un espacio o ubicación tridimensional en, por ejemplo, Small-town, Louisiana o la representación de Google Earth de Small-town, Louisiana. Como puede verse en la Figura 1D, las coordenadas 7h corresponden a una ubicación en True Blood, temporada 2, episodio 2, bidimensional en el tiempo tx+1 y una ubicación del mundo real en Small-town, Louisiana tridimensional y/o la representación tridimensional de Google Earth de tal lugar. Los dos espacios (tiempo tx+1 de True Blood temporada 2, episodio 2 y Small-town, Louisiana del mundo real) están, en cierto sentido, anclados entre sí por las coordenadas.
Un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares para las coordenadas tridimensionales del mundo real donde tienen lugar escenas de programas, películas, juegos, etc. bidimensionales, o viceversa. Las coordenadas correspondientes, no solo a la escena/fotograma en los programas, películas, juegos, etc. en la base de datos, sino también a una ubicación del mundo real podrían dar como resultado la ubicación tridimensional del mundo real. En otro ejemplo, un usuario o dispositivo móvil puede consultar el sistema de datos auxiliares sobre contenido audiovisual que tiene escenas que tienen lugar en un conjunto particular de coordenadas del mundo tridimensional (real o virtual). Con las coordenadas correspondientes, no solo para la ubicación mundial, sino también para los respectivos programas, películas, juegos, etc. bidimensionales en la base de datos, el sistema podría dar como resultado los fotogramas/escenas específicas dentro de los programas, películas, juegos, etc. correspondientes a la ubicación del mundo real.
En cuanto a la autoría o la recopilación, los datos auxiliares 7, incluyendo las coordenadas como datos auxiliares, pueden obtenerse o recopilarse antes de la reproducción, difusión, distribución o representación del contenido audiovisual 1. Por ejemplo, los datos auxiliares 7 pueden obtenerse o recopilarse durante la preproducción, producción, posproducción, control de calidad o masterización del contenido audiovisual 1. Los datos auxiliares 7 también pueden obtenerse o recopilarse durante la reproducción, difusión, distribución o representación del contenido audiovisual 1. Por ejemplo, si el contenido audiovisual 1 es un programa de TV, los datos auxiliares 7 pueden obtenerse o recopilarse durante una primera o posterior difusión del programa de TV.
Las coordenadas como datos auxiliares proporcionan oportunidades adicionales para la autoría y/o la recopilación de datos auxiliares. Por ejemplo, un usuario puede ver un contenido 1 (por ejemplo, True Blood temporada 2, episodio 2) mientras usa una pantalla óptica montada en la cabeza. La pantalla tiene su propio conjunto de coordenadas que pueden usarse para, por ejemplo, registrar en qué dirección está mirando el usuario a través de la pantalla, así como la posición de los ojos de lo que se está mirando (dependiendo del sistema usado para la visualización). Las coordenadas como datos auxiliares pueden usarse para vincular las coordenadas correspondientes a una ubicación en la pantalla óptica montada en la cabeza con las coordenadas correspondientes a una ubicación en la porción visual 3 del contenido 1. Las coordenadas de la pantalla montada en la cabeza óptica pueden vincularse como datos auxiliares al instante correspondiente en los datos de sincronización 9 para vincular o correlacionar las coordenadas correspondientes a la ubicación en la pantalla óptica montada en la cabeza con las coordenadas correspondientes a la ubicación en la porción visual 3 del contenido 1.
Con respecto al almacenamiento y la distribución, los datos auxiliares 7 recopilados pueden almacenarse en una base de datos a la que pueden acceder futuros usuarios o espectadores del contenido audiovisual 1. De esta manera, cuando el contenido audiovisual 1 se distribuya posteriormente a esos usuarios o espectadores, los datos auxiliares 7 pueden estar disponibles para el consumo de esos usuarios o espectadores al mismo tiempo que el contenido audiovisual 1. Los datos auxiliares 7 aparecen o se manifiestan por sí mismos alineados en el tiempo con el contenido audiovisual 1.
La Figura 2 ilustra un diagrama de bloques de un sistema ilustrativo 10 para sincronizar datos auxiliares con contenido que incluye audio. El sistema 10 incluye tres componentes principales: el distribuidor de contenido 20, el consumidor 30 y la ubicación de almacenamiento 40. La Figura 2 también muestra el medio M a través del cual el distribuidor de contenido 20, el consumidor 30 y la ubicación de almacenamiento 40 se comunican entre sí.
El elemento 20 no está limitado a los difusores o a las instalaciones o equipo de difusión. En la práctica, el distribuidor de contenido 20 puede representar cualquier instalación o equipo que sea parte o se use en la preproducción, producción, posproducción, control de calidad, equipo de masterización, difusión de cualquier tipo (incluyendo la difusión profesional o en redes sociales) u otro método de envío y distribución de contenido audiovisual, que toca el contenido audiovisual 1 antes y durante la reproducción para la transmisión o difusión. De manera similar, aunque para facilitar la explicación la presente divulgación se refiere al elemento 30 como el consumidor 30, el elemento 30 no está limitado a los consumidores o a las instalaciones o al equipo del consumidor. En la práctica, el consumidor 30 puede representar cualquier instalación o equipo que toca el contenido audiovisual 1 durante o después de la reproducción para su transmisión o difusión.
Asimismo, el medio M puede ser cualquier medio usado para transmitir contenido 1 o datos en general como, por ejemplo, Internet, comunicación por satélite, comunicación por radio, comunicación por televisión (difusión o cable), etc. Aunque en las figuras el medio M se muestra como compartido por el distribuidor de contenido 20, el consumidor 30 y la ubicación de almacenamiento 40, la comunicación entre estos elementos no necesita tener lugar en el mismo medio. Así, por ejemplo, el distribuidor de contenido 20 puede comunicarse con el consumidor 30 a través de satélite mientras que el distribuidor de contenido 20 se comunica con la ubicación de almacenamiento 40 a través de Internet.
En el ejemplo de la figura 2, el distribuidor de contenido 20 transmite el contenido audiovisual 1 al consumidor 30 y los datos auxiliares 7 y la representación 9 a la ubicación de almacenamiento 40 para su almacenamiento. El consumidor 30 recibe el contenido audiovisual 1 del distribuidor de contenido 20 y los datos auxiliares 7 y la representación 9 de la ubicación de almacenamiento 40. De manera interesante, el consumidor 30 también puede transmitir datos auxiliares 7 y/o la representación 9 a la ubicación de almacenamiento 40. Por tanto, el sistema 10 proporciona comunicación bidireccional por el consumidor 30; el consumidor 30 puede participar en la creación de datos auxiliares 7, mejorando los datos auxiliares 7, la funcionalidad del sistema y, en última instancia, la experiencia del cliente.
La Figura 3 ilustra un diagrama de bloques del sistema ilustrativo 10 que incluye detalles en el distribuidor de contenido 20. El distribuidor de contenido 20 incluye una máquina o grupo de máquinas para sincronizar datos auxiliares con el contenido. El contenido puede incluir audio. En la realización ilustrada, el distribuidor de contenido 20 incluye un presincronizador 22 que vincula los datos auxiliares 7 a instantes de la representación 9 (por ejemplo, la representación de la porción de audio 5 o la representación de la porción visual 3 del contenido audiovisual 1 de la figura 1).
El distribuidor de contenido 20 también puede incluir un transceptor 24 que comunica el contenido audiovisual 1 al consumidor 30 y la representación 9 y los datos auxiliares 7 vinculados a los instantes en la representación 9 a la ubicación de almacenamiento 40 a través del medio M. Como se ha descrito anteriormente, el consumidor 30 puede acceder a la ubicación de almacenamiento 40. La alineación de la representación 9 con el audio del contenido 5 (o el vídeo del contenido 3 en el caso en que la representación 9 corresponda a la porción visual 3) tras la reproducción, difusión, distribución, representación, etc. del contenido audiovisual 1 sincroniza los datos auxiliares 7 vinculados a los instantes en la representación 9 al contenido audiovisual 1.
El distribuidor de contenido 20 también puede incluir un procesador de audio 26, que puede procesar la porción de audio 5 del contenido audiovisual 1 para crear una representación del audio del contenido 5 tal como, por ejemplo, la firma de la forma de onda de audio de la figura 1A. En una realización alternativa, el distribuidor de contenido 20 también puede incluir un procesador de vídeo, que puede procesar la porción visual 3 del contenido audiovisual 1 para crear una representación del vídeo del contenido 3 en lugar o además de la firma de forma de onda de audio de la figura 1A. El transceptor 24 puede a continuación comunicar la representación 9 (por ejemplo, la firma) y los datos auxiliares 7 vinculados a los instantes en la representación 9 a la ubicación de almacenamiento 40.
En una realización, el presincronizador 22 crea un enlace a la ubicación de almacenamiento 40. El enlace puede ser un Identificador de Recursos Uniforme (por ejemplo, URL) o un identificador o localizador de ubicación similar. El procesador de audio 26 puede insertar el enlace en la ubicación de almacenamiento 40 en metadatos del contenido audiovisual 1 o específicamente metadatos del audio del contenido 5 o vídeo de contenido 3. La porción de audio 5 puede codificarse como, pero sin limitación, Dolby AC-4, AC-3 o E-AC-3 o MPEG-H, todos los cuales pueden llevar metadatos. El consumidor 30 puede extraer el enlace a la ubicación de almacenamiento 40 desde los metadatos del contenido audiovisual 1 o del audio 5 o del vídeo 3 del contenido. Teniendo el enlace a la ubicación de almacenamiento 40, el consumidor 30 puede a continuación comunicarse con la ubicación de almacenamiento 40 para obtener la información almacenada en la ubicación de almacenamiento 40 o para almacenar información en la misma.
En una realización, el procesador de audio 26 analiza el audio del contenido 5 para recopilar estadísticas de la porción de audio 5 que incluyen, por ejemplo, el volumen o la escala de rango dinámico de la porción de audio 5. El procesador de audio 26 puede insertar las estadísticas del audio del contenido 5 en los metadatos del contenido audiovisual 1, del audio del contenido 5 o del vídeo del contenido 3. El consumidor 30 puede extraer las estadísticas del audio del contenido 5 de los metadatos.
En una realización, el transceptor 24 comunica las estadísticas del audio del contenido 5 a la ubicación de almacenamiento 40 además de la representación 9, y los datos auxiliares 7 vinculados a los instantes en la representación 9. El consumidor 30 puede obtener las estadísticas del audio del contenido 5 desde la ubicación de almacenamiento 40.
Teniendo las estadísticas del audio del contenido 5, el consumidor 30 puede a continuación ajustar el audio para que se reproduzca o distribuya desde las instalaciones del consumidor 30 basándose en las estadísticas del audio del contenido 5 extraídas de los metadatos.
Como se analizó anteriormente, el presincronizador 22 puede recopilar los datos auxiliares 7 durante una reproducción o representación anterior del contenido audiovisual 1. Por ejemplo, el contenido audiovisual 1 puede ser un partido de baloncesto que originalmente se difundió en directo. Los datos auxiliares 7 pueden incluir estadísticas de juego actualizadas (por ejemplo, puntos, rebotes, asistencias, etc.). Teniendo acceso a estos datos auxiliares 7 y su temporización correspondiente, el presincronizador 22 puede vincular los datos auxiliares 7 a instantes en una representación 9 (por ejemplo, una firma de forma de onda) correspondiente a la temporización apropiada en el juego cuando las estadísticas son precisas. El transceptor 24 puede a continuación transmitir los datos auxiliares 7 y la representación 9 a la ubicación de almacenamiento 40 para que el consumidor 30 tenga acceso a la información para su uso como se ha descrito anteriormente.
El distribuidor de contenido 20 también puede incluir herramientas de autoría 28 para recopilar datos auxiliares 7. Las herramientas de autoría 28 pueden permitir, por ejemplo, que un estadístico introduzca las estadísticas del partido de baloncesto descrito anteriormente. En general, las herramientas de autoría 28 pueden permitir la entrada de datos auxiliares 7. Las herramientas de autoría 28 pueden usarse para introducir datos auxiliares que describen el contenido, tal como el nombre del contenido o datos de identificación del contenido, datos sobre un guion reproducido en el contenido, datos sobre el vestuario que usan los personajes en el contenido, datos que incluyen comentarios de artistas, productores o directores del contenido, un Localizador de Recursos Uniforme (URL) a un recurso que incluye información sobre el contenido, datos sobre música en el audio del contenido, etc. Las herramientas de autoría 28 también pueden usarse para introducir datos auxiliares 7 en forma de datos comerciales, tales como datos publicitarios o datos profesionales o técnicos relacionados con el contenido.
Las herramientas de autoría 28 también pueden usarse para colocar un objeto dentro de la porción visual 3 del contenido audiovisual 1. Una ubicación de este tipo puede estar representada o no por un conjunto de coordenadas. Las herramientas de autoría 28 pueden usarse para introducir tal conjunto de coordenadas. Las herramientas de autoría 28 también pueden usarse para vincular un segundo conjunto de coordenadas (por ejemplo, coordenadas de una ubicación del mundo real, coordenadas que representan una ubicación dentro de una porción visual de un segundo contenido audiovisual, etc.) como datos auxiliares adicionales a los instantes en los datos de sincronización 9 del contenido audiovisual 1, de modo que el primer conjunto de coordenadas que representa la ubicación dentro de la porción visual 3 del contenido audiovisual 1 se correlaciona con el segundo conjunto de coordenadas.
La Figura 4 ilustra un diagrama de bloques del sistema ilustrativo 10 que incluye detalles en el consumidor 30. El consumidor 30 puede incluir una máquina o grupo de máquinas para sincronizar datos auxiliares 7 con el contenido 1 que incluye audio 5 y vídeo 3.
En la realización ilustrada, el consumidor 30 incluye un transceptor 32 que recibe el contenido audiovisual 1 del distribuidor de contenido 20 y la representación 9 y los datos auxiliares 7 vinculados a instantes en la representación 9 desde la ubicación de almacenamiento 40.
El consumidor 30 también puede incluir un postsincronizador 34 que alinea la representación 9 con el audio 5 o el vídeo 3 del contenido, sincronizando de esta manera los datos auxiliares 7 con el contenido audiovisual 1 como se ha descrito anteriormente. La metodología específica mediante la cual el postsincronizador 34 alinea la representación 9 con el audio del contenido 5 o el vídeo del contenido 3 no es crucial para la presente invención. Los mecanismos mediante los cuales se puede lograr tal alineación incluyen una variación de lo que se conoce como Reconocimiento Automático de Contenido (ACR) y, específicamente, una variación de lo que se conoce como huella digital. ACR es tecnologías usadas para identificar o reconocer contenido reproducido en un dispositivo multimedia o presente en un archivo multimedia. La huella digital acústica genera huellas digitales únicas a partir del propio contenido. Las técnicas de huella digital funcionan independientemente del formato del contenido, el códec, la tasa de bits y las técnicas de compresión. Esto hace posible su uso a través de redes y canales. Puede usarse la comparación continua de una huella digital en curso y en tiempo real del contenido audiovisual 1 con la representación 9 para sincronizar la línea de tiempo de los datos auxiliares 7 del contenido audiovisual 1. Un ejemplo de tales técnicas de toma de huellas digitales puede encontrarse en la Patente de Estados Unidos N.° 9.786.298 con fecha de emisión de 10 de octubre de 2017.
El consumidor 30 también puede incluir un procesador de audio 36 que recibe el audio del contenido 5 desde el transceptor 32. En una realización, el procesador de audio 36 puede extraer metadatos del contenido audiovisual 1 o del audio del contenido 5 y, a partir de los metadatos, el procesador de audio puede extraer el enlace a la ubicación de almacenamiento 40 como se ha descrito anteriormente. Teniendo el enlace a la ubicación de almacenamiento 40, el transceptor 32 puede a continuación comunicarse con la ubicación de almacenamiento 40 para obtener la información almacenada en la ubicación de almacenamiento 40 o para almacenar información en la misma.
Como alternativa o, además, el enlace a la ubicación de almacenamiento 40 puede distribuirse al consumidor 30 por suscripción o proporcionarse de otra manera al consumidor 30. De esta forma, si el contenido audiovisual 1 según se recibe por el consumidor 30 no incluye metadatos o los metadatos no incluyen el enlace a la ubicación de almacenamiento 40, el consumidor 30 aún puede acceder a la ubicación de almacenamiento 40.
En una realización, el procesador de audio 36 extrae estadísticas del audio del contenido 5 (por ejemplo, volumen o escala de rango dinámico) almacenadas en los metadatos como se ha descrito anteriormente en lugar de o, además de, extraer el enlace a la ubicación de almacenamiento 40. En una realización, el transceptor 32 recibe las estadísticas del audio del contenido 5 desde la ubicación de almacenamiento 40 además de la representación 9 y los datos auxiliares 7. Teniendo las estadísticas del audio del contenido 5, el procesador de audio 36 puede a continuación procesar el audio para ser reproducido o distribuido desde las instalaciones del consumidor 30 basándose en las estadísticas del audio del contenido 5 obtenido de la ubicación de almacenamiento 40.
En una realización, cuando el contenido audiovisual 1 o el audio del contenido 5 incluye metadatos, el procesador de audio procesa el audio para reproducirlo o distribuirlo desde las instalaciones del consumidor 30 usando las estadísticas del audio del contenido (por ejemplo, volumen o escala de rango dinámico) almacenadas en los metadatos. Por otro lado, cuando el contenido audiovisual 1 o el audio del contenido 5 no incluye metadatos, el procesador de audio 36 procesa el audio para ser reproducido o distribuido desde las instalaciones del consumidor 30 usando las estadísticas del audio del contenido 5 almacenadas en la ubicación de almacenamiento 40.
En una realización, el procesador de audio 36 compara el audio del contenido 5 con la representación 9 obtenida de la ubicación de almacenamiento 40. Basándose en esa comparación, puede identificarse el contenido audiovisual 1. Es decir, si el audio del contenido 5 y la representación 9 coinciden dentro de un conjunto de parámetros, el contenido audiovisual 1 puede identificarse como correspondiente a la representación 9 o viceversa. De manera similar, si el audio del contenido 5 y la representación 9 no coinciden dentro del conjunto de parámetros, puede decirse que el contenido audiovisual 1 no corresponde a la representación 9 o viceversa. La Solicitud de Patente de Estados Unidos N.° 14/699.658 presentada el 29 de abril de 2015 divulga sistemas y métodos para autenticar contenido mediante firma de volumen. Los sistemas y métodos divulgados en la misma podrán usarse para la identificación del contenido audiovisual 1. También pueden usarse otros sistemas y métodos diferentes de los divulgados en la solicitud '658 para la identificación del contenido audiovisual 1. En otra realización, un procesador de vídeo compara el vídeo del contenido 3 con la representación 9 obtenida de la ubicación de almacenamiento 40. Basándose en esa comparación, puede identificarse el contenido audiovisual 1. Es decir, si el vídeo del contenido 3 y la representación 9 coinciden dentro de un conjunto de parámetros, el contenido audiovisual 1 puede identificarse como correspondiente a la representación 9 o viceversa. De manera similar, si el vídeo del contenido 3 y la representación 9 no coinciden dentro del conjunto de parámetros, puede decirse que el contenido audiovisual 1 no corresponde a la representación 9 o viceversa.
El consumidor 30 también puede incluir herramientas de interacción 38 que presentan (por ejemplo, muestran) los datos auxiliares 7 en sincronía con la presentación del contenido audiovisual 1. Las herramientas de interacción 38 presentan los datos auxiliares 7 en sincronía con la presentación del contenido audiovisual 1 basándose en la alineación de la representación 9 con el audio del contenido 5 o el vídeo del contenido 3. Esta alineación sincroniza los datos auxiliares 7, que están vinculados a los instantes en la representación 9, con el contenido audiovisual 1. En el ejemplo del juego de baloncesto descrito anteriormente, las herramientas de interacción 38 pueden mostrar las estadísticas actualizadas del juego de baloncesto en sincronía con la presentación del juego incluso cuando el juego se reproduce muchos años después de que el juego fuera televisado en vivo por primera vez. Las herramientas de interacción 30 también pueden mostrar en relación con un objeto (por ejemplo, una camiseta de baloncesto) que aparece en la porción visual un enlace interactivo al hacer clic en el cual se dirige al usuario a más información sobre el objeto, tal como, por ejemplo, un sitio web en el que comprar el objeto o la información a nivel de la cadena de bloques que facilita una transacción que implica el objeto.
Debido a que la ubicación de almacenamiento 40 almacena los datos auxiliares 7 y la representación 9, la información puede estar disponible para acceder en cualquier momento. Por ejemplo, el consumidor 30 puede haber grabado el partido de baloncesto (es decir, el contenido audiovisual 1) en una grabadora de vídeo digital (DVR) u obtener una grabación del partido de cualquier otra forma. Unos días más tarde, el consumidor puede ver el juego. El transceptor 32 puede obtener el juego (es decir, el contenido audiovisual 1) del DVR (o cualquier otra forma en que el consumidor 30 obtuvo el contenido) y también puede obtener la representación 9 y los datos auxiliares 7 de la ubicación de almacenamiento 40. Las herramientas de interacción 30 pueden mostrar a continuación las estadísticas actualizadas del juego de baloncesto o el enlace interactivo en sincronía con la presentación del juego, incluso cuando el juego se repite días después de que el juego fuera televisado en vivo por primera vez.
En una realización, las herramientas de interacción 38 también pueden usarse para recopilar datos auxiliares 7. Por ejemplo, durante una reproducción, difusión, distribución o representación del contenido audiovisual 1, el consumidor puede introducir, a través de las herramientas de interacción 38, datos auxiliares 7 tales como notas o comentarios relacionados con el contenido audiovisual 1 o escenas o porciones específicas del contenido audiovisual 1. El postsincronizador 34 puede a continuación vincular los datos auxiliares 7 introducidos a través de las herramientas de interacción 38 a instantes de la representación 9 correspondientes a instantes en el contenido audiovisual 1 y almacenar los datos auxiliares 7 en la ubicación de almacenamiento 40. En este caso, la representación 9 puede ser a) una representación obtenida de la ubicación de almacenamiento 40 o b) una representación creada localmente en el consumidor 30 por el procesador de audio 36 y almacenada en la ubicación de almacenamiento 40 con los datos auxiliares 7.
Las herramientas de interacción 38 también pueden usarse para colocar un objeto dentro de la porción visual 3 del contenido audiovisual 1. Una ubicación de este tipo puede estar representada o no por un conjunto de coordenadas. Las herramientas de interacción 38 pueden usarse para introducir tal conjunto de coordenadas. Las herramientas de interacción 38 también pueden usarse para vincular un segundo conjunto de coordenadas (por ejemplo, coordenadas de una ubicación del mundo real, coordenadas que representan una ubicación dentro de una porción visual de un segundo contenido audiovisual, etc.) como datos auxiliares adicionales a los instantes en los datos de sincronización 9 del contenido audiovisual 1, de modo que el primer conjunto de coordenadas que representa la ubicación dentro de la porción visual 3 del contenido audiovisual 1 se correlaciona con el segundo conjunto de coordenadas.
La Figura 5 ilustra un diagrama de bloques del sistema ilustrativo 10 que incluye detalles en la ubicación de almacenamiento 40. La ubicación de almacenamiento 40 puede incluir una máquina o grupo de máquinas para sincronizar datos auxiliares con contenido que incluye audio. La ubicación de almacenamiento 40 puede incluir un transceptor 42 que comunica (es decir, transmite y recibe) la representación 9 y los datos auxiliares 7. La ubicación de almacenamiento 40 también puede incluir una base de datos 44 que almacena la representación 9 y los datos auxiliares 7 vinculados a instantes en la representación 9.
En una realización, el transceptor 42 comunica y la base de datos 44 almacena estadísticas del audio del contenido 5 (por ejemplo, volumen o escala de rango dinámico) como datos auxiliares 7 o además de los datos auxiliares 7 como se ha descrito anteriormente. En una realización, el transceptor 42 continúa comunicándose y la base de datos 44 continúa almacenando datos auxiliares 7 durante la posterior reproducción, difusión, distribución o representación del contenido audiovisual 1 como se ha descrito anteriormente.
La ubicación de almacenamiento 40 puede ser una ubicación accesible para el distribuidor de contenido 20 y el consumidor 30, tal como la nube o un archivo local con accesibilidad general (por ejemplo, a través de un enlace como se ha descrito anteriormente) que puede controlarse mediante suscripción, contraseña, etc.
El sistema 10 puede implementarse usando software, hardware, técnicas analógicas o digitales.
Los métodos ilustrativos pueden apreciarse mejor con referencia a los diagramas de flujo de las figuras 6 y 7A-7B.
Si bien por propósitos para simplificar la explicación, las metodologías ilustradas se muestran y describen como una serie de bloques, debe apreciarse que las metodologías no están limitadas por el orden de los bloques, ya que algunos bloques pueden ocurrir en diferentes órdenes o concurrentemente con otros bloques de lo que se muestra y describe. Además, pueden requerirse menos de todos los bloques ilustrados para implementar una metodología ilustrativa. Además, las metodologías adicionales, las metodologías alternativas o ambas pueden emplear bloques adicionales, no ilustrados.
En los diagramas de flujo, los bloques indican "bloques de procesamiento" que pueden implementarse con lógica. Los bloques de procesamiento pueden representar una etapa de método o un elemento de aparato para realizar la etapa de método. Los diagramas de flujo no representan la sintaxis de ningún lenguaje de programación, metodología o estilo particular (por ejemplo, procedural, orientado a objetos). En su lugar, los diagramas de flujo ilustran la información funcional que un experto en la materia puede emplear para desarrollar la lógica para realizar el procesamiento ilustrado. Se apreciará que, en algunos ejemplos, no se muestran elementos de programa como variables temporales, bucles de rutina y así sucesivamente. Se apreciará además que, las aplicaciones electrónicas y de software pueden implicar procesos dinámicos y flexibles de modo que los bloques ilustrados pueden realizarse en otras secuencias que son diferentes a las mostradas o que los bloques pueden combinarse o separarse en múltiples componentes. Se apreciará que, los procesos pueden implementarse usando diversos enfoques de programación como lenguaje máquina, procedural, orientado a objetos o técnicas de inteligencia artificial.
La Figura 6 ilustra un diagrama de flujo para un método ilustrativo 600 para sincronizar datos auxiliares con contenido que incluye audio.
El método 600 incluye en 610 recopilar los datos auxiliares 7. La recopilación puede tener lugar antes, durante o después de la reproducción, difusión, distribución o representación del contenido como se ha descrito anteriormente. Los datos auxiliares 7 son datos que, de alguna manera, están relacionados con el contenido y pueden incluir datos que describen el contenido, tal como el nombre del contenido o datos de identificación del contenido, datos sobre un guion reproducido en el contenido, datos sobre el vestuario que usan los personajes del contenido, datos que incluyen comentarios de artistas, productores o directores del contenido, un Localizador de Recursos Uniforme (URL) a un recurso que incluye información sobre el contenido, datos sobre la música en el audio del contenido, etc. Los datos auxiliares 7 pueden incluir datos comerciales tales como datos de publicidad. Los datos auxiliares 7 también pueden incluir datos del usuario, tales como comentarios de los espectadores del contenido (por ejemplo, mensajes de Twitter, etc.). Los datos auxiliares 7 también pueden incluir datos profesionales o técnicos, tales como estadísticas del audio del contenido, que incluyen, por ejemplo, el volumen o la escala de rango dinámico del audio del contenido, etc. Los datos auxiliares también pueden incluir datos que identifican a) un conjunto de coordenadas que representa una ubicación dentro de una porción visual del contenido audiovisual y b) un objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas, los datos auxiliares vinculados a instantes en los datos de sincronización.
En 620, el método 600 incluye además analizar la porción de audio 5 (o la porción visual 3) del contenido para crear la representación 9. La representación 9 puede crearse creando una firma de forma de onda de audio del audio del contenido o una firma del vídeo del contenido como se ha descrito anteriormente.
La creación de la representación 9 (por ejemplo, una firma de forma de onda de audio) del audio del contenido puede lograrse como parte del análisis de la porción de audio 5. La porción de audio 5 para el contenido audiovisual 1 puede analizarse y recopilarse estadísticas de audio en la misma línea de tiempo. Esto puede ocurrir durante un control de calidad típico o una sesión de masterización. Las estadísticas que se pueden recopilar incluyen el nombre o ID del contenido, la firma de la forma de onda del audio, el volumen o la escala del rango dinámico para garantizar que el contenido coincide con las especificaciones de entrega y otras estadísticas no en tiempo real específicas del contenido.
En 630, los datos auxiliares 7 están vinculados a instantes en la representación 9 correspondientes a instantes en el contenido audiovisual 1. Vincular los datos auxiliares 7 a instantes en la representación 9 significa que los datos auxiliares 7 están alineados en el tiempo con el contenido audiovisual 1. Esta vinculación puede lograrse asociando los datos auxiliares 7 a una representación 9 de un contenido específico 1 e indicando en el tiempo los datos auxiliares 7 con tiempos de instantes en la representación 9 u otros métodos de alineación de tiempo.
En 640, la representación 9 y los datos auxiliares 7 vinculados a instantes en la representación 9 pueden almacenarse en la ubicación de almacenamiento 40.
En 650, también puede crearse un enlace a la ubicación de almacenamiento 40.
En 660, el enlace a la ubicación de almacenamiento 40, así como parte o la totalidad de los datos de estadísticas de audio, pueden insertarse en metadatos de audio (es decir, EMDF) para audio codificado o PCM+MD y/o el canal LFE para audio PCM solo. La Patente de Estados Unidos N.° 8.380.334 emitida el 19 de febrero de 2013 divulga métodos y sistemas para llevar datos auxiliares dentro de señales de audio que pueden usarse para insertar metadatos en señales de audio. También pueden usarse otros sistemas y métodos diferentes de los divulgados en la patente '334 para insertar metadatos en señales de audio.
En 670, se distribuye el contenido audiovisual 1. El contenido audiovisual 1 puede entregarse tal como está hoy con audio que está codificado o PCM de banda base, con o sin metadatos.
La Figura 7A ilustra un diagrama de flujo para un método ilustrativo 700 para sincronizar datos auxiliares con contenido que incluye audio.
En 710, el método 700 incluye recibir la representación 9 y los datos auxiliares 7 vinculados a los instantes en la representación 9. Esta combinación de la representación 9 y los datos auxiliares 7 puede usarse en al menos dos contextos: 1) durante la reproducción para su transmisión y 2) tras la recepción del contenido audiovisual 1 en las instalaciones del consumidor.
Durante la reproducción para su transmisión, un procesador de audio puede aceptar audio PCM de banda base o codificado del contenido audiovisual 1 con o sin metadatos y también puede estar conectado a la nube u otra ubicación donde reside la ubicación de almacenamiento 40. En este contexto, el método 700 puede incluir el uso de estadísticas del audio del contenido para omitir o ajustar un procesador de audio que procesa el audio del contenido. En 720, si están presentes los metadatos de EMDF o si se detectan metadatos dentro del canal LFE y las estadísticas del audio del contenido se almacenan en los metadatos, en 725, pueden usarse las estadísticas del audio del contenido 5 (por ejemplo, volumen y otros datos específicos del contenido) para omitir o ajustar el procesador de audio, lo que permite que el contenido que ya es correcto pase con una modificación mínima o sin ninguna modificación para mantener la calidad original y la conformidad.
En 730, si los metadatos o los datos LFE no están presentes o si las estadísticas del audio del contenido no están almacenadas en los metadatos, puede compararse una firma de audio en tiempo real de la porción de audio 5 con la representación 9 recibida desde la ubicación de almacenamiento 40 para identificar el contenido audiovisual 1. Si coinciden dentro de un intervalo seleccionable, se identifica el contenido audiovisual 1 y, en 735, pueden usarse las estadísticas del audio del contenido 5 que pueden almacenarse en la ubicación de almacenamiento 40 para omitir o ajustar el procesador de audio permitiendo que el contenido que ya es correcto pase con una modificación mínima o nula para mantener la calidad original y la conformidad.
En 740, si a) los metadatos no están presentes o no incluyen estadísticas del audio del contenido 5 para un contenido o segmento particular y b) la firma de audio en tiempo real de la porción de audio 5 y la representación 9 no coinciden dentro de una cierta cantidad de tiempo, pueden realizarse controles de volumen y rango dinámico en tiempo real para garantizar que la porción de audio 5 tenga conformidad.
Tras la recepción del contenido audiovisual 1, el método 700 puede incluir sincronizar los datos auxiliares 7 con el contenido audiovisual 1. En 750, si están presentes los metadatos (por ejemplo, EMDF) e incluyen una indicación de tiempo, en 760, los datos auxiliares 7 pueden sincronizarse con el contenido audiovisual 1 basándose en la indicación de tiempo. Si los metadatos no están presentes o no incluyen la indicación de tiempo, en 770, el método 700 alinea la representación 9 con el audio del contenido 5 como se ha descrito anteriormente para sincronizar los datos auxiliares 7 con el contenido audiovisual 1.
La aplicación del consumidor o las herramientas de interacción 38, ahora sincronizadas con el contenido audiovisual 1, pueden mostrar, en 780, los datos auxiliares 7 en sincronía con la presentación del contenido audiovisual 1 basándose en la alineación de la representación 9 con el audio del contenido 5.
En 790, el método 700 puede comunicar además datos auxiliares 7 adicionales que pueden ser vistos o accedidos por otros consumidores, productores de programas o posiblemente incluso anunciantes. Estos datos también pueden usarse por mecanismos de inserción de anuncios profesionales o de consumidores aguas abajo y, debido a los datos ricos en detalles que están presentes, potencialmente aumentados por actualizaciones en tiempo real o adiciones a esos datos, las inserciones pueden dirigirse con una precisión mucho mayor que métodos estáticos anteriores. El método 700 puede continuar recibiendo y almacenando nuevos datos 7 auxiliares durante la reproducción, difusión, distribución o representación posterior del contenido audiovisual 1. Los nuevos datos auxiliares 7 están vinculados a los instantes en una representación 9 del audio del contenido 5 correspondiente a instantes en el contenido audiovisual 1 durante la reproducción, difusión, distribución o representación posterior. La Figura 7B ilustra un diagrama de flujo para un método ilustrativo 700B para una plataforma de distribución de contenido accionada por un entorno de medios. En 705, el método 700B incluye recibir un contenido audiovisual que incluye una porción de audio y una porción visual. La alineación posterior de la porción de audio con los datos de sincronización del contenido audiovisual sincroniza los datos auxiliares que identifican un conjunto de coordenadas que representa una ubicación dentro de la porción visual del contenido audiovisual con el contenido audiovisual. En 715, el método 700B detecta la selección de la ubicación dentro de la porción visual del contenido audiovisual. Si se ha realizado la selección, en 725, el método 700B puede incluir transmitir el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual, recibir datos auxiliares que identifican un objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas sincronizadas con el contenido audiovisual.
El método 700B puede incluir además alinear la porción de audio con los datos de sincronización del contenido audiovisual para sincronizar los datos auxiliares que identifican el conjunto de coordenadas que representa la ubicación dentro de una porción visual del contenido audiovisual y el objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas al contenido audiovisual, y mostrar el objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas en sincronía con la presentación del contenido audiovisual basándose en la alineación de la porción de audio a los datos de sincronización.
El método 700B puede incluir además la recepción de un segundo conjunto de coordenadas como datos auxiliares adicionales vinculados a un instante en los datos de sincronización derivados de la porción de audio del contenido audiovisual. El segundo conjunto de coordenadas corresponde a uno o más de: a) coordenadas de una ubicación del mundo real, o b) coordenadas que representan una ubicación dentro de una porción visual de un segundo contenido audiovisual.
Mientras que las figuras ilustran diversas acciones que ocurren en serie, debe apreciarse que diversas acciones ilustradas podrían ocurrir sustancialmente en paralelo y, aunque pueden mostrarse acciones que ocurren en paralelo, debe apreciarse que estas acciones podrían ocurrir sustancialmente en serie. Si bien se describe un número de procesos en relación con los métodos ilustrados, debe apreciarse que se podría emplear un número mayor o menor de procesos y que se podrían emplear procesos ligeros, procesos regulares, subprocesos y otros enfoques. Debe apreciarse que otros métodos ilustrativos pueden, en algunos casos, incluir también acciones que ocurren sustancialmente en paralelo. Los métodos ilustrativos ilustrados y otras realizaciones pueden operar en tiempo real, más rápido que en tiempo real en una implementación de software o hardware o software/hardware híbrido, o más lento que en tiempo real en una implementación de software o hardware o software/hardware híbrido. La Figura 8 ilustra un diagrama de bloques de una máquina ilustrativa 800 para sincronizar datos auxiliares con contenido que incluye audio. La máquina 800 incluye un procesador 802, una memoria 804 y puertos de E/S 810 conectados operativamente por un bus 808.
En un ejemplo, la máquina 800 puede recibir señales de entrada que incluyen el contenido audiovisual 1, la porción visual 3, la porción de audio 5, los datos auxiliares 7, la representación 9, etc. a través de, por ejemplo, los puertos de E/S 810 o las interfaces de E/S 818. La máquina 800 también puede incluir el presincronizador 22, el transceptor 24, el procesador de audio 26 y las herramientas de autoría 28 del distribuidor de contenido 20. La máquina 800 también puede incluir el transceptor 32, el postsincronizador 34, el procesador de audio 36 y las herramientas de interacción 38 del consumidor 30. La máquina 800 también puede incluir el transceptor 42 y la base de datos 44 de la ubicación de almacenamiento 40. Por lo tanto, el distribuidor de contenido 20, el consumidor 30 o la ubicación de almacenamiento 40 pueden implementarse en la máquina 1700 como hardware, firmware, software o una combinación de los mismos y, por lo tanto, la máquina 1700 y sus componentes pueden proporcionar medios para realizar las funciones descritas y/o reivindicadas en el presente documento como realizadas por el presincronizador 22, el transceptor 24, el procesador de audio 26, las herramientas de autoría 28, el transceptor 32, el postsincronizador 34, el procesador de audio 36, las herramientas de interacción 38, el transceptor 42 y la base de datos 44.
El procesador 802 puede ser una diversidad de diversos procesadores que incluyen un microprocesador dual y otras arquitecturas multiprocesador. La memoria 804 puede incluir memoria volátil o memoria no volátil. La memoria no volátil puede incluir, pero sin limitación, ROM, PROM, EPROM, EEPROM y similares. La memoria volátil puede incluir, por ejemplo, Ra M, RAM síncrona (SRAM), RAM dinámica (DRAM), DrAM síncrona (SDRAM), SDrAm de doble tasa de datos (DDR SDRAM) y RAM de bus de RAM directa (Dr RAM).
Un disco 806 puede estar conectado operativamente a la máquina 800 a través de, por ejemplo, interfaces de E/S (por ejemplo, tarjeta, dispositivo) 818 y puertos de E/S 810. El disco 806 puede incluir, pero sin limitación, dispositivos como una unidad de disco magnético, una unidad de disco de estado sólido, una unidad de disquete, una unidad de cinta, una unidad Zip, una tarjeta de memoria flash o una tarjeta de memoria. Además, el disco 806 puede incluir unidades ópticas como un CD-ROM, una unidad de CD grabable (unidad de CD-R), una unidad de CD regrabable (unidad de CD-RW) o una unidad de vídeo digital ROM (DVD ROM). La memoria 804 puede almacenar procesos 814 o datos 816, por ejemplo. El disco 806 o la memoria 804 pueden almacenar un sistema operativo que controla y asigna recursos de la máquina 800.
El bus 808 puede ser una arquitectura de interconexión de bus interna única u otras arquitecturas de bus o malla. Si bien se ilustra un solo bus, debe apreciarse que la máquina 800 puede comunicarse con diversos dispositivos, lógicas y periféricos usando otros buses que no se ilustran (por ejemplo, PCIE, SATA, Infiniband, 1394, USB, Ethernet). El bus 808 puede ser de una diversidad de tipos que incluyen, pero sin limitación, un bus de memoria o un controlador de memoria, un bus periférico o un bus externo, un conmutador de barra cruzada o un bus local. El bus local puede ser de diversidades que incluyen, pero sin limitación, un bus de arquitectura estándar industrial (ISA), un bus de arquitectura de microcanal (MCA), un bus ISA extendido (EISA), un bus de interconexión de componentes periféricos (PCI), un bus universal serie (USB) y un bus de interfaz de sistemas informáticos pequeños (SCSI). La máquina 800 puede interactuar con dispositivos de entrada/salida a través de las interfaces de E/S 818 y los puertos de E/S 810. Los dispositivos de entrada/salida pueden incluir, pero sin limitación, un teclado, un micrófono, un dispositivo apuntador y de selección, cámaras, tarjetas de vídeo, pantallas, el disco 806, los dispositivos de red 820 y similares. Los puertos de E/S 810 pueden incluir, pero sin limitación, puertos serie, puertos paralelos y puertos USB.
La máquina 800 puede funcionar en un entorno de red y, por lo tanto, puede conectarse a dispositivos de red 820 a través de las interfaces de E/S 818 o los puertos de E/S 810. A través de los dispositivos de red 820, la máquina 800 puede interactuar con una red. A través de la red, la máquina 800 puede conectarse lógicamente a ordenadores remotos. Las redes con las que la máquina 800 puede interactuar incluyen, pero sin limitación, una red de área local (LAN), una red de área extensa (WAN) y otras redes. Los dispositivos de red 820 pueden conectarse a tecnologías LAN que incluyen, pero sin limitación, interfaz de datos distribuidos por fibra (FDDI), interfaz de datos distribuidos por cobre (CD-DI), Ethernet (IEEE 802.3), token ring (IEEE 802.5), comunicación informática inalámbrica (IEEE 802.11), Bluetooth (IEEE 802.15.1), Zigbee (IEEE 802.15.4) y similares. De manera similar, los dispositivos de red 820 pueden conectarse a tecnologías WAN que incluyen, pero sin limitación, enlaces punto a punto, redes de conmutación de circuitos como redes digitales de servicios integrados (ISDN), redes de conmutación de paquetes y líneas de abonado digital (DSL). Si bien se describen tipos de redes individuales, debe apreciarse que las comunicaciones mediante, sobre o a través de una red pueden incluir combinaciones y mezclas de comunicaciones.
Definiciones
Lo siguiente incluye definiciones de términos seleccionados empleados en el presente documento. Las definiciones incluyen diversos ejemplos o formas de componentes que caen dentro del alcance de un término y que pueden usarse para la implementación. Los ejemplos no pretenden ser limitativos. Tanto las formas singulares como las plurales de los términos pueden estar dentro de las definiciones.
"Contenido" corresponde a imágenes fijas, segmentos de medios de audio, medios de vídeo o medios audiovisuales (AV) e incluye información que está incorporada, almacenada, transmitida, recibida, procesada o usada de otra manera con al menos un medio. Los formatos de contenido de medios comunes incluyen formato FLV (vídeo flash), Windows Media Video, RealMedia, MFX, Quicktime, MPEG, MP3, DivX, JPEG y mapas de bits. Como se usa en el presente documento, los términos y expresiones "clips de medios", "contenido de medios", "contenido de información" y "contenido" pueden usarse de manera intercambiable.
"Almacén de datos" o "base de datos", como se usan en el presente documento, se refieren a una entidad física o lógica que puede almacenar datos. Un almacén de datos puede ser, por ejemplo, una base de datos, una tabla, un archivo, una lista, una cola, una memoria de tipo heap, una memoria, un registro, etc. Un almacén de datos puede residir en una entidad lógica o física o puede estar distribuido entre dos o más entidades lógicas o físicas.
"Lógica", como se usa en el presente documento, incluye, pero sin limitación, hardware, firmware, software o combinaciones de cada uno para realizar una función o funciones o una acción o acciones, o para provocar una función o acción desde otra lógica, método o sistema. Por ejemplo, basándose en una aplicación o necesidades deseadas, la lógica puede incluir un microprocesador controlado por software, lógica discreta como un circuito integrado de específico de la aplicación (ASIC), un dispositivo lógico programado, un dispositivo de memoria que contiene instrucciones o similar. La lógica puede incluir una o más puertas, combinaciones de puertas u otros componentes del circuito. La lógica también puede incorporarse completamente como software. Cuando se describen lógicas lógicas múltiples, puede ser posible incorporar las lógicas lógicas múltiples en una lógica física. De manera similar, cuando se describe una lógica lógica única, puede ser posible distribuir esa lógica lógica única entre múltiples lógicas físicas.
Una "conexión operativa", o una conexión por la cual las entidades están "conectadas operativamente", es aquella en la que se pueden enviar o recibir señales, comunicaciones físicas o comunicaciones lógicas. Típicamente, una conexión operativa incluye una interfaz física, una interfaz eléctrica o una interfaz de datos, pero se debe observar que una conexión operativa puede incluir diferentes combinaciones de estos u otros tipos de conexiones suficientes para permitir el control operativo. Por ejemplo, dos entidades pueden estar operativamente conectadas al poder comunicarse señales entre sí directamente o a través de una o más entidades intermedias como un procesador, sistema operativo, una lógica, software u otra entidad. Pueden usarse canales de comunicación lógicos o físicos para crear una conexión operativa.
En la difusión, "reproducción" es un término para la transmisión de canales de radio o TV desde el difusor a las redes de difusión que entregan el contenido a la audiencia.
"Señal", como se usa en el presente documento, incluye, pero sin limitación, una o más señales eléctricas u ópticas, señales analógicas o digitales, datos, una o más instrucciones informáticas o de procesador, mensajes, un bit o flujo de bits u otros medios que pueden recibirse, transmitirse o detectarse.
"Software", como se usa en el presente documento, incluye, pero sin limitación, una o más instrucciones informáticas o de procesador que se pueden leer, interpretar, compilar o ejecutar y que hacen que un ordenador, procesador u otro dispositivo electrónico realice funciones, acciones o se comporte de la manera deseada. Las instrucciones pueden estar incorporadas en diversas formas como rutinas, algoritmos, módulos, métodos, subprocesos o programas que incluyen aplicaciones separadas o código de bibliotecas vinculadas dinámica o estáticamente. El software también puede implementarse en una diversidad de formas ejecutables o cargables que incluyen, pero sin limitación, un programa independiente, una llamada de función (local o remota), un servlet, una miniaplicación, instrucciones almacenadas en una memoria, parte de un sistema operativo u otros tipos de instrucciones ejecutables. Un experto en la materia apreciará que la forma del software puede depender, por ejemplo, de los requisitos de una aplicación deseada, el entorno en el que se ejecuta o los deseos de un diseñador/programador o similar. También se apreciará que las instrucciones legibles o ejecutables por ordenador pueden ubicarse en una lógica o distribuirse entre dos o más lógicas de procesamiento de comunicación, cooperación o paralelas y, por lo tanto, pueden cargarse o ejecutarse en serie, paralelo, masivamente en paralelo y de otras maneras.
El software adecuado para implementar los diversos componentes de los sistemas y métodos de ejemplo descritos en el presente documento puede producirse usando lenguajes de programación y herramientas como Java, Pascal, C#, C++, C, CGI, Perl, SQL, API, SDK, ensamblador, firmware, microcódigo u otros lenguajes y herramientas. El software, ya sea un sistema completo o un componente de un sistema, puede incorporarse como un artículo de fabricación y mantenerse o proporcionarse como parte de un medio legible por ordenador como se definió anteriormente. Otra forma del software puede incluir señales que transmiten el código de programa del software a un destinatario a través de una red u otro medio de comunicación. Por lo tanto, en un ejemplo, un medio legible por ordenador tiene una forma de señales que representan el software/firmware a medida que se descarga desde un servidor web a un usuario. En otro ejemplo, el medio legible por ordenador tiene una forma de software/firmware tal como se mantiene en el servidor web. También pueden usarse otras formas.
"Usuario" o "consumidor", como se usa en el presente documento, incluye, pero sin limitación, una o más personas, software, ordenadores u otros dispositivos o combinaciones de estos.
Algunas porciones de las descripciones detalladas que siguen se presentan en términos de algoritmos y representaciones simbólicas de operaciones en bits de datos dentro de una memoria. Estas descripciones y representaciones algorítmicas son los medios usados por los expertos en la materia para transmitir la sustancia de su trabajo a otros. Un algoritmo en este punto y, en general, se concibe como una secuencia de operaciones que producen un resultado. Las operaciones pueden incluir manipulaciones físicas de cantidades físicas. Normalmente, aunque no necesariamente, las cantidades físicas toman la forma de señales eléctricas o magnéticas capaces de almacenarse, transferirse, combinarse, compararse y manipularse de otra manera en una lógica y similares.
A veces ha resultado conveniente, principalmente por razones de uso común, referirse a estas señales como bits, valores, elementos, símbolos, caracteres, términos, números o similares. Sin embargo, hay que tener en cuenta que estos términos y otros similares deben asociarse con las cantidades físicas apropiadas y son simplemente etiquetas convenientes aplicadas a estas cantidades. A menos que se indique específicamente lo contrario, se aprecia que, a lo largo de la descripción, términos como procesar, computar, calcular, determinar, mostrar o similares, se refieren a acciones y procesos de un sistema informático, lógica, procesador o dispositivo electrónico similar que manipula y transforma datos representados como cantidades físicas (electrónicas).
Para facilitar la explicación, la presente divulgación describe ejemplos en el contexto de la nomenclatura descrita en ETSI TS 102366 (Anexo H) tales como, por ejemplo, el Formato de Metadatos Extensible (EMDF) usado para llevar información y datos de control sobre señales de audio en que está incrustado. Sin embargo, los principios de la presente divulgación no se limitan a ese contexto y pueden ponerse en práctica en diversos otros contextos, incluyendo cualquier esquema de metadatos incrustados de este tipo incluido con cualquier audio comprimido, que incluye ETSI TS 103 190 (sección 4.3.15) o sistema de audio PCM de banda base que incluye metadatos como se describe en ATSC A52:2012 y A/85:2013 o incluso la norma SMPTE 337M.
En la medida en que los términos "incluye" o "incluyendo" se empleen en la descripción detallada o en las reivindicaciones, se pretende que sean inclusivos de manera similar a la expresión "que comprende" tal como se interpreta ese término cuando se emplea como palabra de transición en una reivindicación. Además, en la medida en que el término "o" se emplee en la descripción detallada o en las reivindicaciones (por ejemplo, A o B), se pretende que signifique "A o B o ambos". Cuando los solicitantes pretendan indicar "solo A o B, pero no ambos", a continuación, se empleará el término "solo A o B, pero no ambos". Por lo tanto, el uso del término "o" en el presente es el uso inclusivo y no exclusivo. Véase, Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2a. Ed. 1995).

Claims (15)

REIVINDICACIONES
1. Una máquina o grupo de máquinas para una plataforma de distribución de contenido accionada por un entorno de medios, que comprende:
un presincronizador (22) configurado para obtener datos de sincronización (9) derivados de una porción de audio (5) o una porción visual (3) de un contenido audiovisual (1) y datos auxiliares (7) que identifican un conjunto de coordenadas (7h) que representa una ubicación dentro de la porción visual del contenido audiovisual, los datos auxiliares vinculados a instantes en los datos de sincronización;
un transceptor (24) configurado para comunicar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización de modo que la alineación posterior de los datos de sincronización con el contenido audiovisual sincroniza el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual; y
herramientas de autoría (28) configuradas para vincular un segundo conjunto de coordenadas como datos auxiliares adicionales a los instantes en los datos de sincronización, de modo que el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual se correlaciona con el segundo conjunto de coordenadas, en donde el segundo conjunto de coordenadas corresponde a uno o más de: coordenadas de una ubicación del mundo real y coordenadas que representan una ubicación dentro de una porción visual de un segundo contenido audiovisual.
2. La máquina o grupo de máquinas de la reivindicación 1, en donde:
el presincronizador está configurado para obtener datos auxiliares que identifican un objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas vinculadas a los instantes en los datos de sincronización, y
el transceptor está configurado para comunicar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización de modo que la alineación posterior de los datos de sincronización con el contenido audiovisual sincroniza el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual para el objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas del contenido audiovisual.
3. La máquina o grupo de máquinas de la reivindicación 2, que comprende:
un procesador (36) configurado para derivar los datos de sincronización de la porción de audio o la porción visual del contenido audiovisual, en donde
el presincronizador está configurado para vincular los datos auxiliares que identifican el conjunto de coordenadas y el objeto a los instantes en los datos de sincronización; y
el transceptor está configurado para comunicar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización a una base de datos accesible por los consumidores del contenido audiovisual.
4. La máquina o grupo de máquinas de la reivindicación 2, que comprende:
un procesador (36) configurado para derivar los datos de sincronización de la porción de audio o la porción visual del contenido audiovisual, en donde
el presincronizador está configurado para vincular los datos auxiliares que identifican el conjunto de coordenadas y el objeto a instantes en los datos de sincronización, y
el transceptor está configurado para almacenar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización en una ubicación de almacenamiento.
5. La máquina o grupo de máquinas de la reivindicación 2, que comprende:
herramientas de autoría (28) configuradas para colocar el objeto dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas.
6. La máquina o grupo de máquinas de la reivindicación 1, en donde:
el transceptor está configurado para almacenar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización en una ubicación de almacenamiento,
el presincronizador está configurado para crear un enlace a la ubicación de almacenamiento; y un procesador (36) está configurado para insertar el enlace a la ubicación de almacenamiento en los metadatos del contenido audiovisual.
7. La máquina o grupo de máquinas de la reivindicación 1, en donde:
el presincronizador está configurado para recopilar los datos auxiliares durante una reproducción o representación anterior del contenido audiovisual y vincular los datos auxiliares a instantes en los datos de sincronización correspondientes a instantes en el contenido audiovisual.
8. Un método para una plataforma de distribución de contenido accionada por un entorno de medios, comprendiendo el método:
obtener datos de sincronización (9) derivados de una porción de audio (5) o una porción visual (3) de un contenido audiovisual (1) y datos auxiliares (7) que identifican un conjunto de coordenadas (7h) que representa una ubicación dentro de una porción visual del contenido audiovisual, los datos auxiliares vinculados a instantes en los datos de sincronización;
comunicar los datos de sincronización y los datos auxiliares vinculados a los instantes en los datos de sincronización de modo que la alineación posterior de los datos de sincronización con el contenido audiovisual sincroniza el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual; y
obtener datos auxiliares que identifican un segundo conjunto de coordenadas vinculadas a los instantes en los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual de modo que el segundo conjunto de coordenadas se correlaciona con el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual, en donde el segundo conjunto de coordenadas corresponde a uno o más de:
coordenadas de una ubicación del mundo real, o
coordenadas que representan una ubicación dentro de una porción visual de un segundo contenido audiovisual.
9. El método de la reivindicación 8, que comprende:
obtener datos auxiliares que identifican un objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas, los datos auxiliares que identifican el objeto vinculado a los instantes en los datos de sincronización de tal manera que la alineación posterior de los datos de sincronización al contenido audiovisual sincroniza el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual y el objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas del contenido audiovisual.
10. El método de la reivindicación 9, que comprende:
vincular los datos auxiliares que identifican el conjunto de coordenadas y el objeto a instantes en los datos de sincronización derivados de la porción de audio o la porción visual; y
almacenar los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual y los datos auxiliares vinculados a los instantes en los datos de sincronización en una base de datos.
11. El método de la reivindicación 9, que comprende:
obtener el contenido audiovisual que incluye al menos la porción de audio y la porción visual;
derivar los datos de sincronización de la porción de audio o la porción visual del contenido audiovisual; y vincular los datos auxiliares que identifican el conjunto de coordenadas y el objeto a instantes en los datos de sincronización derivados de la porción de audio o la porción visual.
12. El método de la reivindicación 9, que comprende:
colocar el objeto dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas.
13. El método de la reivindicación 9, que comprende:
recopilar los datos auxiliares que identifican el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual y el objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas durante una reproducción o representación del contenido audiovisual, en donde los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual se derivan durante la reproducción o representación del contenido audiovisual, y en donde los datos auxiliares que identifican el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual y el objeto ubicado dentro de la porción visual del contenido audiovisual en la ubicación representada por el conjunto de coordenadas están vinculados a los instantes en los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual correspondiente a los instantes en el contenido audiovisual durante la reproducción o representación.
14. El método de la reivindicación 8, que comprende:
crear los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual y vincular los datos auxiliares a los instantes en los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual; y
almacenar los datos de sincronización derivados de la porción de audio o la porción visual del contenido audiovisual y los datos auxiliares vinculados a los instantes en los datos de sincronización en una ubicación de almacenamiento.
15. El método de la reivindicación 8, que comprende:
detectar la selección de la ubicación dentro de la porción visual del contenido audiovisual y
transmitir el conjunto de coordenadas que representa la ubicación dentro de la porción visual del contenido audiovisual.
ES19703208T 2018-01-02 2019-01-02 Coordenadas como datos auxiliares Active ES2933202T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/860,438 US20190208236A1 (en) 2018-01-02 2018-01-02 Coordinates as ancillary data
PCT/US2019/012085 WO2019136092A1 (en) 2018-01-02 2019-01-02 Coordinates as ancillary data

Publications (1)

Publication Number Publication Date
ES2933202T3 true ES2933202T3 (es) 2023-02-02

Family

ID=65278459

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19703208T Active ES2933202T3 (es) 2018-01-02 2019-01-02 Coordenadas como datos auxiliares

Country Status (9)

Country Link
US (1) US20190208236A1 (es)
EP (2) EP3735778B1 (es)
JP (1) JP2021509795A (es)
KR (1) KR102585575B1 (es)
CN (2) CN111771385B (es)
CA (1) CA3087563A1 (es)
ES (1) ES2933202T3 (es)
PL (1) PL3735778T4 (es)
WO (1) WO2019136092A1 (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225416B1 (ko) 2012-09-11 2021-03-09 메디베이션 프로스테이트 테라퓨틱스 엘엘씨 엔잘루타마이드 제제
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data
CN110456957B (zh) * 2019-08-09 2022-05-03 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056136A1 (en) * 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
FR2841724A1 (fr) * 2002-06-28 2004-01-02 Thomson Licensing Sa Systeme et procede de synchronisation pour programmes audiovisuels, dispositifs et procedes associes
WO2005006758A1 (en) * 2003-07-11 2005-01-20 Koninklijke Philips Electronics N.V. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
JP2009117974A (ja) * 2007-11-02 2009-05-28 Fujifilm Corp 興味情報作成方法、装置およびシステム
US8166500B2 (en) * 2007-12-17 2012-04-24 Diggywood, Inc. Systems and methods for generating interactive video content
US8886745B2 (en) * 2008-04-07 2014-11-11 Qualcomm Incorporated Methods and apparatus for delivering auxiliary data to device
US8718805B2 (en) * 2009-05-27 2014-05-06 Spot411 Technologies, Inc. Audio-based synchronization to media
US9521453B2 (en) * 2009-09-14 2016-12-13 Tivo Inc. Multifunction multimedia device
US9110517B2 (en) * 2009-09-14 2015-08-18 Broadcom Corporation System and method for generating screen pointing information in a television
US9277183B2 (en) * 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
US8380334B2 (en) 2010-09-07 2013-02-19 Linear Acoustic, Inc. Carrying auxiliary data within audio signals
KR101946861B1 (ko) * 2011-09-21 2019-02-13 삼성전자주식회사 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
KR101310943B1 (ko) * 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
US9583147B2 (en) * 2012-03-26 2017-02-28 Max Abecassis Second screen shopping function
US9330431B2 (en) * 2012-12-19 2016-05-03 Jeffrey Huang System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US20150348538A1 (en) * 2013-03-14 2015-12-03 Aliphcom Speech summary and action item generation
US20150062353A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Audio video playback synchronization for encoded media
US9875489B2 (en) * 2013-09-11 2018-01-23 Cinsay, Inc. Dynamic binding of video content
US9456237B2 (en) * 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10638194B2 (en) * 2014-05-06 2020-04-28 At&T Intellectual Property I, L.P. Embedding interactive objects into a video session
US10529383B2 (en) * 2015-04-09 2020-01-07 Avid Technology, Inc. Methods and systems for processing synchronous data tracks in a media editing system
US20160301953A1 (en) * 2015-04-10 2016-10-13 Echostar Technologies L.L.C. Systems and methods for extracting data from audiovisual content
US9332160B1 (en) * 2015-09-09 2016-05-03 Samuel Chenillo Method of synchronizing audio-visual assets
US9786298B1 (en) 2016-04-08 2017-10-10 Source Digital, Inc. Audio fingerprinting based on audio energy characteristics
US10397663B2 (en) * 2016-04-08 2019-08-27 Source Digital, Inc. Synchronizing ancillary data to content including audio
CN106504187A (zh) * 2016-11-17 2017-03-15 乐视控股（北京）有限公司 视频识别方法以及装置
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data

Also Published As

Publication number Publication date
CA3087563A1 (en) 2019-07-11
JP2021509795A (ja) 2021-04-01
PL3735778T3 (pl) 2023-01-23
KR20200138710A (ko) 2020-12-10
EP3735778B1 (en) 2022-09-07
CN115278295A (zh) 2022-11-01
US20190208236A1 (en) 2019-07-04
CN111771385A (zh) 2020-10-13
WO2019136092A1 (en) 2019-07-11
KR102585575B1 (ko) 2023-10-10
PL3735778T4 (pl) 2023-01-23
EP3735778A1 (en) 2020-11-11
EP4096227A1 (en) 2022-11-30
CN111771385B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
ES2399625T3 (es) Procedimiento y dispositivo para crear y visualizar segmentos multimedia personalizados
ES2933202T3 (es) Coordenadas como datos auxiliares
US20230071225A1 (en) Media environment driven content distribution platform
US20150007218A1 (en) Method and apparatus for frame accurate advertisement insertion
KR20130118820A (ko) 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치
US11503350B2 (en) Media environment driven content distribution platform
US9560103B2 (en) Custom video content