ES2674897T3 - Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos - Google Patents

Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos Download PDF

Info

Publication number
ES2674897T3
ES2674897T3 ES17181071.6T ES17181071T ES2674897T3 ES 2674897 T3 ES2674897 T3 ES 2674897T3 ES 17181071 T ES17181071 T ES 17181071T ES 2674897 T3 ES2674897 T3 ES 2674897T3
Authority
ES
Spain
Prior art keywords
video
metadata
thumbnail
stream
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17181071.6T
Other languages
English (en)
Inventor
Marco Winter
Dirk Gandolph
Hartmut Peters
Ralf Ostermann
Jobst Hörentrup
Andrej Schewzow
Uwe Janssen
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Application granted granted Critical
Publication of ES2674897T3 publication Critical patent/ES2674897T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central

Abstract

Método para sobreponer dos o más flujos de vídeo dinámicamente, donde se asocian metadatos a al menos uno de los flujos de vídeo mediante una lista de reproducción, que comprende las etapas de - exponer un primer flujo de vídeo que es uno de dichos flujos de vídeo; - extraer dichos metadatos desde un archivo de lista de reproducción que pertenece a al menos un segundo flujo de vídeo distinto a dicho primer flujo de vídeo; - detectar que los metadatos extraídos definen cómo sobreponer el segundo flujo de vídeo a dicho primer flujo de vídeo, en donde dichos metadatos contienen datos de posición que definen un área en pantalla para sobreposición y una referencia al primer flujo de vídeo, y donde el contenido de la imagen del primer flujo de vídeo no se analiza; y - sobreponer al menos el segundo flujo de vídeo al primer flujo de vídeo, según definen dichos metadatos.

Description

5
10
15
20
25
30
35
40
45
50
DESCRIPCION
Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos Campo de la invención
Esta invención describe un método y un dispositivo para manejar múltiples flujos de vídeo. En particular, el método y el dispositivo son para sobreponer dinámicamente dos o más flujos de vídeo usando metadatos especiales.
Antecedentes de la invención
Los dispositivos de reproducción para datos de audio/vídeo (AV), usualmente basados en discos duros (HDD) o discos ópticos, pueden tener diferentes posibilidades para acceder a datos adicionales, p. ej. acceso a internet, Bus Serie Universal (USB) interfaz, etc. para descargar contenidos adicionales.
Algunos equipos de TV finales proporcionan la posibilidad de ver dos o más programas simultáneamente usando la técnica de imagen sobre imagen (PIP), que sin embargo usa diferentes soluciones técnicas en propiedad. La manera con la que dicho aparato de TV presenta diferentes secuencias de vídeo en la misma pantalla no es flexible, sino inmediatamente fija tras fabricar el aparato de TV.
Las técnicas PIP disponibles funcionan sin ayuda de información extraída del contenido AV.
El documento US 6.046.778 describe cómo sobreponer una imagen de subtítulo sobre imágenes en movimiento de un flujo de vídeo. La posición en pantalla de la imagen de subtítulo es determinada según un atributo de pantalla. El atributo de pantalla se almacena en un almacenamiento de atributos, así el atributo de pantalla no se asocia con el flujo de vídeo.
El documento US 2002/075407 A1 describe que una imagen de pantalla secundaria se sobrepone sobre una imagen de pantalla primaria. La posición para sobreponer la imagen de pantalla secundaria sobre la imagen de pantalla primaria subyacente se determina analizando un primer flujo de datos de vídeo que trasmite la imagen de pantalla primaria para una señal o señales. Así, la señal o señales se extraen de los datos de imagen del primer flujo de datos de vídeo para la imagen de pantalla primaria subyacente, no con un flujo de datos de vídeo para la imagen secundaria suprayacente.
Compendio de la invención
La tecnología disponible descrita para sobreposición de vídeo no es flexible. Por lo tanto la presente invención aborda el problema de proporcionar un método y un dispositivo para sobreponer una secuencia de vídeo a otra secuencia de vídeo (o una imagen de vídeo estática) de una manera más flexible, y en particular proporciona posibilidades de control para dicha sobreposición de vídeo para alguien interesado en una apariencia visual particular del programa, p. ej. el proveedor de programa, el autor de contenidos AV pregrabados, el usuario.
La presente invención proporciona una manera para cambiar la decisión de cómo sobrerponer diferentes secuencias de vídeo en el momento de presentación. Por lo tanto la invención cambia la sobreposición estática de vídeo para un sistema de procesamiento flexible de sobreposición dinámica de vídeo. Con este cambio, p. ej. el proveedor de contenido llega o poder controlar la sobreposición. Esta es una etapa principal para combinar dinámicamente secuencias de vídeo.
El quid de la invención es añadir metadatos a una secuencia de vídeo, dichos metadatos contienen parámetros de sobreposición y se pueden usar para controlar una sobreposición de esta secuencia de vídeo a otra secuencia de vídeo o a una imagen estática. En principio es suficiente si una secuencia de vídeo que se sobrepone contiene dichos metadatos. En este caso, la sobreposición puede ser independiente de la otra secuencia de vídeo o imagen a la que se sobrepone. Sin embargo, dentro de la secuencia de vídeo es posible identificar otra cierta secuencia de vídeo o grupo de secuencias de vídeo, con las que están relacionados los parámetros de sobreposición. Además, es posible insertar metadatos de sobreposición a una secuencia de vídeo que definen cómo puede ser sopbrepuesta otra secuencia de vídeo, p. ej., para una escena particular puede estar prohibida para que se sobrepongan ciertas áreas dentro de la pantalla.
Para el caso de colisiones, se pueden definir prioridades para uno, varios o todos los parámetros. P. ej. una primera secuencia de vídeo puede contener metadatos que definen una escena particular, p. ej. en términos de marcas de tiempo, y que además definen para esta escena un área rectangular de p. ej. 20-80 % de la altura de pantalla y 0- 100% de la anchura de pantalla que no se puede sobreponer. Una segunda secuencia de vídeo puede contener metadatos que definen que, si esta secuencia se usa como sobreposición, se debe producir en un fotograma visible, p. ej., en el 0-10 % de la anchura de pantalla y preferiblemente en el 50 % de la altura de pantalla, es decir, altura central en el canto izquierdo. En este caso, es posible desplazar el fotograma arriba o abajo, de modo que sea expuesto fuera del área prohibida, porque el parámetro "50 % de altura" tiene menor prioridad que los otros. Si el área prohibida en la primera secuencia también tiene menor prioridad, es decir, no "debe" ser sobrepuesta, la segunda secuencia se puede posicionar de manera que se cumplan ambas condiciones. Si la segunda secuencia de
5
10
15
20
25
30
35
40
45
50
55
vídeo se expone sola, es decir, no como una sobreposición, se ignoran estos metadatos.
Una ventaja de la invención es que puede proporcionar diversas características útiles, p. ej., una o más secuencias de vídeo se pueden mover, escalar, combinar en alfa y/o superponer sobre una secuencia de vídeo de fondo. Combinar en alfa es una técnica común para transiciones suaves entre escenas. Estas características no necesitan estar estadísticamente disponibles, es decir, pueden ser descargadas dinámicamente de internet o de una memoria rápida o de discos adicionales (p. ej. actualizaciones de películas grabadas) etc.
Según la invención, se proporcionan metadatos especiales con la secuencia de vídeo, que describen cómo "pegar" entre sí diferentes (pero determinadas) secuencias de vídeo. El formato de metadatos debe ser estandarizado, de modo que diferentes dispositivos de reproducción puedan manejar/interpretar este tipo de metadatos. Actualmente, no hay disponibles dichos metadatos.
Un dispositivo de reproducción según la invención puede interpretar metadatos apropiados, y tiene el hardware/software (p. ej. acelerador gráfico 3D) para realizar procesamiento acorde para la superposición, etc. Para metadatos procedentes de internet, el dispositivo puede tener la capacidad de descargar dichos datos. Para metadatos procedentes de un lector de tarjetas rápidas o USB, el dispositivo puede tener conectores apropiados. Además, el dispositivo tiene la capacidad de almacenar dichos metadatos en un área de memoria accesible, p. ej. DRAM local.
Existen diversas posibilidades para mezclar las secuencias de vídeo y los metadatos: Los metadatos puede ser entrelazados con el flujo AV, los metadatos pueden ser almacenados en un archivo separado o los metadatos pueden ser entregados en paralelo junto con el flujo de vídeo (p. ej. la cabeza hablando del director de la película) para una película especial. En el último caso, la entrega contiene todos datos adicionales necesarios para una reproducción superpuesta. Además, puede haber diferentes maneras de superponer dos o más flujos de vídeo particulares. Así, puede haber disponible más de un conjunto de metadatos para las mismas secuencias de vídeo.
Los metadatos usados por la invención describen cómo superponer dos o más secuencias de vídeo en la misma pantalla de vídeo. Esta superposición puede ser posible en un gran intervalo, es decir, muy flexible. Esto significa que los metadatos contienen, p. ej., información acerca de apariencia geométrica de la pantalla para las secuencias sobrepuestas de vídeo, la temporización se superposición, preferiblemente para los flujos de vídeo relativamente entre sí, lo que es particularmente útil para sincronizar flujos de audio, metadatos de efectos especiales, p. ej. fundido de entrada/salida, cambios de color, fotogramas visibles para PIP, etc., y metadatos de flujo.
Descripción detallada de la invención
La figura 1 muestra un dispositivo para superposición de fotogramas según la invención, para ilustrar cómo y qué tipo de metadatos se usa para qué etapa de decodificación para realizar la superposición dinámica de vídeo. Las flechas discontinuas indican qué tipo de metadatos se usan para realizar una etapa de decodificación específica. Las flechas continuas indican la corriente de los datos de secuencia de vídeo. El formato de los datos de flujo de vídeo puede cambiar de una etapa a otra. P. ej. inicialmente los datos de secuencia de vídeo están en un formato comprimido (p. ej. MPEG-2, o MPEG-4 o VC-1, etc.), y en la siguiente etapa han sido decodificados hasta búferes de fotogramas (p. ej. formato tipo mapa de bits). El vídeo superpuesto final podría estar en formato YUV 4:2:0.
Además, la figura 1 indica que se da una jerarquía dentro de los propios metadatos. Los metadatos de temporización de superposición controlan los metadatos de efectos especiales y geométricos. Esto es importante, porque p. ej. la posición de una secuencia de subvídeo en una pantalla puede cambiar durante la reproducción, pero no la temporización. P. ej. la secuencia de subvídeo puede moverse suavemente en horizontal, o los fotogramas de vídeo global se pueden escalar en aumento y/o en disminución. Ejemplarmente, la pantalla expone varios vídeos en miniatura de diferentes flujos, con un vídeo en miniatura por flujo, y el usuario selecciona una de estas miniaturas usando un menú. Como efecto especial, la resolución de este vídeo en miniatura se escala en aumento hasta que cubre la pantalla completa. Eso proporcionaría la impresión de que la selección está relacionada con la reproducción inmediatamente siguiente del vídeo a tamaño de pantalla completa. Esto se representa en las figuras 4-6.
Un nivel adicional incluso superior de la jerarquía puede controlar los metadatos de temporización. Esta puede ser la interacción de usuario. El usuario puede cambiar entre diferentes programas de reproducción, como diferentes cadenas de programas (PGC) como usan los DVD. Es como una lista de reproducción, es decir, el usuario puede cambiar a otro programa de superposición.
Debido a la jerarquía de metadatos, los niveles superiores pueden evitar configuraciones de los niveles inferiores. P. ej. se puede recortar un subvídeo y se puede cambiar la relación de aspecto de píxeles. Así, los metadatos de nivel inferior serán manejados como datos predeterminados.
Ventajosamente, si dichos metadatos se almacenan como archivo separado, entonces se deben almacenar usando formatos de documentos abiertos como XML. Si los metadatos se incrustan en el propio flujo de datos, entonces el formato usado para los metadatos incrustados debe seguir las restricciones especiales del formato de flujo de vídeo, p. ej. evitar códigos de inicio en campos de user_data() dentro de flujos de vídeo de MPEG-2 o MPEG-4.
5
10
15
20
25
30
35
40
45
50
55
Las figuras 2 y 3 muestran cómo un usuario puede pedir por separado un disco de película, material de bonus extra (p. ej. por medio de internet) y metadatos relacionados. Como ejemplo, un usuario compra una película como disco óptico, abre la cubierta y ve un cupón para una secuencia de vídeo de comentarios del director. El usuario debe conectarse a la página web del proveedor de contenido (p. ej. Disney) y registrarse. Tras registrarse en la página web del proveedor de contenido, el usuario obtiene acceso a la secuencia adicional de vídeo de comentarios del director. El usuario descarga la secuencia de vídeo por medio de su conexión DSL. Después de hacer la descarga, el usuario desea echar un vistazo a su incentivo descargado más reciente. El usuario pone el incentivo descargado en un HDD del dispositivo de reproducción. Entonces, el usuario inicia la reproducción de la nueva secuencia de vídeo descargada. El dispositivo de reproducción reconoce los metadatos insertados. Así, el dispositivo de reproducción sabe que la reproducción de esta secuencia de vídeo está pensada conjuntamente con la película especial. Si la película todavía no ha sido insertada, entonces el dispositivo de reproducción informa al usuario (p. ej. por medio de IU) que el usuario debe insertar el disco apropiado. Cuando se inserta el disco, entonces el dispositivo de reproducción inicia la reproducción de ambas secuencias de vídeo, como definen los metadatos entregados junto con el contenido de incentivo (p. ej. incorporados en el mismo flujo). En la pantalla se muestra la película, con la cara del director superpuesta. El director habla acerca de la escena mostrada en ese momento. La secuencia de vídeo de incentivo contiene una lista de reproducción de metadatos, es decir, un conjunto de partes comentadas. Así, el usuario puede seleccionar una de varias escenas comentadas, p. ej. una lista de reproducción como las siguientes
1. El director comenta la película entera
2. El director comenta las escenas peligrosas
3. El director comenta las escenas de efectos especiales
4. El actor 1 comenta la escena erótica
5. El actor 2 comenta algunas situaciones divertidas durante la grabación
En este ejemplo, hay disponibles dos películas (película original y secuencia de vídeo de incentivo), y cinco conjuntos de metadatos. Cada conjunto combina diferentes partes del vídeo principal y el vídeo de incentivo, y los conjuntos controlan dónde se superponen los vídeos (información geométrica), cuándo se superponen (sincronización), qué efectos se usan (p. ej. combinación alfa), y cómo mezclar los audio de ambos flujos. Incluso se puede añadir información para interacción de usuario puede, p. ej. se pueden ofrecer diferentes maneras de continuar (p. ej. "finalizar reproducción" y "reproducir de nuevo" y "ir al siguiente conjunto de metadatos").
En este ejemplo, la película principal se acaba tras producir los másteres para el disco óptico. Pero, el proveedor de contenido puede añadir posteriormente información adicional para esta película usando los metadatos según la invención, combinándolos con secuencias de vídeo apropiadas y haciendo que estén disponibles en su portal de internet. Ventajosamente, el proveedor de contenido puede añadir información interesante acerca de la película por medio de esta característica en cualquier momento. Los clientes pueden ser informados, p. ej., por medio de un boletín informativo o un correo electrónico directo. Así, se puede lograr una retención de clientes más fuerte.
Los creadores de películas usan grabación cada vez más ayudada por ordenador, es decir, la cantidad de escenas artificiales generadas en las películas actuales crece fuertemente. Así, continuamente se hace más fácil generar diferentes secuencias de vídeo. Como otro ejemplo, un usuario compra un disco óptico con una película erótica. Sin embargo, la mayoría de personas mostradas en la película lleva ropa. Tras pagar una tarifa, el usuario puede descargar del portal de internet del proveedor de contenido información especial de secuencia de vídeo, que proporciona la vista deseada. Esta información especial de secuencia de vídeo (SVSI) contiene una secuencia de vídeo diferente, que cambia la apariencia de la película erótica, modificada píxel a píxel. Para la reproducción, el dispositivo de reproducción superpone ambas secuencias de vídeo según los metadatos inventivos también entregados. La secuencia de vídeo diferente añadida cambia la apariencia de algunos píxeles. En este ejemplo, retira prendas apropiadas de algunos actores en algunas escenas. Así, el cliente obtiene una visión libre de piel más desnuda al pagar una tarifa adicional al proveedor de contenido y descargar la secuencia de vídeo diferente de internet. La cantidad de piel visible puede depender de la cantidad de tarifas pagadas. En un ejemplo similar, la ropa que llevan los actores en una película puede cambiarse según la forma actual aplicando esta característica, o se puede cambiar el fondo (es decir, la ubicación virtual) de una escena de película.
En un ejemplo adicional, un usuario compra un disco óptico con una película. Varios actores representan papeles en esta película. El proveedor de contenido separa la película en las escenas de fondo y las cabezas de los actores (como secuencia de vídeo). La superposición de la escena de fondo y las cabezas de los actores realizará la reproducción real de la película. Los metadatos inventivos describen cuand qué cabezas se superponen con el vídeo de fondo en la posición derecha dentro de fotograma. Se usan para controlar el proceso de superposición. Además, los metadatos inventivos contienen información acerca de la cabeza expuesta, es decir, su posición tridimensional (3D) y posición relativa a la cámara, el a nivel de iluminación y direcciones para la cabeza, el ambiente físico (p. ej. ventoso, bajo agua, fuerzas centrífugas), etc.
5
10
15
20
25
30
35
40
45
50
55
El cliente puede querer intercambiar los actores. Así, el usuario da al motor de reproducción información apropiada acerca de la cabeza tridimensional del actor deseado (p. ej. el propio cliente). Esto se puede hacer escaneando la cabeza, p. ej. algunas fotos electrónicas de la cabeza y software en el dispositivo de reproducción, que genera un modelo 3d apropiado de la cabeza deseada. Con algunos motores 3D típicos (como los usados en aceleradores gráficos actuales) el dispositivo de reproducción puede generar en tiempo real las cabezas apropiadas, que se superpondrán al vídeo de fondo. Motores 3D actuales pueden incluso manejar estructuras complejas tales como p. ej. pelo largo en combinación con viento. Para primeras versiones más simples, sería posible que el usuario escanee la cabeza deseada y envíe esta información al proveedor de contenido. El proveedor de contenido genera el vídeo de superposición y envía esta de nuevo al usuario. El usuario aplica esta secuencia recibida como se ha descrito anteriormente.
Sin embargo, el último ejemplo describe un método, en donde el proveedor de contenido produce en primer lugar el vídeo, separado en vídeo de fondo y cabezas. Adicionalmente, el proveedor de contenido proporciona metadatos que informan qué cabeza se expondrá en qué posición. El proveedor de contenido también puede proporcionar un modelo 3D del actor y metadatos que informan al dispositivo de reproducción cómo generar la proyección apropiada de esta cabeza.
El disco con este contenido se pone sobre el máster, es decir, es contenido estático como la propia película. Se pueden añadir caras de otros actores al disco (información estática). Entonces el usuario puede intercambiar los actores usando el contenido del disco adquirido. Además, el proveedor de contenido puede ofrecer otros actores para esta película como material de bonus descargando de su portal de internet. Además, el proveedor de contenido puede ofrecer poner modelos 3D en la película al recibir fotos apropiadas de un cliente, que son suficientes para generar el modelo 3D requerido. Esto sería otro modelo de negocio. Es incluso posible que los clientes puedan intercambiar modelos 3D con otros usuarios.
Así, el dispositivo de reproducción de este ejemplo soporta dos maneras de superposición:
1) superponer secuencias de vídeo ya proyectadas con el vídeo de fondo (p. ej. las cabezas de actores originales)
2) superponer proyecciones que se calculan en tiempo real durante la reproducción sobre la base de un modelo tridimensional de una cabeza. Los metadatos adicionales (p. ej. posición de la cabeza e información de iluminación, e información acerca del ambiente físico, etc.) son entregados por el proveedor de contenido (pueden estar ya en el disco o pueden ser entregados como material de bonus por medio de internet.
En un ejemplo adicional, el usuario genera un propio menú para obtener una visión general sobre vídeos disponibles. El usuario produce metadatos según la invención, que describen cuántos vídeos en miniatura se superponen con una película de fondo. El usuario también puede decidir el comportamiento de una miniatura seleccionada (para navegación) y la apariencia de la miniatura tras la activación. La figura 4 describe el menú desarrollado para este ejemplo. El usuario genera un menú de vídeo en miniatura 3x3 con un vídeo de fondo. La selección de una miniatura (p. ej. por medio de botones de navegación Arriba, Abajo, Izquierda, Derecha) escala en aumento un poco la secuencia de vídeo seleccionada como se muestra en la figura 5. Si el usuario activa esta miniatura (es decir, una selección final), entonces la miniatura crece hasta que cubre la pantalla entera. Entonces puede empezar la reproducción convencional.
En este ejemplo, el propio usuario produce los metadatos que definen dónde se ubicará un vídeo. En este caso, no es necesario que sea fijo el conocimiento acerca del vídeo presentado específico y la estructura de menú, es decir, durante la generación del menú puede no estar claro qué vídeos específicos se presentan en una posición especial en el menú, es decir, la superposición se hace interpretando en tiempo real la información de flujo del propio flujo de vídeo (para obtener el formato y la resolución, etc.) y la información geométrica e información de la estructura de menú del usuario. Así, estos metadatos son necesarios, pero usualmente están separados. El proveedor de contenido puede proporcionar software y/o plantillas para generar dicho menú. El dispositivo de reproducción puede soportar la generación de dichos menús.
Los metadatos según la invención se pueden ubicar de manera diferente.
Tales metadatos se pueden ubicar en el mismo medio (p. ej. HDD o disco óptico, p. ej. DVD, HD-DVD, o Blu-ray) que las secuencias de vídeo superpuestas. Generalmente, se pueden ubicar en el mismo medio que al menos una de las secuencias de vídeo superpuestas.
Los metadatos también se pueden ubicar un medio distinto que las secuencias de vídeo superpuestas.
Además, los metadatos pueden ser recibidos por separado de otras fuentes (p. ej. USB, memoria rápida, internet, etc.).
Existen diversas posibilidades para mezclar las secuencias de vídeo y los metadatos:
5
10
15
20
25
30
35
40
45
• Los metadatos pueden ser entrelazados con el flujo AV.
o Esto significa que el proveedor de contenido decide durante la creación algo o todo sobre la superposición de los vídeos.
o Técnicamente, este se puede hacer almacenando los metadatos p. ej. dentro de user_data() de Vídeo MPEG-2 o Vídeo MPEG-4 o flujos VC-1.
o Otra alternativa sería almacenar los metadatos en paquetes de trasporte separados del flujo de trasporte (p. ej. en los archivos .m2ts del contenido BD).
o Sin embargo, este tipo de metadatos necesita un estándar especial para volverse legibles por diferentes dispositivos de reproducción.
• Los metadatos se pueden almacenar en un archivo separado.
o Esto significa que los metadatos se pueden vincular al archivo tras crear las secuencias de vídeo.
Dicho tipo de metadatos puede ser material de bonus adicional descargado de la página web del
proveedor de contenido, como incentivo para que el usuario visite la página web del proveedor de contenido o para un registro voluntario (para lograr fidelidad del cliente y seguimiento del cliente), etc.
o Técnicamente, el almacenamiento de los metadatos en archivos especiales puede hacer esto.
o Una alternativa podría ser almacenar estos metadatos en otros archivos de información, p. ej. en ".clpi"
(ClipInfo) de Blu-ray o archivos ".mpls" (PlayList), o en los archivos ".IFO" de (HD-)DVD.
o Sin embargo, este tipo de metadatos necesita un estándar especial para volverse legibles por diferentes dispositivos de reproducción.
• Los metadatos pueden ser entregados junto con el flujo de vídeo (p. ej. "cabeza hablando" del director de la
película) para una película especial, p. ej. en un disco especial. Así, la entrega contiene todos datos
adicionales necesarios para una reproducción superpuesta.
• Puede haber diferentes maneras para superponer los flujos de vídeo idénticos. Así, puede haber disponible más de un conjunto de metadatos para las mismas secuencias de vídeo. Pueden estar priorizadas implícita o explícitamente, o el usuario puede seleccionar el conjunto de metadatos preferido.
Ubicaciones de las secuencias de vídeo que serán superpuestas:
• Dichas secuencias de vídeo se pueden ubicar en el mismo medio (p. ej. HDD o disco óptico).
• Dichas secuencias de vídeo se pueden ubicar en medios diferentes. Puede realizarse una reproducción
simultánea por medio de una red.
• Se pueden recibir secuencias de vídeo por separado de otras fuentes (p. ej. USB, memoria rápida, internet, etc.), p. ej. como vídeo trasmitido por flujo. P. ej. la secuencia del "director de la película" viene directamente del servidor de internet del proveedor de contenido (trasmisión por flujo) mientras la película real es leída de un disco óptico. El dispositivo de reproducción superpone ambas secuencias de vídeo simultáneamente interpretando los metadatos según la invención.
Contenido de los metadatos:
Los metadatos describen cómo superponer dos o más secuencias de vídeo en la misma pantalla de vídeo. Ventajosamente, esta superposición puede ser posible en un gran intervalo, es decir, muy flexible. Esto significa que los metadatos contienen información acerca de p. ej.
• metadatos de exposición geométrica o posición dentro de la pantalla
o escalado de los fotogramas presentados
■ Los posibles niveles de escalado pueden limitarse a un conjunto fijo de valores para simplificar la realización de un escalado de este tipo, es decir, con el fin de simplificar los requisitos de hardware.
o rotación antes de la exposición
■ Los posibles niveles de rotación pueden limitarse a un conjunto fijo de valores para simplificar la
5
10
15
20
25
30
35
40
realización de una rotación de este tipo, es decir, con el fin de reducir los requisitos de hardware. o distorsión (p. ej. relación de aspecto), si la hay
■ evitar relaciones de aspecto, p. ej. los metadatos restringen una relación de aspecto distinta a la que indica el flujo de vídeo
■ volteo del vídeo entero horizontal y/o verticalmente o información de recorte de fotograma, si lo hay
o evitar relaciones de aspecto de píxel, p. ej. los metadatos restringen una relación de aspecto distinta a la que indica el flujo de vídeo
■ metadatos de temporización de superposición
o se usa información de temporización y puntos de acceso de flujo para sincronizar el proceso de superposición completo. Esta puede ser campo de vídeo, fotograma de vídeo o fotograma de audio exactos, o sincronizados aproximadamente
o si no hay disponible información de temporización específica, entonces se pueden usar valores predefinidos en su lugar,
o en general, la información de temporización puede describir un momento inicial, momento final, una duración o una mezcla de cualquiera de estos.
o información para navegar a través de una secuencia de vídeo, como Cadenas de Programas (PGC) en DVD publicadas en internet en

http://www.dvd-replica.com/DVD/pgca.php
■ bucles (sin fin), o parada tras una presentación completada
■ reordenar partes de una secuencia de vídeo para la reproducción
■ indicar posibles interacciones de usuario (como PGC)
o información para cambiar entre diferentes metadatos geométricos y/o metadatos de efectos especiales. Puede ser campo de vídeo o fotograma de vídeo o sincronizados aproximadamente.
o se puede proporcionar información en diferentes niveles de precisión
■ sincronizada aproximadamente (es decir, usualmente del orden de periodos de pocos fotogramas)
■ sincronizada estrictamente (es decir, preciso por fotograma o preciso por campo) o información para el audio
■ cambio a un flujo de audio apropiado o
■ indicar flujos de audio de superposición (indicar si se superpondrá o no un flujo de audio)
■ Nivel de superposición (p. ej. indicar qué flujo de audio se pondrá en el primer plano o en el fondo).
■ ubicación 2D o 3D (indicar la ubicación geométrica desde donde proviene o es audible el audio de un audio específico)
■ indicar nivel de volumen de cada flujo de audio antes de mezclar
■ efectos de audio (p. ej. añadir efecto de reverberación al audio)
■ si estos comportamientos de audio están disponibles, entonces evitan los efectos especiales para audio de los otros tipos de metadatos.
• Metadatos de efectos especiales
o fundido de entrada/salida
o cambios de color
o fotograma para la frontera de fotogramas
5
10
15
20
25
30
35
o indicar método de superposición usado
■ información de inserción croma para trasparencia (principalmente serán necesarios gamas de color porque la compresión de vídeo puede entregar diversos valores dentro de la misma área de trasparencia)
■ valor de trasparencia global para
■ una única secuencia de vídeo
■ varias secuencias de vídeo
■ añadir subvídeo al vídeo de fondo
■ exclusivo o combinación de subvídeo con vídeo de fondo
o Diferentes efectos para diferentes tipos de pantalla, p. ej. los valores de trasparencia dependen del tipo de pantalla usada.
o Son posibles muchos otros efectos o Efectos de audio
■ efectos de audio (p. ej. añadir efecto de reverberación al audio)
• Metadatos de flujo
o información técnica detallada acerca de una secuencia de vídeo
■ formato de compresión (p. ej. secuencia de bitmaps, MPEG-2, MPEG-4, VC-1, etc.)
■ resolución
■ relación de aspecto (para un fotograma y para un píxel)
■ espacio cromático usado (p. ej. ITU 709 para HDTV o ITU 624 para SDTV, etc.)
■ tasa de fotogramas
■ entrelazado/progresivo
■ Valores de inserción croma, si la hay
■ valores promedio o medios para el brillo
o información detallada de contenido acerca de una secuencia de vídeo
■ género
■ actores
■ etc.
o propiedades de audio
■ indicar nivel de volumen del flujo de audio
■ ubicación 2D o 3D (indicar la ubicación geométrica desde donde proviene o es audible el audio de un audio específico)
■ indicar nivel de volumen de cada flujo de audio antes de mezclar
Si los metadatos están en el segundo subflujo, es decir, para sobreponerse a otros, se debe considerar lo siguiente. Se pueden ubicar
a) en el flujo elemental de vídeo (ES) (user_data(), vídeo MPEG-2, MPEG-4, VC-1)
b) en el flujo de trasporte (m2ts) en el que está contenido el vídeo ES; probablemente también el audio secundario está contenido en el mismo flujo de trasporte (TS)
c) en el archivo ClipInfo (clpi) del TS correspondiente
5
10
15
20
25
30
35
40
45
d) en el archivo PlayList (mpls)
e) como archivo de metadatos separado Ejemplos de contenidos/finalidad de metadatos
a) posición (incluida modificación exacta de fotograma)
b) escalado (incluida modificación exacta de fotograma o dinámica)
c) selección de factores de escalado fijos predefinidos
d) información de inserción croma para trasparencia (NB: considérese la gama de color debido a la compresión)
e) valor de trasparencia global
f) trasparencia dependiente de pantalla (tipo de pantalla
g) información de gama de color ITU-(T o R) 709 para HDTV; ITU 6?? para SDTV
h) evitar información de relación de aspecto de píxel
i) información de volteo
j) información de rotación
k) efectos
l) fotograma para los PIP (imagen en imagen)
m) información de inicio y parada para PIP asíncronas
n) brillo base, para lograr múltiples PIP uniformes/igualables en apariencia atractiva
o) cálculos en ambas imágenes (p. ej., operaciones ráster) (p. ej. sustraer objetos de imágenes)
Todos los metadatos según la invención opcionalmente también deben poder modificar el fotograma de subvídeo.
Además, todos estos metadatos únicamente pueden ser para valores predeterminados, es decir, pueden ser sobrescritos por, p. ej., llamadas API BD-Java. Los metadatos mencionados anteriormente degeneran entonces en estos valores predeterminados.
El Vídeo Secundario es típicamente contenido que puede ser descargado de internet y entonces se almacena en almacenamiento local, de modo que los metadatos mixtos no son almacenados necesariamente en el disco óptico (puede ser un disco ROM). También es posible que datos de vídeo primario y secundario estén ambos en el mismo soporte de datos, p. ej. disco ROM óptico.
Una aplicación ejemplar es para una escena particular de un primer vídeo, p. ej. expresada como marcas de tiempo inicial y final, los metadatos según la invención definen qué área de la pantalla es relativamente oscura, y/o qué área es relativamente brillante. Esta información también se puede combinar con áreas prohibidas o preferibles para sobreposiciones, en las que esta escena sirve como fondo. Si se debe sobreponer un segundo vídeo a esta escena en una ventana separada, el segundo vídeo contiene metadatos, p. ej., que indican que su contenido es más brillante, o que indican que su contenido se debe presentar en un área oscura, la ventana puede ser posicionada automáticamente para que cumpla todos estos requisitos, es decir, es posicionada automáticamente en un área indicada como "oscuro". Además, si cambia el fondo, los metadatos del primer vídeo indican este cambio y el segundo vídeo sobrepuesto puede ser movido automáticamente a otra área, donde se cumplen todas las condiciones. Este movimiento es preferiblemente un desplazamiento suave en lugar de un salto.
En otro ejemplo, el primer flujo de vídeo es un juego, p. ej., producido sintéticamente. Se pueden sobreponer flujos adicionales de vídeo que proporcionan, p. ej., diferentes vistas de otros personajes del juego. P. ej. un jugador A tiene en su pantalla áreas en las que se muestran las acciones concurrentes de otros jugadores B y C. Estos otros jugadores pueden ser humanos, p. ej. en un juego en línea, o virtuales. Por lo tanto, se sobreponen otros dos flujos a la escena de fondo que muestran la propia vista de los jugadores. La posición de los fotogramas sobrepuestos es definida por metadatos que se conectan a los flujos respectivos. Estos metadatos también pueden depender, p. ej. de las acciones que realiza el jugador respectivo.
En incluso otro ejemplo, el primer flujo de vídeo es una imagen estática o una escena corta que se repite continuamente, tal como un fondo que sirve como menú. Se sobreponen varios flujos de vídeo, correspondientes p. ej. a resúmenes de los vídeos que el usuario tiene en su biblioteca de vídeos. El primer flujo de vídeo tiene
9
metadatos conectados que proporcionan áreas de pantalla a los flujos de vídeo, de modo que 1. cada vídeo se puede mostrar en un icono, 2. se puede mostrar un número definido de iconos vídeo, y 3. se deja espacio entre los iconos de modo que el fondo se puede ver pero cada icono es tan grande como sea posible. P. ej. los metadatos definen que se exponen doce flujos de vídeo en cuatro columnas y tres filas, donde
5 cada columna tiene el 25 % de la anchura, cada fila tiene el 33,3 % de la altura y cada icono usa el 80 % de su anchura y altura es decir, el 81 % de su área, de modo que en el 10 % restante en cada canto se ve el fondo. En un ejemplo similar, el fondo se debe esponer, pero independiente del número de flujos de vídeo disponibles cada icono debe tener un área máxima en la pantalla. P. ej. hay dos vídeos en la biblioteca, cada uno de ellos obtiene la mitad del área de pantalla. Generalmente, cada uno de los vídeos obtiene el mismo reparto de la pantalla (hasta un cierto 10 tamaño mínimo), que es controlado dinámicamente por los metadatos que se conectan al fondo.
Como ventaja particular, el tipo relativo descrito de definición de área permite la adaptación a cada tamaño o resolución de pantalla respectivamente.

Claims (1)

  1. 10
    REIVINDICACIONES
    1. Método para sobreponer dos o más flujos de vídeo dinámicamente, donde se asocian metadatos a al menos uno de los flujos de vídeo mediante una lista de reproducción, que comprende las etapas de
    - exponer un primer flujo de vídeo que es uno de dichos flujos de vídeo;
    - extraer dichos metadatos desde un archivo de lista de reproducción que pertenece a al menos un segundo flujo de vídeo distinto a dicho primer flujo de vídeo;
    - detectar que los metadatos extraídos definen cómo sobreponer el segundo flujo de vídeo a dicho primer flujo de vídeo, en donde dichos metadatos contienen datos de posición que definen un área en pantalla para sobreposición y una referencia al primer flujo de vídeo, y donde el contenido de la imagen del primer flujo de vídeo no se analiza; y
    - sobreponer al menos el segundo flujo de vídeo al primer flujo de vídeo, según definen dichos metadatos.
    imagen1
    imagen2
    imagen3
    Vídeo de fondo
    Vídeo en miniatura 1
    Vídeo en miniatura 4
    Vídeo en miniatura 7
    Fig. 4
    Vídeo en miniatura 2
    Vídeo en miniatura 3
    Vídeo en miniatura 5
    Vídeo en miniatura 6
    Vídeo en miniatura 8
    Vídeo en miniatura 9
    Vídeo de fondo
    Vídeo en miniatura 1
    Vídeo en miniatura 4
    Vídeo en miniatura 7
    Seleccionado
    Vídeo en miniatura 2
    Vídeo en miniatura 5
    Vídeo en miniatura 8
    Vídeo en miniatura 3
    Vídeo en miniatura 6
    Vídeo en miniatura 9
    Fig. 5
    Activado
    imagen4
    Fig. 6
ES17181071.6T 2005-07-18 2006-07-05 Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos Active ES2674897T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05015576 2005-07-18
EP05015576 2005-07-18

Publications (1)

Publication Number Publication Date
ES2674897T3 true ES2674897T3 (es) 2018-07-04

Family

ID=36944152

Family Applications (2)

Application Number Title Priority Date Filing Date
ES06777576.7T Active ES2645014T3 (es) 2005-07-18 2006-07-05 Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos
ES17181071.6T Active ES2674897T3 (es) 2005-07-18 2006-07-05 Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES06777576.7T Active ES2645014T3 (es) 2005-07-18 2006-07-05 Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos

Country Status (9)

Country Link
US (1) US9167176B2 (es)
EP (2) EP1905233B1 (es)
JP (10) JP5067889B2 (es)
KR (5) KR101374034B1 (es)
CN (7) CN102752641B (es)
ES (2) ES2645014T3 (es)
PL (2) PL3247110T3 (es)
TR (1) TR201808891T4 (es)
WO (1) WO2007009876A1 (es)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2004211721B2 (en) 2003-02-11 2009-08-20 Nds Limited Apparatus and methods for handling interactive applications in broadcast networks
EP1905233B1 (en) * 2005-07-18 2017-09-06 Thomson Licensing Method and device for handling multiple video streams using metadata
EP1977395B1 (en) * 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
CN102685533B (zh) * 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
GB2441365B (en) * 2006-09-04 2009-10-07 Nds Ltd Displaying video data
US11316688B2 (en) 2006-12-29 2022-04-26 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US11783925B2 (en) 2006-12-29 2023-10-10 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9569587B2 (en) 2006-12-29 2017-02-14 Kip Prod Pi Lp Multi-services application gateway and system employing the same
US20230057851A1 (en) * 2006-12-29 2023-02-23 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US9602880B2 (en) 2006-12-29 2017-03-21 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
WO2008082441A1 (en) 2006-12-29 2008-07-10 Prodea Systems, Inc. Display inserts, overlays, and graphical user interfaces for multimedia systems
US20170344703A1 (en) 2006-12-29 2017-11-30 Kip Prod P1 Lp Multi-services application gateway and system employing the same
EP1981274A1 (en) * 2007-04-12 2008-10-15 Alcatel Lucent Multimedia descriptions for adding additional multimedia
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
KR101396998B1 (ko) * 2007-08-29 2014-05-20 엘지전자 주식회사 영상기기 및 이 영상기기에서 녹화물을 디스플레이하는방법
JP4471028B2 (ja) * 2007-09-03 2010-06-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9350949B2 (en) * 2007-09-28 2016-05-24 Disney Enterprises, Inc. Flexible format media content and method for providing same
JP5092722B2 (ja) * 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8719868B2 (en) 2008-03-05 2014-05-06 Hewlett-Packard Development Company, L.P. Presentation of combined video signals from multiple sources
US9953681B2 (en) * 2008-04-18 2018-04-24 Visible World, Inc. System and method for representing long video sequences
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US20100169458A1 (en) 2008-12-31 2010-07-01 David Biderman Real-Time or Near Real-Time Streaming
US8693846B2 (en) * 2009-03-16 2014-04-08 Disney Enterprises, Inc. System and method for dynamic video placement on a display
US20100239222A1 (en) * 2009-03-20 2010-09-23 International Business Machines Corporation Digital video recorder broadcast overlays
US9025927B2 (en) * 2009-03-25 2015-05-05 Cyberlink Corp. Systems and methods of variable frame rate playback
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US10156979B2 (en) 2009-12-02 2018-12-18 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface of portable device
KR20110063297A (ko) * 2009-12-02 2011-06-10 삼성전자주식회사 휴대용단말기 및 그 제어방법
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
JP5824465B2 (ja) 2010-02-19 2015-11-25 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Ｈｔｔｐストリーミングにおける適応のための方法と装置
US8805963B2 (en) 2010-04-01 2014-08-12 Apple Inc. Real-time or near real-time streaming
GB201105502D0 (en) 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
GB2479455B (en) 2010-04-07 2014-03-05 Apple Inc Real-time or near real-time streaming
US9237366B2 (en) * 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US8739041B2 (en) 2010-06-17 2014-05-27 Microsoft Corporation Extensible video insertion control
EP2594070A1 (en) * 2010-07-13 2013-05-22 Thomson Licensing Method of picture-in-picture for multimedia applications
KR101812189B1 (ko) * 2010-10-12 2017-12-26 삼성전자주식회사 3차원 ｇｕｉ를 이용한 컨텐츠 리스트 디스플레이 방법 및 이를 적용한 3차원 디스플레이장치
US8699801B2 (en) * 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
WO2012097006A1 (en) * 2011-01-11 2012-07-19 Apple Inc. Real-time or near real-time streaming
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US9503771B2 (en) * 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
LT3595281T (lt) 2011-05-27 2022-05-25 Dolby Laboratories Licensing Corporation Spalvų kontrolės keičiamo mastelio sistemos, apimančios kintamo lygio metaduomenis
US8856283B2 (en) 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
JP2015517233A (ja) * 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
US11284137B2 (en) 2012-04-24 2022-03-22 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20180316946A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US9873045B2 (en) 2012-05-25 2018-01-23 Electronic Arts, Inc. Systems and methods for a unified game experience
JP2014003448A (ja) * 2012-06-18 2014-01-09 Ricoh Co Ltd 伝送システム、外部入力装置、および表示解像度変換用プログラム
US9317709B2 (en) 2012-06-26 2016-04-19 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
WO2014080879A1 (ja) * 2012-11-26 2014-05-30 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および受信表示方法
US8797461B2 (en) * 2012-12-28 2014-08-05 Behavioral Technologies LLC Screen time control device and method
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
WO2014160934A1 (en) 2013-03-28 2014-10-02 Google Inc. System and method to store third-party metadata in a cloud storage system
US20160373789A1 (en) * 2013-07-05 2016-12-22 Sony Corporation Transmission device, transmission method, receiving device, and receiving method
US9940787B2 (en) * 2013-08-02 2018-04-10 Zynga Inc. Nested online games for real money gambling
US10444958B2 (en) * 2013-09-23 2019-10-15 Adobe Systems Incorporated Visual example-based user interface for adjusting photos along two dimensions
US10115174B2 (en) 2013-09-24 2018-10-30 2236008 Ontario Inc. System and method for forwarding an application user interface
US10976986B2 (en) * 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
GB2520334B (en) 2013-11-18 2015-11-25 Helen Bradley Lennon A video broadcast system and a method of disseminating video content
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
JP6379636B2 (ja) 2014-04-30 2018-08-29 ソニー株式会社 情報処理装置、情報記録媒体、および画像処理方法、並びにプログラム
CN104602029A (zh) * 2014-08-27 2015-05-06 腾讯科技（北京）有限公司 在线视频文件的生成方法及装置
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
DE102014220432A1 (de) 2014-10-09 2016-04-14 Continental Teves Ag & Co. Ohg Hydraulisches Sicherheitssystem, Bremsanlage und Betriebsverfahren
EP3206408B1 (en) * 2014-10-10 2020-12-30 Sony Corporation Encoding device and method, playback device and method, and program
KR102161210B1 (ko) 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
CN114554387A (zh) * 2015-02-06 2022-05-27 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
KR101602425B1 (ko) * 2015-03-27 2016-03-11 주식회사 아트필 무대용 다채널 영상 제어장치
CN104866755B (zh) * 2015-06-11 2018-03-30 北京金山安全软件有限公司 应用程序解锁界面背景图片的设置方法、装置及电子设备
TWI594607B (zh) 2015-11-27 2017-08-01 鴻海精密工業股份有限公司 動態控制多個視頻下載之系統及方法
KR102227161B1 (ko) * 2015-12-16 2021-03-15 그레이스노트, 인코포레이티드 동적 비디오 오버레이
US9652828B1 (en) * 2015-12-29 2017-05-16 Motorola Solutions, Inc. Method and apparatus for imaging a scene
US10291678B2 (en) * 2016-10-01 2019-05-14 Facebook, Inc. Architecture for augmenting video data obtained by a client device with one or more effects during rendering
US10719480B1 (en) * 2016-11-17 2020-07-21 EMC IP Holding Company LLC Embedded data valuation and metadata binding
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
WO2018139285A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP3646322A1 (en) * 2017-06-29 2020-05-06 Dolby International AB Methods, systems, devices and computer program products for adapting external content to a video stream
WO2020071632A1 (ko) * 2018-10-02 2020-04-09 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR20200061279A (ko) 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US11049285B2 (en) 2019-06-21 2021-06-29 Disney Enterprises, Inc. Media content validation using geometrically encoded metadata
KR20220126914A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 이미지의 알파 값을 이용하여 이미지를 출력하는 전자 장치 및 그 제어 방법
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム
US11930189B2 (en) 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089287A (ja) 1994-06-24 1996-01-12 Mitsubishi Electric Corp テレビジョン受信装置
US6147695A (en) 1996-03-22 2000-11-14 Silicon Graphics, Inc. System and method for combining multiple video streams
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
JPH10240908A (ja) 1997-02-27 1998-09-11 Hitachi Ltd 映像合成方法
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
US20050166232A1 (en) * 1999-04-21 2005-07-28 Lamkin Allan B... Presentation of media content from multiple media sources
US6243143B1 (en) 1999-09-21 2001-06-05 Media 100 Inc. Effecting video transitions between video streams
JP2001128062A (ja) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
AU2001249994A1 (en) * 2000-02-25 2001-09-03 Interval Research Corporation Method and system for selecting advertisements
GB0007868D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
AU2001276583A1 (en) 2000-07-31 2002-02-13 Hypnotizer Method and system for receiving interactive dynamic overlays through a data stream and displaying it over a video content
US7206029B2 (en) 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
JP2002298149A (ja) * 2001-03-29 2002-10-11 Sharp Corp データ合成処理装置、データ合成処理方法、データ合成処理プログラムを記録した機械読取可能な記録媒体およびデータ合成処理プログラム
JP2002354367A (ja) * 2001-05-25 2002-12-06 Canon Inc マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム
EP1274236A1 (en) 2001-07-05 2003-01-08 Thomson Licensing S.A. Video apparatus with picture-in-picture ability
DE60239067D1 (de) * 2001-08-02 2011-03-10 Intellocity Usa Inc Nachbereitung von anzeige änderungen
CN1345159A (zh) 2001-11-02 2002-04-17 北京阜国数字技术有限公司 一种用于在数字视频上动态叠加字幕的方法
TW200300928A (en) 2001-11-30 2003-06-16 Sony Corportion Information processing method and apparatus, program storage medium, program and information recording medium
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
US20040045026A1 (en) * 2002-08-29 2004-03-04 Zoe Interactive Ltd. In digital or interactive television
CA2500034C (en) 2002-09-26 2012-01-10 Koninklijke Philips Electronics N.V. Apparatus for receiving a digital information signal
JP4129162B2 (ja) 2002-09-30 2008-08-06 株式会社メガチップス コンテンツ作成実演システム及びコンテンツ作成実演方法
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP2004172887A (ja) 2002-11-19 2004-06-17 Canon Inc データファイル複写システム
JP4185790B2 (ja) * 2003-03-12 2008-11-26 シャープ株式会社 テレビジョン放送受信機
WO2004091217A1 (en) * 2003-04-14 2004-10-21 Koninklijke Philips Electronics N.V. Recording of broadcast programmes
US20050097135A1 (en) * 2003-04-18 2005-05-05 Ian Epperson Touch panel user interface
EP1621010A1 (en) * 2003-05-02 2006-02-01 Allan Robert Staker Interactive system and method for video compositing
JP2004355767A (ja) 2003-05-30 2004-12-16 Canon Inc 再生装置
JP4599351B2 (ja) * 2003-06-02 2010-12-15 ディズニー エンタープライゼス インコーポレイテッド 民生用ビデオプレーヤー用のプログラムによるウィンドウ制御システム及び方法
WO2005002198A2 (en) 2003-06-02 2005-01-06 Disney Enterprises, Inc. Video playback image processing
US7177872B2 (en) * 2003-06-23 2007-02-13 Sony Corporation Interface for media publishing
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
WO2005109905A2 (en) * 2004-04-30 2005-11-17 Vulcan Inc. Time-based graphical user interface for television program information
CN1254107C (zh) 2004-05-17 2006-04-26 广州网上新生活软件技术服务有限公司 基于单向数字传输系统的卡拉ok点播系统及其实现方法
US8434118B2 (en) * 2004-05-27 2013-04-30 Time Warner Cable Enterprises Llc Playlist menu navigation
JP5676070B2 (ja) * 2004-11-01 2015-02-25 テクニカラー インコーポレイテツド 拡張された色空間コンテンツのマスタリングおよび配信を行う方法およびシステム
EP1905233B1 (en) 2005-07-18 2017-09-06 Thomson Licensing Method and device for handling multiple video streams using metadata

Also Published As

Publication number Publication date
KR101392626B1 (ko) 2014-05-07
ES2645014T3 (es) 2017-12-01
JP2013034225A (ja) 2013-02-14
US20090115901A1 (en) 2009-05-07
KR101374034B1 (ko) 2014-03-12
JP6057349B2 (ja) 2017-01-11
EP3247110A1 (en) 2017-11-22
CN102752639B (zh) 2015-08-05
JP2013176101A (ja) 2013-09-05
CN102752639A (zh) 2012-10-24
JP5273754B2 (ja) 2013-08-28
KR101392676B1 (ko) 2014-05-07
KR20130032920A (ko) 2013-04-02
CN102752640A (zh) 2012-10-24
JP2011172255A (ja) 2011-09-01
JP2013034224A (ja) 2013-02-14
CN102752638B (zh) 2014-12-31
CN102905167A (zh) 2013-01-30
JP5527914B2 (ja) 2014-06-25
CN102905167B (zh) 2014-12-31
JP5273757B2 (ja) 2013-08-28
KR20080028433A (ko) 2008-03-31
EP1905233B1 (en) 2017-09-06
WO2007009876A1 (en) 2007-01-25
CN102905166A (zh) 2013-01-30
JP5735571B2 (ja) 2015-06-17
JP5067907B2 (ja) 2012-11-07
KR20130005319A (ko) 2013-01-15
TR201808891T4 (tr) 2018-07-23
CN102905166B (zh) 2014-12-31
KR101391542B1 (ko) 2014-05-02
US9167176B2 (en) 2015-10-20
JP5273756B2 (ja) 2013-08-28
JP5273751B2 (ja) 2013-08-28
CN101223778B (zh) 2012-11-07
JP2013042516A (ja) 2013-02-28
EP1905233A1 (en) 2008-04-02
CN102752640B (zh) 2015-07-29
KR101342232B1 (ko) 2013-12-16
KR20130083939A (ko) 2013-07-23
PL1905233T3 (pl) 2017-12-29
CN102752641A (zh) 2012-10-24
JP2013048442A (ja) 2013-03-07
KR20130005320A (ko) 2013-01-15
JP2015039216A (ja) 2015-02-26
CN102752638A (zh) 2012-10-24
EP3247110B1 (en) 2018-05-16
CN102752641B (zh) 2016-06-29
CN101223778A (zh) 2008-07-16
JP5273755B2 (ja) 2013-08-28
JP2012090279A (ja) 2012-05-10
JP5067889B2 (ja) 2012-11-07
JP2014112902A (ja) 2014-06-19
PL3247110T3 (pl) 2018-08-31
JP2009502067A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
ES2674897T3 (es) Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos