ES2266396T3 - Terminal audio - visual basado en objetos y estructura de flujo de bits correspondiente. - Google Patents
Terminal audio - visual basado en objetos y estructura de flujo de bits correspondiente. Download PDFInfo
- Publication number
- ES2266396T3 ES2266396T3 ES02075022T ES02075022T ES2266396T3 ES 2266396 T3 ES2266396 T3 ES 2266396T3 ES 02075022 T ES02075022 T ES 02075022T ES 02075022 T ES02075022 T ES 02075022T ES 2266396 T3 ES2266396 T3 ES 2266396T3
- Authority
- ES
- Spain
- Prior art keywords
- objects
- video
- composition
- audiovisual
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
Abstract
Método para visualizar datos de vídeo / audiovisuales basados en objetos, que comprende lo siguiente: a) recibir, a lo largo del tiempo, una pluralidad de objetos de vídeo / audiovisuales e información de composición para los objetos, pudiendo accederseiendose a dichos objetos de vídeo / audiovisuales y a dicha información de composición para dichos objetos de vídeo / audiovisuales en canales lógicos independientesseparados; b) almacenar en una memoria caché (3) al menos uno de dichos objetos; c) emplear dicha información de composición para componer (5) escenas a partir de dichos objetos, incluyendo uno de los objetos almacenados en la memoria caché; y d) visualizar (5) las escenas compuestas; caracterizado porque al menos uno de dichos objetos comprende un objeto persistente, presentando dicho objeto persistente un periodo de vida que se extiende más allá de su tiempo de presentación inicial, hasta un tiempo de expiración, y en el que uno de dichos objetos persistentes que se utilizado repetidamente en una sesión se actualiza con los mensajes de actualización adecuados.
Description
Terminal audio-visual basado en
objetos y estructura de flujo de bits correspondiente.
Esta invención se refiere a la representación,
transmisión, procesamiento y visualización de información de vídeo y
audiovisual, más concretamente, de información basada en
objetos.
Se han desarrollado técnicas de compresión de
imagen y vídeo que, a diferencia de la codificación de forma de onda
tradicional, intentan capturar estructuras de contenido visual de
alto nivel. Este tipo de estructura se describe en términos de
"objetos" constitutivos que tienen relevancia visual inmediata,
representando objetos físicos familiares, por ejemplo, una pelota,
una mesa, una persona, una melodía o una frase hablada. Los objetos
se codifican de forma independiente empleando una técnica de
compresión que proporciona la mejor calidad para cada objeto. Los
objetos comprimidos se envían a un terminal junto con la información
de composición que le dice al terminal dónde colocar los objetos en
una escena. El terminal decodifica los objetos y los coloca en la
escena tal como se especifica en la información de composición.
Además de producir ganancias de codificación, las representaciones
basadas en objetos son beneficiosas en relación con la modularidad,
la reutilización del contenido, la facilidad de manipulación, la
facilidad de interacción con componentes individuales de imagen y
la integración del contenido natural capturado con una cámara con
contenido sintético generado por ordenador.
En el documento "A Proposed Architecture for
an Objetct-Based Audio-Visual
Bitstream and Terminal" (MPEG97/
M1619) presentado en la reunión de Sevilla del grupo de trabajo ISO/IEC JTC1/SC29/WG11 y en la publicación de patente EP-A-0 858 228 que es estado de la técnica en el sentido del artículo 54(3) del CPE, puede hallarse información técnica relacionada con la presente invención.
M1619) presentado en la reunión de Sevilla del grupo de trabajo ISO/IEC JTC1/SC29/WG11 y en la publicación de patente EP-A-0 858 228 que es estado de la técnica en el sentido del artículo 54(3) del CPE, puede hallarse información técnica relacionada con la presente invención.
La presente invención se refiere a un método y a
un aparato para visualizar datos audiovisuales basados en objetos de
acuerdo con las reivindicaciones adjuntas.
En una arquitectura, estructura o formato
preferidos para información que va a procesarse en un terminal de
vídeo o audiovisual (AV) basado en objetos, un flujo de bits
orientado objeto incluye objetos, información de composición e
información de demarcación de la escena. La estructura del flujo de
bits permite la edición en línea, por ejemplo, copiar y pegar, la
inserción/eliminación, el agrupamiento y efectos especiales.
En la arquitectura preferida, en aras de una
mayor simplicidad de la edición, los objetos AV y su información de
composición se transmiten o se accede a ellos en canales lógicos
separados (LC, Logic Channel). La arquitectura también hace uso de
la "persistencia de objetos", sacando ventaja de algunos
objetos que tienen una vida útil en el decodificador que va más allá
de su tiempo de presentación inicial, hasta un tiempo de expiración
seleccionado.
La figura 1 es un dibujo esquemático funcional
de un terminal audiovisual basado en objetos, a título de
ejemplo.
La figura 2a es un dibujo esquemático de un
paquete de composición audiovisual basado en objetos, a título de
ejemplo.
La figura 2b es un dibujo esquemático de un
paquete de datos audiovisual basado en objetos, a título de
ejemplo.
La figura 2C es un dibujo esquemático de un
paquete de composición compuesto, a título de ejemplo.
La figura 3 es un dibujo esquemático de
información de descripción de escena y nodo, a título de ejemplo,
que utiliza la composición.
La figura 4 es un dibujo esquemático, a título
de ejemplo, de información de asociación de
nodo-flujo.
La figura 5 es un dibujo esquemático de
información a modo de ejemplo de actualización de nodo/gráfico que
emplea una escena.
La figura 6 es un dibujo esquemático de un
diseño de terminal audiovisual, a título de ejemplo.
La figura 7 es un dibujo esquemático de un
controlador del sistema audiovisual, a título de ejemplo, en el
terminal según la figura 6.
La figura 8 es un dibujo esquemático de flujo de
información a modo de ejemplo en el controlador según la figura
7.
Un terminal audiovisual (AV) es un componente de
sistemas que desempeña un papel decisivo en la formación,
presentación o visualización de contenido audiovisual. Esto incluye
(aunque no de forma restrictiva) terminales de usuario final con una
pantalla de monitor y altavoces, así como prestaciones de procesador
central y ordenador servidor en las que se procesa la información
audiovisual. En un terminal AV, la funcionalidad deseada puede
implementarse en hardware, firmware o software. La información que
va a procesarse puede proporcionarse al terminal desde una fuente de
información remota a través de un canal de telecomunicaciones, o
puede recuperarse desde un archivo local, por ejemplo. Más
concretamente, un terminal audiovisual orientado objeto recibe
información en forma de objetos individuales que van a combinarse en
escenas según información de composición proporcionada al
terminal.
La figura 1 ilustra un terminal de este tipo que
incluye un demultiplexor (DMUX) 1 conectado a través de un canal
lógico LC0 a un controlador del sistema o "ejecutivo" 2 a
través de canales lógicos LC1 a LCn a una memoria intermedia 3. El
ejecutivo 2 y la memoria intermedia 3 están conectados a
decodificadores 4 que están conectados a su vez a una unidad de
composición 5. Asimismo, el ejecutivo 2 está conectado a la unidad
de composición 5 directamente y tiene una entrada externa para la
interacción del usuario, por ejemplo.
En la arquitectura AV preferida, los objetos AV
y su información de composición se transmiten o se accede a éstos en
canales lógicos separados. El demultiplexor DMUX recibe la capa Mux2
de las capas inferiores y la demultiplexa en canales lógicos. LC0
porta información de composición que se transmite al ejecutivo. Los
objetos AV recibidos en otros canales lógicos se almacenan en la
memoria intermedia para que los decodificadores actúen sobre ellos.
El ejecutivo recibe la información de composición, que incluye los
sellos temporales de decodificación y presentación, e instruye de
forma correspondiente al decodificador y al elemento de
composición.
El sistema trata paquetes de composición de
objetos (OCP, Object Composition Packet) y paquetes de datos de
objetos (ODP, Object Data Packet). Un paquete de composición
contiene un identificador de objeto ("ID"), sellos temporales y
los "parámetros de composición" para representar el objeto. Un
paquete de datos de objeto contiene un identificador de objeto, un
sello temporal de caducidad en caso de objetos de persistencia y
datos de objeto.
Preferiblemente, una entrada externa, tal como
una interacción del usuario, se convierte en paquetes OCP y/u ODP
antes de presentarse al ejecutivo. No se requieren cabeceras en un
flujo de datos proporcionado a través de una red. Sin embargo, se
requieren cabeceras al almacenar una presentación MPEG4 en un
archivo.
Las figuras 2a y 2b ilustran la estructura de
paquetes de composición y datos de forma más detallada. Las
siguientes son características relevantes:
Identificador de objeto (Objeto ID) está
compuesto de tipo de objeto y número de objeto. La longitud por
defecto del identificador del objeto es de 2 bytes, que incluye diez
bits para el número del objeto y 6, para el tipo de objeto (por
ejemplo, texto, gráficos, MEPG2 VOP, objeto compuesto). Se utiliza
un código ampliable para alojar más de 1023 objetos o más de 31
tipos de objeto. La siguiente convención se añadirá a: un valor de
0bllllll en los primeros seis bits del identificador del objeto
corresponde a 31 más el valor del byte inmediatamente siguiente al
identificador del objeto; un valor de 0b11.1111.1111 en los 10 bits
menos significativos del identificador del objeto corresponde a
1023 más el valor de los dos bytes inmediatamente siguientes al
identificador del objeto (sin contar los bytes de extensión del tipo
de objeto, si están presentes). Se definen los siguientes tipos de
objeto:
Objetos de composición (identificadores
de objeto de 16 bits)
- 0X0000
- objeto de configuración de escena
- 0X0001
- especificación de jerarquía de nodo
- 0X0002
- asociación nodo-flujo
- 0X0003
- actualización nodo/escena
- 0X0004
- objeto compuesto
Datos de objeto (tipo de objeto, 6 bits
más significativos)
- 0b00.0010
- texto
- 0b00.0011
- MPEG2 VOP (VOP rectangular)
Objetos de persistencia (PO, Persistencia
Object) son objetos que deberían guardarse en el decodificador para
su uso posterior. Un sello temporal de caducidad (ETS, Expiration
Time Stamp) indica la vida de un objeto PO en milisegundos. Un
objeto PO no está disponible para el decodificador una vez
transcurrido el sello ETS. Cuando va a utilizarse un objeto PO en un
momento posterior en una escena, sólo necesita enviarse al terminal
AV la correspondiente información de composición.
Sello temporal de decodificación (DTS,
Decoding Time Stamp) indica el tiempo en el que el decodificador
debería decodificar un objeto (unidad de acceso).
Sello temporal de presentación (PTS,
Presentation Time Stamp) indica el tiempo en el que el decodificador
debería presentar un objeto (unidad de acceso).
Sello temporal de vida útil (LTS,
Lifetime Time Stamp) indica la duración (en milisegundos) que un
objeto debería visualizarse en una escena. El sello LTS está
implícito en algunos casos, por ejemplo, en una secuencia de vídeo
en la que un marco se visualiza para una velocidad de 1/marco o
hasta que el siguiente marco esté disponible, lo que sea más largo.
Un sello LTS explícito se utiliza al visualizar gráficos y texto. Un
objeto AV debería decodificarse sólo una vez para utilizarlo durante
su vida útil.
Sello temporal de caducidad (ETS,
Expiration Time Stamp) es específico para soportar la noción de
persistencia de objeto. Un objeto, tras ser presentado, se guarda en
el decodificador (caché) hasta un momento dado por el sello ETS. Un
objeto de este tipo puede utilizarse múltiples veces antes de que
expire el sello ETS. Un objeto PO con un sello ETS caducado ya no
está disponible para el decodificador.
Base temporal de objeto (OTB, Object Time
Base) define la noción de tiempo de un codificador de objeto AV
dado. Diferentes objetos pueden pertenecer a diferentes bases
temporales. El terminal AV adapta estas bases temporales a la base
local, tal como se especifica en el modelo de verificación MSDL.
Referencia de reloj de objeto (OCR,
Object Clock Reference) puede utilizarse si es necesario transmitir
la velocidad de la base OTB al decodificador. Mediante este
mecanismo, las bases OTB pueden recuperarse/adaptarse en el terminal
AV.
Parámetros de composición se utilizan
para componer una escena (colocar un objeto en una escena). Éstos
incluyen el desplazamiento de la esquina superior izquierda al marco
de presentación, ángulos de rotación, factores de zoom, etc.
Prioridad indica la prioridad de un
objeto para la transmisión, decodificación y visualización. MPEG4
admite 32 niveles de prioridad. Los números inferiores indican
prioridades más altas.
Indicador de persistencia (PI,
Persistence Indicador) indica si un objeto es persistente.
Indicador de continuación (CI,
Continuation Indicador) indica el final de un objeto en el paquete
actual (o continuación).
Agrupamiento de objetos facilita
operaciones que van a aplicarse a un conjunto de objetos con una
única operación. Una característica de este tipo puede utilizarse
para minimizar la cantidad de información de composición enviada,
así como para soportar la composición jerárquica de escenas
basándose en escenas secundarias independientes. El compositor
maneja los objetos componentes como un grupo. En la figura 2c se
muestra la estructura de un paquete de composición compuesto (CCP,
Compound Composition Packet).
Estructura del flujo de bits incluye
paquetes de composición de objetos para describir la composición y
comprobar la presentación de esos paquetes, y paquetes de datos de
objeto que contienen los datos para los objetos. Una escena está
compuesta por un conjunto de paquetes de composición. El flujo de
bits admite la representación de escenas como una jerarquía mediante
el uso de objetos de composición compuestos (CCP), también conocida
como jerarquía de nodo. Un CCP permite combinar objetos de
composición para crear escenas audiovisuales complejas.
Paquete de datos de objeto:
Identificador de objeto - mínimo 10 bits (por
defecto)
CI y PI podrían combinarse:
00 - comienzo no persistente
01 - comienzo persistente
10 - continuación
11 - fin de objeto
Prioridad: 5 bits, sólo presentes si CI/PI es
0b00 ó 0b01.
ETS: 30 bits, presentes si CI/PI es 0b01.
Para la codificación de vídeo basada en la
predicción, se indica tipo_VOP mediante dos bits (00 (I), 01 (P),
10 (B), 11 (PB)), facilitando la edición.
\vskip1.000000\baselineskip
Paquete de composición de
objeto
\newpage
Parámetros de composición se definen en
la sección 2 del modelo de verificación MSDL, MPEG N1483, Systems
Working, borrador V2.0.
Paquete de composición
compuesto
Paquete de configuración de
escena (SCP, Scene Configuration Packet) se utiliza para cambiar
la anchura y altura de referencia de la escena, para vaciar la
memoria intermedia y para otras funciones de configuración. El tipo
de objeto para paquetes SCP es 0b00.0000. Esto permite 1024 paquetes
de configuración diferentes. El número de objeto 0b00.0000.0000
(identificador de objeto 0X0000) se define para el uso al vaciar las
memorias intermedias del
terminal.
Las memorias intermedias del terminal AV se
descargan empleando indicadores Descargar_Caché y Actualizar_escena.
Al utilizar la arquitectura jerárquica de escena, el gráfico de
escena actual se descarga y el terminal carga la nueva escena desde
el flujo de bits. El uso de indicadores permite guardar la
estructura de escena actual, en lugar de alinearla. Estos
indicadores se utilizan para actualizar la anchura y altura de la
escena de referencia cada vez que comienza una nueva escena. Si está
ajustado el Indicador_descargar_caché, se descarga la memoria caché
eliminando los objetos (si hay alguno). Si está ajustado el
Indicador_actualizar_escena, existen dos posibilidades: (i) está
ajustado el indicador_descargar_caché que implica que ya no se
utilizarán más los objetos de la memoria caché; (ii) no está
ajustado el indicador_descargar_caché, la nueva escena que está
introduciéndose (una acción de edición en el flujo de bits) divide
la escena actual y los objetos de la escena se utilizarán después
del final de la nueva escena. El sello ETS de los objetos, si está
presente, se detendrá durante la duración de la nueva escena
introducida. El comienzo de la siguiente escena se indica mediante
otro paquete de configuración de escena.
Se define una jerarquía de nodos que describe
una escena. Los paquetes de configuración de escena también pueden
utilizarse para definir una jerarquía de escena que permite una
descripción de escenas como una jerarquía de objetos AV. Cada uno
de los nodos en un gráfico de este tipo es un agrupamiento de nodos
que agrupa las ramas y/u otros nodos del gráfico en un objeto AV
compuesto. Cada nodo (rama) tiene un identificador único seguido de
sus parámetros, tal como se muestra en la figura 3.
Tal como se ilustra en la figura 4, las entradas
de la tabla asocian los flujos elementales de objetos en los canales
lógicos con los nodos en una escena jerárquica. Los identificadores
de los flujos son únicos, pero no así los identificadores de los
nodos. Esto implica que más de un flujo puede asociarse con el mismo
nodo.
La figura 5 ilustra la actualización de nodos en
la jerarquía de la escena modificando los parámetros específicos del
nodo. El propio gráfico puede actualizarse añadiendo/eliminando
nodos en el gráfico. El tipo de actualización del paquete indica el
tipo de actualización que va a llevarse a cabo en el gráfico.
La realización descrita a continuación incluye
un flujo de bits AV basado en objeto y una arquitectura de terminal.
El diseño del flujo de bits especifica, en un formato binario, la
forma en que se representan los objetos AV y cómo van a componerse.
La estructura del terminal AV especifica la forma de decodificar y
visualizar los objetos en el flujo de bits binario.
Adicionalmente a la figura 1 y haciendo
referencia específicamente a la figura 6, la entrada al
demultiplexor 1 es un flujo de bits basado en objeto tal como un
flujo de bits MPEG-4 que consiste en objetos AV y su
información de composición multiplexada en canales lógicos (LC). La
composición de objetos en una escena puede especificarse como una
colección de objetos con especificación de composición
independiente, o como un gráfico de escenas jerárquico. La
información de composición y control se incluye en la capa LC0. La
información de control incluye instrucciones de control para
actualizar gráficos de escena, memorias intermedias de decodificador
de reinicio, etc. Los canales lógicos 1 y anteriores contienen la
fecha de los objetos. El sistema incluye un controlador (o
"ejecutivo") 2 que controla el funcionamiento del terminal
AV.
El terminal incluye adicionalmente memorias
intermedias 3, decodificadores de objetos AV 4, memorias intermedias
4' para datos decodificados, un elemento de composición 5, una
pantalla de visualización 6 y una memoria caché de objetos 7. El
flujo de bits de entrada puede leerse desde una conexión de red o
desde un dispositivo de almacenamiento local, tal como un DVD,
CD-ROM o disco duro informático. La capa LC0 que
contiene la información de composición se alimenta al controlador.
El demultiplexor DMUX almacena los objetos en la capa LC1 y por
encima, en la ubicación de la memoria intermedia especificada por el
controlador. En el caso del suministro de la red, el codificador y
el servidor del flujo cooperan para garantizar que no se aporta un
flujo en exceso o por defecto a las memorias de objetos de entrada.
Los objetos de datos codificados se almacenan en las memorias
intermedias de datos de entrada hasta que son leídas por los
decodificadores en su periodo de decodificación, dado normalmente
por un sello temporal de decodificación asociado. Antes de escribir
un objeto de datos a la memoria intermedia, el demultiplexor DMUZ
elimina los sellos temporales y otros encabezamientos del paquete de
datos de objeto y los transmite al controlador para la señalización
de los decodificadores y memorias intermedias de entrada adecuados.
Los decodificadores, al ser señalizados por el controlador,
decodifican los datos en las memorias intermedias de entrada y los
almacenan en las memorias intermedias de salida del decodificador.
El terminal AV también trata la entrada externa, tal como, la
interacción de un usuario.
En la memoria caché de objetos 7 los objetos se
almacenan para el uso posterior a su tiempo de presentación inicial.
Estos objetos permanecen en la memoria caché incluso si se elimina
el nodo asociado del gráfico de la escena, pero sólo se eliminan al
expirar un intervalo de tiempo asociado denominado "sello temporal
de expiración". Esta característica puede utilizarse en
presentaciones en las que un objeto se utiliza repetidamente en una
sesión. La composición asociada con estos objetos pude actualizarse
con mensajes de actualización adecuados. Por ejemplo, puede
descargarse el logotipo de la estación de radiodifusión al comienzo
de la presentación y puede utilizarse la misma copia para la
visualización repetida a lo largo de una sesión. Las actualizaciones
de composición subsiguientes pueden cambiar la posición del logotipo
en la pantalla de visualización. Los objetos que se usan nuevamente
después de su primer tiempo de presentación pueden denominarse
objetos persistentes.
El controlador del sistema controla la
decodificación y reproducción de flujos de bits en el terminal AV.
En el inicio, a partir de una interacción de usuario o al buscar una
sesión en la dirección de red por defecto, el controlador SC
inicializa primero el demultiplexor DMUX para la lectura desde un
dispositivo de almacenamiento local o un puerto de red. El sistema
lógico de control se carga en la memoria RAM del programa en el
momento de la inicialización. El decodificador de instrucciones lee
las instrucciones del programa y las ejecuta. La ejecución puede
implicar la lectura de los datos desde las memorias intermedias de
entrada (datos de composición o datos externos), inicialización de
los temporizadores de objetos, carga o actualización de las tablas
de objeto en la memoria RAM, carga de temporizadores de objetos o
señalización de control.
La figura 7 muestra el controlador del sistema
con mayor detalle. El demultiplexor DMUX lee el flujo de datos de
entrada y proporciona al controlador los datos de composición en la
capa LC0. Los datos de composición comienzan con la descripción de
la primera escena de la presentación AV. Esta escena puede
describirse como una recopilación jerárquica de objetos que utilizan
paquetes de composición compuestos, o como una recopilación
independiente de paquetes de composición de objetos. Una tabla que
asocia los flujos elementales con los nodos en la descripción de la
escena sigue directamente la descripción de la escena. El
controlador carga los identificadores de objeto (identificadores de
flujo) en la lista de objetos y la lista de representación que se
mantienen en la memoria RAM de datos. La lista de representación
contiene la lista de objetos que han de representarse en el
dispositivo de visualización. Un objeto que queda deshabilitado por
la interacción de un usuario se elimina de la lista de
representación. Una instrucción de eliminación de nodo que se envía
a través de un paquete de control de composición provoca la
eliminación de los identificadores correspondientes del objeto de la
lista de objetos. La jerarquía de nodos también se mantiene en la
memoria RAM y se actualiza cada vez que se recibe una actualización
de la composición.
El decodificador de composición lee datos de la
memoria intermedia externa de datos y composición y los convierte en
un formato que el decodificador de instrucciones comprende. La
entrada externa incluye la interacción del usuario para seleccionar
objetos, deshabilitar y habilitar objetos y ciertas operaciones
predeterminadas en los objetos. Durante la ejecución del programa se
forman dos listas en la memoria RAM de datos. La lista de objetos,
que contiene una lista de objetos (identificadores de objeto)
tratados actualmente por los decodificadores y una lista de
reproducción que contiene la lista de objetos activos en la escena.
Estas listas se actualizan de forma dinámica al recibirse la
información de composición. Por ejemplo, si un usuario elige ocultar
un objeto transmitiendo una instrucción a través de la entrada
externa, el objeto se elimina de la lista de reproducción hasta que
el usuario lo especifique. También ésta es la forma en que el
sistema trata la entrada externa. Cada vez que se produce alguna
interacción externa, el decodificador de composición lee la memoria
intermedia de datos externa y lleva a cabo la operación
solicitada.
El controlador SC también mantiene la
temporización de cada objeto AV para indicarle a los decodificadores
y memorias intermedias de los decodificadores el tiempo de
decodificación y presentación. La información de temporización para
los objetos AV se especifica en términos de su base temporal. El
terminal utiliza el reloj del sistema para convertir la base
temporal de un objeto en el tiempo del sistema. Para objetos que no
necesitan decodificación, sólo son necesarios temporizadores de
presentación. Estos temporizadores se cargan con los sellos
temporales de decodificación y presentación para ese objeto AV. El
controlador obtiene los sellos temporales del demultiplexor DMUX
para cada objeto. Cuando expira un temporizador de decodificación
para un objeto, se le indica al decodificador apropiado que lea
datos de las memorias intermedias de entrada y que inicie el proceso
de decodificación. Cuando expira un temporizador de presentación,
los datos decodificados para ese objeto se transfieren a la memoria
intermedia de marcos para la visualización. Podría utilizarse un
enfoque dual de las memorias intermedia para permitir la escritura
en una memoria intermedia de marcos mientras se visualiza en el
monitor el contenido de la segunda memoria intermedia. El
decodificador de instrucciones también puede reiniciar el
demultiplexor DMUX o las memorias intermedias de entrada mediante la
indicación de un reinicio, lo cual los inicializa al estado por
defecto.
La figura 8 muestra el flujo de información en
el controlador. Para mantener la figura sencilla las operaciones
realizadas por el decodificador de instrucciones se muestran en
grupos. Los tres grupos se refieren, respectivamente, a
modificaciones de propiedades de objetos, la temporización de
objetos y la señalización.
Estas operaciones tratan los identificadores de
objetos, también denominados "identificadores de flujos
elementales". Cuando se carga inicialmente una escena, se forma
un gráfico de la escena con los identificadores de los objetos de la
escena. El controlador también forma y mantiene una lista de los
objetos de la escena (lista de objetos) y objetos activos en el
objeto procedente de la lista de representación. Otras operaciones
ajustan y configuran las propiedades de los objetos, tales como los
parámetros de composición cuando el terminal recibe un paquete de
composición.
Este grupo de operaciones trata la gestión de
temporizadores de objetos para la sincronización, presentación y
decodificación. Un sello temporal de objeto, especificado en
términos de su base temporal de objeto, se convierte en tiempo del
sistema y se ajusta el tiempo de presentación y decodificación de
ese objeto. Estas operaciones también ajustan y reajustan los sellos
temporales de expiración para objetos persistentes.
Las operaciones de señalización controlan el
funcionamiento global del terminal. Mediante la señalización del
controlador se ajustan, reajustan y operan varios componentes del
terminal. El controlador comprueba los tiempos de decodificación y
presentación de los objetos en la lista de representación y se los
indica de forma correspondiente a las memorias intermedias de marcos
de presentación y los decodificadores. También inicializa el
demultiplexor DMUX para la lectura desde una red o un dispositivo de
almacenamiento local. A petición del controlador, los
decodificadores leen los datos procedentes de las memorias
intermedias de entrada y transmiten los datos decodificados a las
memorias intermedias de salida del decodificador. Los datos
decodificados se pasan al dispositivo de presentación cuando lo
señaliza el controlador.
Claims (18)
1. Método para visualizar datos de
vídeo/audiovisuales basados en objetos, que comprende lo
siguiente:
- a)
- recibir, a lo largo del tiempo, una pluralidad de objetos de vídeo/audiovisuales e información de composición para los objetos, accediendose a dichos objetos de vídeo/audiovisuales y a dicha información de composición para dichos objetos de vídeo/audiovisuales en canales lógicos separados;
- b)
- almacenar en una memoria caché (3) al menos uno de dichos objetos;
- c)
- emplear dicha información de composición para componer (5) escenas a partir de dichos objetos incluyendo uno de los objetos almacenados en la memoria caché; y
- d)
- visualizar (5) las escenas compuestas;
caracterizado
porque
al menos uno de dichos objetos comprende un
objeto persistente, presentando dicho objeto persistente un periodo
de vida que se extiende más allá de su tiempo de presentación
inicial, hasta un tiempo de expiración, y en el que un dicho objeto
persistente utilizado repetidamente en una sesión se actualiza con
mensajes de actualización adecuados.
2. Método según la reivindicación 1, en el que
un sello temporal de expiración proporciona la vida de dicho objeto
persistente, en el que el objeto persistente no está disponible
después de transcurrido dicho sello temporal de expiración.
3. Método según la reivindicación 1, en el que
un dicho objeto persistente se utiliza múltiples veces en dichas
escenas.
4. Método según la reivindicación 1, en el que
dichos objetos de vídeo/audiovisuales e información de composición
para los objetos se disponen en una estructura de flujo de bits que
comprende lo siguiente:
- paquetes de composición de objetos para describir la composición y controlar la presentación de dichos paquetes; y
- paquetes de datos de objeto que contienen los datos para dichos objetos.
5. Método según la reivindicación 1, en el que
al menos uno de los objetos se recibe a partir de una conexión de
red.
6. Método según la reivindicación 1, en el que
al menos uno de los objetos se recibe desde una memoria local.
7. Método según la reivindicación 1, en el que
al menos uno de los objetos se recibe a partir de una memoria local
y al menos uno de los objetos se recibe a partir de una conexión de
red, y en el que las escenas compuestas comprenden uno y otro
objeto.
8. Método según la reivindicación 1, que
comprende adicionalmente el responder a la entrada interactiva de
usuario.
9. Método según la reivindicación 2, en el que
dicho objeto persistente se almacena en una memoria caché de objeto
(7) para usar más allá de un tiempo de presentación inicial durante
el cual dichos objetos permanecen en la memoria caché (7) hasta la
expiración de dicho sello temporal de expiración.
10. Método según la reivindicación 1, en el que
un indicador de persistencia indica si un dicho objeto es un dicho
objeto persistente o no.
11. Método según la reivindicación 4, en el que
un dicho paquete de datos de objeto comprende un indicador de
persistencia que indica si un dicho objeto comprende un dicho objeto
persistente.
12. Método según la reivindicación 4, en el que
dicho flujo de bits admite la representación de dichas escenas como
una jerarquía mediante el empleo de objetos de composición de
instrucciones.
13. Método según la reivindicación 4, en el que
entradas de tabla asocian dichos flujos de objeto elementales en
dichos canales lógicos con nodos en una escena jerárquica.
14. Aparato para visualizar datos de
vídeo/audiovisuales basados en objetos que comprende:
- (a)
- un medio controlador (2) para controlar la adquisición a lo largo del tiempo de una pluralidad de objetos de vídeo/audiovisuales e información de composición para los objetos, accediéndose a dichos objetos de vídeo/audiovisuales y a dicha información de composición para dichos objetos de vídeo/audiovisuales en canales lógicos separados.
- (b)
- un medio de memoria caché (3) para almacenar al menos un dicho objeto;
- (c)
- medios de composición (5), acoplados con la memoria (3) caché, para componer escenas a partir de dichos objetos de vídeo que incluyen uno de los objetos almacenados en la memoria caché; y
- (d)
- un medio de visualización (6) para visualizar una dicha escena;
caracterizado
porque
al menos uno de dichos objetos comprende un
objeto persistente que presenta un periodo de vida que se extiende
más allá de su tiempo de presentación inicial, hasta un tiempo de
expiración, y en el que un dicho objeto persistente que se utiliza
repetidamente en una sesión se actualiza con los mensajes de
actualización adecuados.
15. Aparato de la reivindicación 14 que
comprende un procesador que está instruido para lo siguiente:
- (a)
- controlar la adquisición a lo largo del tiempo de una pluralidad de objetos de vídeo/audiovisuales e información de composición para los objetos, accediéndose a dichos objetos de vídeo/audiovisuales y dicha información de composición en canales lógicos separados;
- (b)
- almacenar al menos uno de los objetos;
- (c)
- componer (5) escenas a partir de dichos objetos de vídeo que incluyen el objeto almacenado en la memoria caché; y
- (d)
- visualizar (6) las escenas compuestas;
caracterizado
porque
al menos uno de dichos objetos comprende un
objeto persistente y dicho objeto persistente se utiliza múltiples
veces en dichas escenas.
16. Aparato de la reivindicación 14 que
comprende lo siguiente:
- (a)
- medios (1) conectados a través de un canal lógico a dicho medio (2) para controlar la adquisición a lo largo del tiempo de una pluralidad de objetos de vídeo/audiovisuales e información de composición para los objetos;
- (b)
- medios (4) de decodificación para leer y decodificar dichos datos de dicha memoria caché (3);
- (c)
- medios de memoria intermedia (4) para almacenar datos decodificados; y
- (d)
- medios de memoria (7) para almacenar objetos de vídeo/audiovisuales más allá de su tiempo de presentación inicial.
17. Aparato de la reivindicación 14, en el que a
dichos objetos de vídeo/audiovisuales basados en objetos se accede
como a una pluralidad de flujos de objeto elementales en canales
lógicos.
18. Aparato de la reivindicación 16, en el que
dicho objeto persistente se almacena en una memoria caché de objetos
(7) para usar más allá de dicho tiempo de presentación inicial y en
el que dicho objeto permanece en dicha memoria caché (7) hasta que
expire un sello temporal de expiración.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US3777997P | 1997-02-14 | 1997-02-14 | |
| US37779 | 1997-02-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2266396T3 true ES2266396T3 (es) | 2007-03-01 |
Family
ID=21896290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES02075022T Expired - Lifetime ES2266396T3 (es) | 1997-02-14 | 1998-02-13 | Terminal audio - visual basado en objetos y estructura de flujo de bits correspondiente. |
Country Status (9)
| Country | Link |
|---|---|
| US (9) | US8421923B2 (es) |
| EP (3) | EP1010318A4 (es) |
| JP (1) | JP4393591B2 (es) |
| AT (1) | ATE331390T1 (es) |
| CA (1) | CA2281538C (es) |
| DE (1) | DE69835039T2 (es) |
| ES (1) | ES2266396T3 (es) |
| HK (1) | HK1053929A1 (es) |
| WO (1) | WO1998036559A1 (es) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1010318A4 (en) | 1997-02-14 | 2001-01-31 | Univ Columbia | OBJECT-BASED AUDIOVISUAL TERMINAL AND BINARY TRAIN STRUCTURE |
| US6295380B1 (en) * | 1997-02-27 | 2001-09-25 | Matsushita Electric Industrial Co., Ltd. | Object data processing apparatus, object data recording apparatus, data storage media, data structure for transmission |
| US7920143B1 (en) * | 1997-03-27 | 2011-04-05 | At&T Intellectual Property Ii, L.P. | Method for defining animation parameters for an animation definition interface |
| US6535530B1 (en) | 1997-07-23 | 2003-03-18 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for demultiplexing multiplexed data |
| US7630570B1 (en) * | 1998-05-06 | 2009-12-08 | At&T Intellectual Property Ii, L.P. | Method and apparatus to prioritize video information during coding and decoding |
| US6580756B1 (en) * | 1998-12-11 | 2003-06-17 | Matsushita Electric Industrial Co., Ltd. | Data transmission method, data transmission system, data receiving method, and data receiving apparatus |
| US7000245B1 (en) | 1999-10-29 | 2006-02-14 | Opentv, Inc. | System and method for recording pushed data |
| US8250617B2 (en) | 1999-10-29 | 2012-08-21 | Opentv, Inc. | System and method for providing multi-perspective instant replay |
| US6970641B1 (en) | 2000-09-15 | 2005-11-29 | Opentv, Inc. | Playback of interactive programs |
| CA2388789A1 (en) * | 1999-10-29 | 2001-05-10 | Opentv, Corp. | System and method for recording pushed data |
| JP2001189713A (ja) | 1999-12-28 | 2001-07-10 | Toshiba Corp | データ伝送装置およびデータ伝送方法 |
| CN1393094A (zh) | 2000-08-16 | 2003-01-22 | 皇家菲利浦电子有限公司 | 多媒体应用程序的运行方法 |
| US6496217B1 (en) * | 2001-06-12 | 2002-12-17 | Koninklijke Philips Electronics N.V. | Video communication system using model-based coding and prioritzation techniques |
| JP2003018580A (ja) * | 2001-06-29 | 2003-01-17 | Matsushita Electric Ind Co Ltd | コンテンツ配信システムおよび配信方法 |
| US6814842B1 (en) | 2001-12-14 | 2004-11-09 | Networks Associates Technology, Inc. | System and method for organizing objects of a voice call in a tree representation |
| US6604139B1 (en) | 2001-12-14 | 2003-08-05 | Networks Associates Technology, Inc. | Voice protocol filtering system and method |
| US6970823B1 (en) | 2001-12-14 | 2005-11-29 | Networks Associates Technology, Inc. | System, method and computer program product for monitoring voice application calls over a network |
| KR100497497B1 (ko) * | 2001-12-27 | 2005-07-01 | 삼성전자주식회사 | 엠펙 데이터의 송수신시스템 및 송수신방법 |
| JP4408677B2 (ja) * | 2002-11-29 | 2010-02-03 | キヤノン株式会社 | 受信装置及び受信方法 |
| EP1499131A1 (en) | 2003-07-14 | 2005-01-19 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for decoding a data stream in audio video streaming systems |
| US7711840B2 (en) * | 2003-10-23 | 2010-05-04 | Microsoft Corporation | Protocol for remote visual composition |
| JP2006261860A (ja) * | 2005-03-15 | 2006-09-28 | Toshiba Corp | 情報再生方法及び情報再生装置 |
| KR100929073B1 (ko) | 2005-10-14 | 2009-11-30 | 삼성전자주식회사 | 휴대 방송 시스템에서 다중 스트림 수신 장치 및 방법 |
| KR100733965B1 (ko) | 2005-11-01 | 2007-06-29 | 한국전자통신연구원 | 객체기반 오디오 전송/수신 시스템 및 그 방법 |
| KR100942142B1 (ko) * | 2007-10-11 | 2010-02-16 | 한국전자통신연구원 | 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치 |
| CN101859333A (zh) * | 2010-05-17 | 2010-10-13 | 山东大学 | 数字电视处理芯片多核系统片上网络拓扑结构 |
| WO2014175668A1 (ko) | 2013-04-27 | 2014-10-30 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 방법 |
| US9286383B1 (en) | 2014-08-28 | 2016-03-15 | Sonic Bloom, LLC | System and method for synchronization of data and audio |
| US11130066B1 (en) | 2015-08-28 | 2021-09-28 | Sonic Bloom, LLC | System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates |
| US20170344523A1 (en) * | 2016-05-25 | 2017-11-30 | Samsung Electronics Co., Ltd | Method and apparatus for presentation customization and interactivity |
| WO2022211459A1 (ko) * | 2021-04-02 | 2022-10-06 | 현대자동차주식회사 | 세그멘테이션을 이용하는 비디오 코딩방법 및 장치 |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4899299A (en) * | 1987-12-23 | 1990-02-06 | International Business Machines Corporation | Method for managing the retention of electronic documents in an interactive information handling system |
| FR2661061B1 (fr) * | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
| JP2654324B2 (ja) * | 1991-12-31 | 1997-09-17 | インターナショナル・ビジネス・マシーンズ・コーポレイション | マルチメディア・データ処理システム及びマルチメディア・データ処理システムの動作方法 |
| US5590252A (en) * | 1992-04-29 | 1996-12-31 | Canon Kabushiki Kaisha | Video processor system and audio processor system |
| JPH07325934A (ja) * | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
| US5450140A (en) * | 1993-04-21 | 1995-09-12 | Washino; Kinya | Personal-computer-based video production system |
| JP3427416B2 (ja) * | 1993-05-25 | 2003-07-14 | ソニー株式会社 | 多重化データ分離装置および方法 |
| US5557342A (en) * | 1993-07-06 | 1996-09-17 | Hitachi, Ltd. | Video display apparatus for displaying a plurality of video signals having different scanning frequencies and a multi-screen display system using the video display apparatus |
| US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
| US5548346A (en) * | 1993-11-05 | 1996-08-20 | Hitachi, Ltd. | Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method |
| US5852669A (en) * | 1994-04-06 | 1998-12-22 | Lucent Technologies Inc. | Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video |
| US5592602A (en) * | 1994-05-17 | 1997-01-07 | Macromedia, Inc. | User interface and method for controlling and displaying multimedia motion, visual, and sound effects of an object on a display |
| DE69531401D1 (de) * | 1994-09-08 | 2003-09-04 | Andrew Welch | Verfahren und apparat zum bestimmen der lage eines reflektierenden objekts innerhalb eines videofeldes |
| US5781184A (en) * | 1994-09-23 | 1998-07-14 | Wasserman; Steve C. | Real time decompression and post-decompress manipulation of compressed full motion video |
| US5541662A (en) | 1994-09-30 | 1996-07-30 | Intel Corporation | Content programmer control of video and data display using associated data |
| US5760838A (en) * | 1994-09-30 | 1998-06-02 | Intel Corporation | Method and system for configuring a display |
| DE69530908T2 (de) * | 1994-12-20 | 2004-05-19 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zur Bildkodierung |
| US5826102A (en) * | 1994-12-22 | 1998-10-20 | Bell Atlantic Network Services, Inc. | Network arrangement for development delivery and presentation of multimedia applications using timelines to integrate multimedia objects and program objects |
| US5943046A (en) * | 1995-07-19 | 1999-08-24 | Intervoice Limited Partnership | Systems and methods for the distribution of multimedia information |
| US5896176A (en) * | 1995-10-27 | 1999-04-20 | Texas Instruments Incorporated | Content-based video compression |
| US5784620A (en) * | 1995-11-15 | 1998-07-21 | Philips Electronics North America Corp. | Object-oriented system having shared-persistent class pattern |
| KR100211056B1 (ko) * | 1995-12-23 | 1999-07-15 | 이계철 | 다수개의 비디오에 대한 윈도우 제어방법 |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5778098A (en) * | 1996-03-22 | 1998-07-07 | Microsoft Corporation | Sprite coding |
| KR100209412B1 (ko) * | 1996-05-10 | 1999-07-15 | 전주범 | 비디오 신호의 유호 색차 성분 부호화 방법 |
| US6084912A (en) * | 1996-06-28 | 2000-07-04 | Sarnoff Corporation | Very low bit rate video coding/decoding method and apparatus |
| US5880792A (en) * | 1997-01-29 | 1999-03-09 | Sarnoff Corporation | Command and control architecture for a digital studio |
| US6134269A (en) * | 1996-09-25 | 2000-10-17 | At&T Corp | Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video |
| US6055330A (en) * | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
| US6512775B1 (en) * | 1996-11-08 | 2003-01-28 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for a programmable bitstream parser for audiovisual and generic decoding systems |
| US5872565A (en) * | 1996-11-26 | 1999-02-16 | Play, Inc. | Real-time video processing system |
| US6047088A (en) * | 1996-12-16 | 2000-04-04 | Sharp Laboratories Of America, Inc. | 2D mesh geometry and motion vector compression |
| JP2001507541A (ja) * | 1996-12-30 | 2001-06-05 | シャープ株式会社 | スプライトベースによるビデオ符号化システム |
| US6148026A (en) * | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
| US6028539A (en) * | 1997-02-07 | 2000-02-22 | Matsushita Electric Industrial Co., Ltd. | Buffer control method, and decoding apparatus performing buffer control |
| EP1010318A4 (en) | 1997-02-14 | 2001-01-31 | Univ Columbia | OBJECT-BASED AUDIOVISUAL TERMINAL AND BINARY TRAIN STRUCTURE |
| US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
| JP4726097B2 (ja) * | 1997-04-07 | 2011-07-20 | エイ・ティ・アンド・ティ・コーポレーション | 適応制御を行うことができるｍｐｅｇコード化オーディオ・ビジュアル対象物をインターフェースで連結するためのシステムおよび方法 |
| CA2257566C (en) * | 1997-04-07 | 2002-01-01 | At&T Corp. | System and method for generation and interfacing of bitstreams representing mpeg-coded audiovisual objects |
| JP4832619B2 (ja) * | 1997-04-07 | 2011-12-07 | エイ・ティ・アンド・ティ・コーポレーション | 対象物をベースとするオーディオ・ビジュアル情報を処理するためのシステムおよび方法 |
| GB9712724D0 (en) * | 1997-06-18 | 1997-08-20 | Holmes Steven | Method and apparatus for interaction with broadcast television content |
| US6233356B1 (en) * | 1997-07-08 | 2001-05-15 | At&T Corp. | Generalized scalability for video coder based on video objects |
| EP0983586A4 (en) * | 1997-10-15 | 2001-01-03 | At & T Corp | IMPROVED OBJECT-ORIENTED AUDIOVISUAL INFORMATION PROCESSING SYSTEM AND METHOD |
| US6414678B1 (en) * | 1997-11-20 | 2002-07-02 | Nintendo Co., Ltd. | Image creating apparatus and image display apparatus |
| US7199836B1 (en) * | 1998-02-13 | 2007-04-03 | The Trustees Of Columbia University In The City Of New York | Object-based audio-visual terminal and bitstream structure |
| US6621932B2 (en) * | 1998-03-06 | 2003-09-16 | Matsushita Electric Industrial Co., Ltd. | Video image decoding and composing method and video image decoding and composing apparatus |
| US7149770B1 (en) * | 1999-01-29 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and system for client-server interaction in interactive communications using server routes |
| JP4151158B2 (ja) * | 1999-06-14 | 2008-09-17 | ソニー株式会社 | シーン記述生成装置及び方法 |
-
1998
- 1998-02-13 EP EP98906337A patent/EP1010318A4/en not_active Withdrawn
- 1998-02-13 JP JP53587898A patent/JP4393591B2/ja not_active Expired - Lifetime
- 1998-02-13 EP EP02077707A patent/EP1276326A3/en not_active Withdrawn
- 1998-02-13 WO PCT/US1998/002668 patent/WO1998036559A1/en not_active Application Discontinuation
- 1998-02-13 DE DE69835039T patent/DE69835039T2/de not_active Expired - Lifetime
- 1998-02-13 AT AT02075022T patent/ATE331390T1/de not_active IP Right Cessation
- 1998-02-13 CA CA002281538A patent/CA2281538C/en not_active Expired - Lifetime
- 1998-02-13 EP EP02075022A patent/EP1209915B1/en not_active Expired - Lifetime
- 1998-02-13 ES ES02075022T patent/ES2266396T3/es not_active Expired - Lifetime
-
2003
- 2003-07-15 HK HK03105108.5A patent/HK1053929A1/zh unknown
-
2007
- 2007-03-20 US US11/688,368 patent/US8421923B2/en not_active Expired - Fee Related
-
2009
- 2009-06-10 US US12/482,292 patent/US8115873B2/en not_active Expired - Fee Related
-
2010
- 2010-09-20 US US12/885,687 patent/US8531608B2/en not_active Expired - Fee Related
-
2012
- 2012-01-06 US US13/345,208 patent/US8854552B2/en not_active Expired - Fee Related
-
2013
- 2013-02-14 US US13/767,632 patent/US8922717B2/en not_active Expired - Fee Related
- 2013-08-01 US US13/956,860 patent/US8917357B2/en not_active Expired - Fee Related
-
2014
- 2014-09-03 US US14/476,530 patent/US20140368739A1/en not_active Abandoned
- 2014-12-10 US US14/566,396 patent/US20150095040A1/en not_active Abandoned
-
2016
- 2016-08-01 US US15/225,045 patent/US20170069350A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20170069350A1 (en) | 2017-03-09 |
| WO1998036559A1 (en) | 1998-08-20 |
| EP1209915B1 (en) | 2006-06-21 |
| JP2001512637A (ja) | 2001-08-21 |
| US8922717B2 (en) | 2014-12-30 |
| US20150095040A1 (en) | 2015-04-02 |
| EP1010318A4 (en) | 2001-01-31 |
| EP1276326A2 (en) | 2003-01-15 |
| EP1276326A3 (en) | 2003-12-10 |
| JP4393591B2 (ja) | 2010-01-06 |
| ATE331390T1 (de) | 2006-07-15 |
| US8854552B2 (en) | 2014-10-07 |
| US20110007219A1 (en) | 2011-01-13 |
| US20140368739A1 (en) | 2014-12-18 |
| US20130159006A1 (en) | 2013-06-20 |
| US20090245389A1 (en) | 2009-10-01 |
| US20130314602A1 (en) | 2013-11-28 |
| US8917357B2 (en) | 2014-12-23 |
| EP1010318A1 (en) | 2000-06-21 |
| EP1209915A2 (en) | 2002-05-29 |
| DE69835039D1 (de) | 2006-08-03 |
| EP1209915A3 (en) | 2003-07-09 |
| DE69835039T2 (de) | 2007-07-12 |
| CA2281538C (en) | 2006-01-03 |
| US20120105727A1 (en) | 2012-05-03 |
| HK1053929A1 (zh) | 2003-11-07 |
| US8115873B2 (en) | 2012-02-14 |
| US8421923B2 (en) | 2013-04-16 |
| CA2281538A1 (en) | 1998-08-20 |
| US8531608B2 (en) | 2013-09-10 |
| US20070165139A1 (en) | 2007-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2266396T3 (es) | Terminal audio - visual basado en objetos y estructura de flujo de bits correspondiente. | |
| EP0864228B1 (en) | Method for display time stamping and synchronization of multiple video object planes | |
| JP4819126B2 (ja) | 携帯放送システムにおける多重ストリーム受信装置及び方法 | |
| US7199836B1 (en) | Object-based audio-visual terminal and bitstream structure | |
| EP0932307B1 (en) | Compressed video and audio transport stream multiplexer | |
| US20050238057A1 (en) | Multiplexing device and demultiplexing device | |
| US7327790B1 (en) | MPEG on screen display coder for DTV interfaces | |
| MXPA02008393A (es) | Dispositivos y proceso de desmultiplexion para al menos dos corrientes de transporte y una corriente digital correspondiente. | |
| US20100186464A1 (en) | Laundry refresher unit and laundry treating apparatus having the same | |
| KR100876462B1 (ko) | 복수개의 터미널로 멀티미디어 신호를 방송하는 방법 | |
| CA2530656C (en) | Method and apparatus for decoding a data stream in audio video streaming systems | |
| EP1613089A1 (en) | Object-based audio-visual terminal and corresponding bitstream structure | |
| JP2007259195A (ja) | 多重化ストリーム変換装置および方法 | |
| JP2005159878A (ja) | データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 | |
| JPH09130354A (ja) | パケット多重方法、パケット生成方法、多重データ復号方法および多重データ復号装置 |