ES2491067T3 - Medio de grabación, dispositivo de reproducción y método de grabación - Google Patents

Medio de grabación, dispositivo de reproducción y método de grabación Download PDF

Info

Publication number
ES2491067T3
ES2491067T3 ES12174659.8T ES12174659T ES2491067T3 ES 2491067 T3 ES2491067 T3 ES 2491067T3 ES 12174659 T ES12174659 T ES 12174659T ES 2491067 T3 ES2491067 T3 ES 2491067T3
Authority
ES
Spain
Prior art keywords
flow
plane
stream
information
view video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12174659.8T
Other languages
English (en)
Inventor
Wataru Ikeda
Tomoki Ogawa
Taiji Sasaki
Hiroshi Yahata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Application granted granted Critical
Publication of ES2491067T3 publication Critical patent/ES2491067T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Abstract

Un dispositivo de reproducción (200) para reproducir un flujo de vídeo de vista principal, un flujo de vídeo de vista secundaria, un flujo de gráficos y una información de listas de reproducción, en el que el flujo de vídeo de vista principal incluye unos datos de imagen que constituyen una vista principal de una imagen estereoscópica; el flujo de vídeo de vista secundaria incluye unos datos de imagen que constituyen una vista secundaria de la imagen estereoscópica; el flujo de gráficos incluye unos datos de gráficos; la información de listas de reproducción es una información que define unas secciones de reproducción en el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria e incluye una información de control que define un control de desplazamiento que aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en el plano de gráficos (37, 39) del dispositivo de reproducción (200) en el que se dibujan los datos de gráficos cuando el plano de gráficos (37, 39) se superpone con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria del dispositivo de reproducción (200) en el que se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria; y la información de control incluye una información que indica, mediante un número de píxeles, valores de los desplazamientos que se aplicarán al plano de gráficos (37, 39); el dispositivo de reproducción (200) comprende: un descodificador de vídeo (31, 32) que funciona para obtener los datos de imagen que constituyen la vista principal y los datos de imagen que constituyen la vista secundaria mediante la descodificación del flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria; un descodificador de gráficos (36, 38) que funciona para obtener los datos de gráficos mediante la descodificación del flujo de gráficos; el plano de vídeo de vista principal (32, 33) en el que se dibujan los datos de imagen que constituyen la vista principal; el plano de vídeo de vista secundaria (35) en el que se dibujan los datos de imagen que constituyen la vista secundaria; el plano de gráficos (37, 39) en el que se dibujan los datos de gráficos; y una unidad de superposición (5b) que funciona para superponer el plano de gráficos (37, 39) con el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria; en el que la unidad de superposición (5b), de acuerdo con la información de control, aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a las coordenadas horizontales en el plano de gráficos (37, 39), y superpone los planos de gráficos resultantes (37, 39) con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria, respectivamente.

Description

15
25
35
45
55
65
E12174659
07-08-2014
DESCRIPCIÓN
Medio de grabación, dispositivo de reproducción y método de grabación
La presente invención se refiere a una tecnología de reproducción de imágenes de 3D y de 2D.
Las imágenes de 2D, que también se denominan imágenes monoscópicas, se representan por píxeles en un plano X-Y que se aplica a la pantalla de presentación visual del dispositivo de presentación visual. Puede encontrarse un ejemplo de técnica de reproducción de 2D en la literatura de patente 1.
Por el contrario, las imágenes de 3D tienen una profundidad en la dirección del eje Z además de los píxeles en el plano X-Y que se aplica a la pantalla del dispositivo de presentación visual. Las imágenes de 3D se presentan a los espectadores (usuarios) al reproducir de manera simultánea las imágenes de vista izquierda y de vista derecha para que las vean respectivamente los ojos izquierdo y derecho, de tal forma que se pueda producir un efecto estereoscópico. Los usuarios verían, entre los píxeles que constituyen la imagen de 3D, los píxeles con coordenadas de eje Z positivas por delante de la pantalla de presentación visual, y los píxeles con coordenadas de eje Z negativas por detrás de la pantalla de presentación visual. Pueden encontrarse ejemplos de técnicas de reproducción estereoscópica en las literaturas de patente 3 y 4.
Es preferible que un disco óptico que almacena una imagen de 3D tenga compatibilidad como un dispositivo de reproducción que pueda reproducir sólo imágenes de 2D (en lo sucesivo en el presente documento, este dispositivo de reproducción se conoce como “dispositivo de reproducción de 2D”). Esto se debe a que, de otra manera, dos tipos de discos para imágenes de 3D y de 2D tienen que ser producidos de tal forma que el dispositivo de reproducción de 2D pueda reproducir un mismo contenido que aquél almacenado en un disco para imagen de 3D. Esta disposición tendrá un coste más alto. Es en consecuencia necesario proporcionar un disco óptico que almacene una imagen de 3D que se reproduzca como una imagen de 2D por el dispositivo de reproducción de 2D, y como una imagen de 2D o 3D por un dispositivo de reproducción que soporte tanto las imágenes de 3D como 2D (en lo sucesivo en el presente documento, se hace referencia a este dispositivo de reproducción como “dispositivo de reproducción de 2D / 3D”).
La literatura de patente I identificada en lo sucesivo es un ejemplo de documentos de la técnica anterior que describen tecnologías para asegurar la compatibilidad en reproducción entre imágenes de 2D y 3D, con respecto a discos ópticos que almacenan imágenes de 3D.
[Literatura de patente 1]
Patente de Japón con Nº 3935507
[Literatura de patente 2]
EP 1 863 032
[Literatura de patente 3]
EP1 501 316
[Literatura de patente 4]
US 2008/018731
Las imágenes de vista izquierda y de vista derecha que van a usarse en la reproducción estereoscópica se obtienen por la filmación con el uso de una cámara de 3D. La cámara de 3D tiene dos lentes separadas por una distancia que se corresponde con el paralaje de los seres humanos. Cuando las imágenes de vista izquierda y de vista derecha que se han filmado por medio de los dos lentes se reproducen de manera alterna, se crea el paralaje de los seres humanos.
Sin embargo, el subtítulo y el menú no se obtienen por la filmación con el uso de una cámara de 3D, sino que se generan por el proceso de creación después de que se completa la filmación, viendo el vídeo estereoscópico reproducido. Para crear el subtítulo y el menú para cada una de las vistas izquierda y derecha, imaginar cómo aparecerían el subtítulo y el menú durante la reproducción estereoscópica, requiere una gran cantidad de tiempo y de esfuerzo por el personal de creación. En consecuencia, se desea que el proceso para crear el subtítulo y el menú en la producción de un contenido estereoscópico con subtítulo y menú sea lo más eficiente posible. Asimismo, lo lejos que parece que un objeto en movimiento en el vídeo emerge cambia de un momento a otro para cada periodo de trama. De este modo, cuando las profundidades del subtítulo y el menú son fijas, el subtítulo y el menú comúnmente se superponen con una imagen de una persona en el vídeo, dando lugar a una escena tan rara que invitaría a una risa burlona, como es el caso cuando parece que se arroja un cuadro rectangular del menú hacia la persona en la pantalla. Para evitar que se proporcione esta escena extraña, la creación ha de hacerse de manera adecuada incluso si requiere demasiado tiempo y esfuerzo. En el presente caso, los esfuerzos requeridos por la creación podrían reducirse hasta cierto grado al almacenar información de control para la observación estereoscópica del subtítulo y el menú en el flujo de gráficos de tal manera que las profundidades de los gráficos puedan ajustarse de manera automática. Sin embargo, hay tantos como 32 flujos de gráficos que representan el subtítulo y el menú. Algunos de ellos pueden no descodificarse dependiendo del modo de funcionamiento del dispositivo, el estado del dispositivo o la selección por el usuario. Esto
15
25
35
45
55
65
E12174659
07-08-2014
requiere de un proceso derrochador de tener acceso al flujo de gráficos en el cual se almacena la información de control, para obtener la información de control para la visión estereoscópica.
Por lo tanto, un objeto de la presente invención es la provisión de un dispositivo de reproducción para hacer posible que se reproduzca un vídeo estereoscópico de alta calidad sin incrementar la cantidad de tiempo y el esfuerzo requeridos para la creación.
El objeto que se ha descrito en lo que antecede se satisface mediante un dispositivo de reproducción para reproducir un flujo de vídeo de vista principal, un flujo de vídeo de vista secundaria, un flujo de gráficos y una información de listas de reproducción, en el que el flujo de vídeo de vista principal incluye unos datos de imagen que constituyen una vista principal de una imagen estereoscópica; el flujo de vídeo de vista secundaria incluye unos datos de imagen que constituyen una vista secundaria de la imagen estereoscópica; el flujo de gráficos incluye unos datos de gráficos; la información de listas de reproducción es una información que define unas secciones de reproducción en el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria e incluye una información de control que define un control de desplazamiento que aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en el plano de gráficos del dispositivo de reproducción en el que se dibujan los datos de gráficos cuando el plano de gráficos se superpone con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria del dispositivo de reproducción en el que se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria; y la información de control incluye una información que indica, mediante un número de píxeles, valores de los desplazamientos que se aplicarán al plano de gráficos; el dispositivo de reproducción comprende: un descodificador de vídeo que funciona para obtener los datos de imagen que constituyen la vista principal y los datos de imagen que constituyen la vista secundaria mediante la descodificación del flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria; un descodificador de gráficos que funciona para obtener los datos de gráficos mediante la descodificación del flujo de gráficos; el plano de vídeo de vista principal en el que se dibujan los datos de imagen que constituyen la vista principal; el plano de vídeo de vista secundaria en el que se dibujan los datos de imagen que constituyen la vista secundaria; el plano de gráficos en el que se dibujan los datos de gráficos; y una unidad de superposición que funciona para superponer el plano de gráficos con el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria, en el que la unidad de superposición, de acuerdo con la información de control, aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a las coordenadas horizontales en el plano de gráficos, y superpone los planos de gráficos resultantes con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria, respectivamente.
En la estructura que se ha descrito en lo que antecede; se define que la información de control para el control de desplazamiento se ubica en la información de listas de reproducción. Esto hace posible generar fácilmente la información de control para el control de desplazamiento cuando el dispositivo de reproducción funcione con un plano. Esto reduce el trabajo en el proceso de creación en una gran cantidad. La información de control define el control de desplazamiento para el caso en el que el dispositivo de reproducción funciona con un plano. De esta manera, incluso si no hay subtítulos o menús para las vistas izquierda y derecha, una reproducción estereoscópica está disponible sólo si hay un subtítulo o menú. De esta manera, la estructura de la presente invención no sólo reduce la cantidad de tiempo y el esfuerzo requeridos para crear un subtítulo o menú para cada una de las vistas principal y secundaria, sino que puede lograr una reproducción estereoscópica incluso si la memoria en el dispositivo de reproducción tiene un tamaño de un plano como la memoria de planos. Por lo tanto, esta logra tanto una creación eficiente como una reducción de costes en el dispositivo de reproducción.
En el medio de grabación que se ha indicado en lo que antecede, cada uno de los datos de imagen en el flujo de vídeo de vista principal y los datos de imagen en el flujo de vídeo de vista secundaria puede representar una pluralidad de grupos de imágenes, cada uno de la pluralidad de grupos de imágenes puede constituir una pluralidad de tramas, y puede tener información de control, como una secuencia de parámetros, en correspondencia con cada una de la pluralidad de tramas. La secuencia de parámetros puede definir la profundidad de gráficos para cada trama constituida a partir de cada grupo de imágenes en el eje de tiempo del flujo de vídeo. De esta manera es posible definir en una secuencia de parámetros una función Z(t) para calcular, a partir de un tiempo de trama arbitrario “t”, una profundidad “z” que se corresponde con el tiempo de trama “t”.
Cuando la función Z(t) es una función parabólica que tiene el tiempo de trama como una variable, el dispositivo de reproducción puede usar, para el control de desplazamiento, una secuencia de parámetros que se corresponde con la función Z(t) para producir una reproducción de vídeo realista en la cual, por ejemplo, un gráfico que represente una pelota de béisbol venga desde lejos hasta delante de, o se aleje del espectador.
Con la estructura que se ha descrito en lo que antecede, es posible cambiar la profundidad en tiempo real a medida que avanza el punto de reproducción en el eje de tiempo de flujo de vídeo. Por lo tanto, es posible lograr una reproducción estereoscópica diversa de gráficos incluso si no hay materiales de gráficos que se correspondan con los ojos izquierdo y derecho.
Las figuras 1A a 1C muestran una realización del acto de uso del medio de grabación, el dispositivo de reproducción, el dispositivo de presentación visual y las gafas. La figura 2 muestra la cabeza del usuario en el lado izquierdo del dibujo y las imágenes de un esqueleto de
15
25
35
45
55
65
E12174659
07-08-2014
dinosaurio vistas respectivamente por el ojo izquierdo y el ojo derecho del usuario en el lado derecho del dibujo. La figura 3 muestra un ejemplo de las estructuras internas de los flujos de vídeo de vista izquierda y de vista derecha para la visión estereoscópica. Las figuras 4A y 4B muestran cómo se lleva a cabo el control de desplazamiento en el modelo de capa de las memorias de planos en el modo de “1 plano + desplazamiento”. Las figuras 5A a 5C muestran cómo se reproduce una imagen estereoscópica por el control de desplazamiento que se muestra en la figura 4. Las figuras 6A a 6D muestran cómo lograr la visión estereoscópica en el modo de “1 plano + desplazamiento”. La figura 7 muestra la estructura interna del flujo de vista dependiente que está provisto con la información de control para el modo de “1 plano + desplazamiento”. Las figuras 8A a 8C muestran la estructura interna del contenedor de datos de usuario. La figura 9 muestra la sintaxis para describir los metadatos de desplazamiento. Las figuras 10A y 10B muestran un ejemplo de la diferencia entre observaciones provistas por desplazamientos de plano positivos y negativos. La figura 11 es una gráfica en la cual el eje horizontal representa un eje de tiempo, y el eje vertical representa “Plane_offset_value[j] “. La figura 12 es una gráfica en la cual el eje horizontal representa un eje de tiempo, y el eje vertical representa “Plane_offset_value[j]”. La figura 13 muestra un ejemplo de las profundidades definidas por las secuencias de desplazamiento con offset_sequence_id = 1, 2, 3 y 4. Las figuras 14A a 14C muestran la estructura interna del medio de grabación en la realización 1. Las figuras 15A y 15B ilustran cómo se almacena el flujo de vídeo en las secuencias de paquetes de PES. La figura 16 muestra de manera esquemática cómo se multiplexa el TS principal. Las figuras 17A y 17B muestran las estructuras internas del TS principal y el sub-TS. Las figuras 18A a 18D muestran la estructura interna de la información de listas de reproducción. Las figuras 19A y 19B muestran un ejemplo de la tabla de selección de flujos básicos. La figura 20 muestra la estructura interna de la tabla de selección de flujos de extensión. Las figuras 21A a 21C muestran las secuencias de registros de flujos en la tabla de selección de flujos de extensión. La figura 22 muestra qué flujos elementales se desmultiplexan a partir del TS principal y los sub-TS por la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión. La figura 23 muestra cómo se hace referencia a las secuencias de registro de flujo provistas en la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión cuando se lleva a cabo la desmultiplexión que se muestra en la figura 22. La figura 24 muestra el cambio de asignación de los números de flujo. La figura 25 muestra una sintaxis para escribir la tabla de selección de flujos de extensión en un lenguaje de compilador orientado a objetos. La figura 26 muestra la estructura interna del dispositivo de reproducción. Las figuras 27A a 27C muestran qué identificadores de paquete se envían a la unidad de desmultiplexión por la secuencia de registro de flujo combinado. Las figuras 28A a 28C muestran qué identificadores de paquete se envían a la unidad de desmultiplexión por la secuencia de registro de flujo combinado. La figura 29 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción se establece en el modo de presentación de B-D y el dispositivo de reproducción tiene la capacidad B-D. La figura 30 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción se establece en el modo de “1 plano + desplazamiento”. La figura 31 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción se establece en el modo de presentación 2D. La figura 32 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción no tiene la capacidad para el modo de presentación de B-D. La figura 33 muestra el procedimiento de reproducción de listas de reproducción. La figura 34 muestra el procedimiento de selección de flujos. La figura 35 muestra el procedimiento de envío del identificador de paquete que se corresponde con el número de flujo. La figura 36 es un diagrama de flujo que muestra el procedimiento de desplazamiento del plano de PG. La figura 37 es un diagrama de flujo que muestra el procedimiento de desplazamiento del plano de PG cuando el flujo de subtítulo de texto es el objetivo de la reproducción. La figura 38 es un diagrama de flujo que muestra el procedimiento de desplazamiento de plano de IG. La figura 39 es un diagrama de flujo que muestra el procedimiento de desplazamiento de plano de IG cuando el Fixed_offset_during_Popup del STN_table_SS está activo (ON). La figura 40 muestra la correspondencia entre el archivo de 2D / base de archivo y el dependiente de archivo. Las figuras 41A a 41C muestran la correspondencia entre el archivo de flujo intercalado y el archivo de 2D /
15
25
35
45
55
65
E12174659
07-08-2014
base de archivo. La figura 42 muestra la correspondencia entre el archivo de flujo intercalado estereoscópico, el archivo de 2D, la base de archivo y el dependiente de archivo. La figura 43 muestra la lista de reproducción de 2D y la lista de reproducción de 3D. La figura 44 muestra una lista de reproducción generada al añadir una sub-trayectoria a la lista de reproducción de 3D. Las figuras 45A y 45B muestran una lista de reproducción de 3D generada al añadir un indicador de vista base a la lista de reproducción de 3D. La figura 46 es un diagrama de flujo que muestra el procedimiento de reproducción de elementos de reproducción. Las figuras 47A y 47B muestran la estructura interna del archivo de información de clips. La figura 48 muestra una sintaxis de la información de punto de inicio de extensión. Las figuras 49A y 49B muestran la tabla de correlaciones de entradas incluida en el archivo de información de clips. La figura 50 muestra el atributo de flujo incluido en la información de programa. La figura 51 muestra cómo se registran puntos de entrada en una correlación de entradas. La figura 52 muestra cómo la secuencia de ATC se restablece a partir de los bloques de datos que constituyen el archivo de flujo intercalado estereoscópico. La figura 53A y la figura 53B muestran el restablecimiento de la secuencia de ATC. La figura 54 muestra el procedimiento para restablecer la secuencia de ATC. Las figuras 55A y 55B muestran las estructuras internas de la unidad de desmultiplexión y el descodificador de vídeo. Las figuras 56A y 56B muestran la estructura interna del descodificador de gráficos para el flujo de PG. Las figuras 57A y 57B muestran la estructura interna del descodificador de subtítulos de texto. Las figuras 58A y 58B muestran modelos de descodificador del descodificador de IG. La figura 59 muestra una estructura de circuitos para superponer las salidas de estos modelos de descodificador y enviar el resultado en el modo de 3D-LR. La figura 60 muestra una estructura de circuito para superponer las salidas de los modelos de descodificador y enviar el resultado en el modo de “1 plano + desplazamiento”. La figura 61 muestra una estructura interna de un disco óptico de múltiples capas. La figura 62 muestra el formato de aplicación del disco óptico basado en el sistema de archivos. Las figuras 63A y 63B muestran el método de fabricación de un disco óptico. La figura 64 es un diagrama de flujo que muestra el procedimiento de la etapa de creación. La figura 65 es un diagrama de flujo que muestra el procedimiento para escribir el archivo de AV. La figura 66 muestra la estructura interna del dispositivo de grabación. La figura 67 muestra la estructura de un dispositivo de reproducción de 2D / 3D. La figura 68 muestra la estructura interna del descodificador de objetivos de sistema 4 y el conjunto de memorias de planos 5a. La figura 69 muestra las estructuras internas del conjunto de registros 10 y el motor de control de reproducción 7b. La figura 70 muestra la transición de estado del modelo de selección del modo de salida. La figura 71 es un diagrama de flujo que muestra el procedimiento para el proceso de inicialización. La figura 72 muestra el “Procedimiento cuando se cambia la condición de reproducción”. Las figuras 73A a 73D muestran la asignación de bits en el registro de establecimiento de reproductor para lograr el modo de reproducción de 3D. Las figuras 74A a 74E muestran relaciones entre las profundidades de los macrobloques y los parámetros para el control de desplazamiento. La figura 75 es un diagrama de flujo que muestra el procedimiento para definir la secuencia de desplazamiento que se ejecuta en paralelo con la codificación de flujo de vídeo. Las figuras 76A a 76B muestran el segmento de definición de ventana y la información de control en el flujo de subtítulos. Las figuras 77A a 77C muestran ejemplos de descripciones en el PCS de DS. La figura 78 muestra cómo cambia el desplazamiento con el tiempo en el caso de que se lleve a cabo una interpolación usando “3d_graphics_offset” en “composition_object” y en el caso de que no se lleve a cabo interpolación alguna. La figura 79 muestra una secuencia de desplazamiento compuesta por desplazamientos que se corresponden con áreas respectivas obtenidas al dividir la pantalla. La figura 80 muestra la correspondencia entre las profundidades de objetos en la pantalla y los desplazamientos. La figura 81 muestra el descodificador de vídeo, el plano de vista izquierda, el plano de vista derecha y el plano de PG / IG, entre los componentes del dispositivo de reproducción. La figura 82 muestra la correspondencia entre los contenidos del plano de gráficos y los desplazamientos. Las figuras 83A a 83D muestran un ejemplo del método de profundidad de 3D. La figura 84 muestra una imagen estereoscópica generada en el modo de profundidad de 3D. Las figuras 85A y 85B muestran un ejemplo de la estructura del medio de grabación para lograr el modo de profundidad de 3D.
15
25
35
45
55
65
E12174659
07-08-2014
La figura 86 muestra un mecanismo para distinguir los archivos de flujo que se reproducirán en 2D a partir de aquellos que se reproducirán en 3D, con el uso de los nombres de directorio y las extensiones de archivo, y un mecanismo para distinguir los archivos de flujo que se reproducirán en el método de LR a partir de aquellos que se reproducirán en el método de profundidad. La figura 87 muestra la información de elementos de reproducción que incluye información de tamaño de las memorias de almacenamiento temporal elementales. La figura 88 muestra los metadatos de 3D a los cuales se ha añadido la información de profundidad. La figura 89 muestra una estructura a modo de ejemplo de un dispositivo de reproducción de 2D / 3D que se logra usando un circuito integrado. La figura 90 es un diagrama de bloques funcional que muestra una estructura típica de la unidad de procesamiento de flujos. La figura 91 es un diagrama conceptual que muestra la unidad de conmutación 653 y el periférico cuando la unidad de conmutación 653 es DMAC. La figura 92 es un diagrama de bloques funcional que muestra una estructura típica de la unidad de salida de AV. La figura 93 es una estructura a modo de ejemplo que muestra la unidad de salida de AV, o la parte de salida de datos del dispositivo de reproducción con más detalle. La figura 94 muestra relaciones entre áreas en la memoria y cada plano en el proceso de superposición de imágenes. La figura 95 es un diagrama conceptual del proceso de superposición de imágenes llevado a cabo por la unidad de superposición de imágenes. La figura 96 es un diagrama conceptual del proceso de superposición de imágenes llevado a cabo por la unidad de superposición de imágenes. La figura 97 es un diagrama conceptual del proceso de superposición de imágenes llevado a cabo por la unidad de superposición de imágenes. La figura 98 es un diagrama conceptual del proceso de superposición de imágenes llevado a cabo por la unidad de superposición de imágenes. La figura 99 muestra una disposición de los buses de control y los buses de datos en el circuito integrado. La figura 100 muestra una disposición de los buses de control y los buses de datos en el circuito integrado. La figura 101 es un diagrama de flujo simple que muestra un procedimiento de funcionamiento en el dispositivo de reproducción. La figura 102 es un diagrama de flujo detallado que muestra un procedimiento de funcionamiento en el dispositivo de reproducción. Las figuras 103A a 103D muestran un ejemplo de información de punto de inicio de Extensión de la información de clips de vista base, y un ejemplo de información de punto de inicio de Extensión de la información de clips de vista dependiente. Las figuras 104A a 104C se proporcionan para la explicación de los números de paquetes de origen de bloques de datos arbitrarios en las secuencias de ATC 1 y 2.
En lo sucesivo se describe una realización de un medio de grabación y un dispositivo de reproducción provistos con medios para resolver los problemas que se han descrito en lo que antecede, con referencia a las figuras anexas. En primer lugar, da una breve descripción del principio de la visión estereoscópica.
En general, debido a la diferencia en cuando a la posición entre el ojo derecho y el ojo izquierdo, hay muy poca diferencia entre una imagen vista por el ojo derecho y una imagen vista por el ojo izquierdo. Es esta diferencia la que hace posible a los seres humanos reconocer en tres dimensiones la imagen que ven. La presentación visual estereoscópica se logra mediante el uso del paralaje de los seres humanos, de tal modo que una imagen monoscópica se ve como si fuera tridimensional.
De manera más específica, existe una diferencia entre la imagen vista por el ojo derecho y la imagen vista por el ojo izquierdo, correspondiéndose la diferencia con el paralaje de los seres humanos. La presentación visual estereoscópica se logra al presentar visualmente los dos tipos de imágenes de manera alterna a intervalos de tiempo cortos regulares.
El “intervalo de tiempo corto” puede ser un periodo de tiempo que sea lo suficientemente corto como para proporcionar a los seres humanos, por las presentaciones visuales alternas, una ilusión de que están viendo un objeto tridimensional. Los métodos para lograr la visión estereoscópica incluyen uno que usa una tecnología de holografía y uno que usa una imagen de paralaje.
El método anterior, la tecnología de holografía, se caracteriza además por que puede reproducir un objeto de forma tridimensional de la misma manera que un ser humano reconoce al objeto normalmente, y por que, con respecto a la generación de vídeo, aunque se ha establecido una teoría tecnológica, requiere (i) un ordenador que pueda llevar a cabo una enorme cantidad de cálculos para generar el vídeo para holografía en tiempo real, y (ii) un dispositivo de presentación visual que tenga una resolución en la cual varios miles de líneas puedan dibujarse en una longitud de 1 mm. Es extremadamente difícil que la tecnología actual logre este producto y, de esta manera, los productos para uso comercial apenas se han desarrollado.
15
25
35
45
55
65
E12174659
07-08-2014
Por otro lado, el segundo método que usa una imagen de paralaje tiene la virtud de que la visión estereoscópica puede lograrse sólo mediante la preparación de imágenes para la visión con el ojo derecho y el ojo izquierdo.
Algunas tecnologías, incluyendo el método de segregación secuencial, se han desarrollado para un uso práctico desde el punto de vista de cómo dar lugar a que cada uno del ojo derecho y el ojo izquierdo vean sólo las imágenes asociadas con los mismos.
El método de segregación secuencial es un método en el cual se presentan visualmente imágenes para el ojo izquierdo y ojo derecho de forma alterna en una dirección de eje de tiempo de tal manera que las escenas izquierda y derecha se superponen en el cerebro por el efecto de las imágenes residuales de los ojos, y la imagen superpuesta se reconoce como una imagen estereoscópica.
En cualquiera de los métodos que se han descrito en lo que antecede, la imagen estereoscópica está compuesta por al menos dos imágenes de punto de vista. La imagen de punto de vista es una imagen que se desvía hasta cierto grado, y las por lo menos dos imágenes de punto de vista incluyen una imagen de vista principal y una imagen de vista secundaria. Cuando las imágenes de vista principal y de vista secundaria van a suministrarse a partir de un medio de grabación por medio de flujos de vídeo, un flujo de vídeo de vista principal y un flujo de vídeo de vista secundaria se graban en el medio de grabación, donde el flujo de vídeo de vista principal es un flujo de vídeo para suministrar la imagen de vista principal, y el flujo de vídeo de vista secundaria es un flujo de vídeo para suministrar la imagen de vista secundaria. El medio de grabación que se describe en lo sucesivo está provisto de tal manera que el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria puedan grabarse en el mismo de manera adecuada.
El dispositivo de reproducción que se describe en la presente solicitud es un dispositivo de reproducción (reproductor) de 2D / 3D el cual, provisto con el modo de reproducción de 2D y el modo de reproducción de 3D, puede cambiar entre estos modos de reproducción para reproducir el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria.
Las figuras 1A a 1C muestran la realización del acto de uso del medio de grabación, el dispositivo de reproducción, el dispositivo de presentación visual y las gafas. Tal como se muestra en la figura 1A, un medio de grabación 100 y un dispositivo de reproducción 200, junto con una televisión 300, unas gafas de 3D 400 y un control remoto 500, constituyen un sistema de cine en casa que se somete a su uso por el usuario.
El medio de grabación 100 proporciona al sistema de cine en casa, por ejemplo, una obra cinematográfica.
El dispositivo de reproducción 200 está conectado con la televisión 300 y reproduce el medio de grabación 100.
La televisión 300 proporciona al usuario un ambiente de funcionamiento interactivo al presentar visualmente un menú y similares así como la obra cinematográfica. El usuario tiene que usar las gafas de 3D 400 para que la televisión 300 de la presente realización logre la visión estereoscópica. En el presente caso, las gafas de 3D 400 no son necesarias cuando la televisión 300 presenta visualmente imágenes mediante el método lenticular. La televisión 300 para el método lenticular alinea imágenes para los ojos izquierdo y derecho en sentido vertical en una pantalla al mismo tiempo. Y una lente lenticular se proporciona sobre la superficie de la pantalla de presentación visual de tal manera que los píxeles que constituyen la imagen para el ojo izquierdo formen una imagen sólo en el ojo izquierdo y los píxeles que constituyen la imagen para el ojo derecho formen una imagen sólo en el ojo derecho. Esto hace posible que los ojos izquierdo y derecho vean respectivamente imágenes que tengan un paralaje, logrando de esta manera una visión estereoscópica.
Las gafas de 3D 400 están equipadas con obturadores de cristal líquido que hacen posible que el usuario vea una imagen de paralaje mediante el método de segregación secuencial o el método de gafas de polarización. En el presente caso, la imagen de paralaje es una imagen que está compuesta por un par de (i) una imagen que entra sólo en el ojo derecho y (ii) una imagen que entra sólo en el ojo izquierdo, de tal forma que imágenes asociadas respectivamente con los ojos derecho e izquierdo entren respectivamente en los ojos del usuario, logrando de este modo la visión estereoscópica. La figura 1B muestra el estado de las gafas de 3D 400 cuando se presenta visualmente la imagen de vista izquierda. En el instante en el que se presenta visualmente la imagen de vista izquierda en la pantalla, el obturador de cristal líquido para el ojo izquierdo está en el estado de transmisión de luz, y el obturador de cristal líquido para el ojo derecho está en el estado de bloqueo de luz. La figura 1C muestra el estado de las gafas de 3D 400 cuando se presenta visualmente la imagen de vista derecha. En el instante en el que la imagen de vista derecha se presenta visualmente en la pantalla, el obturador de cristal líquido para el ojo derecho está en el estado de transmisión de luz, y el obturador de cristal líquido para el ojo izquierdo está en el estado de bloqueo de luz.
El control remoto 500 es una máquina para recibir del usuario operaciones para reproducir AV. El control remoto 500 es también una máquina para recibir del usuario operaciones en la GUI por capas. Para recibir las operaciones, el control remoto 500 está equipado con una tecla de menú, teclas de flechas, una tecla de introducción, una tecla de regreso y teclas numéricas, donde la tecla de menú se usa para invocar un menú que constituye la GUI, las teclas
15
25
35
45
55
65
E12174659
07-08-2014
de flecha se usan para mover un foco entre componentes de GUI que constituyen el menú, la tecla de introducción se usa para llevar a cabo la operación ENTER (determinación) en un componente de GUI que constituye el menú, la tecla de regreso se usa para volver a una capa superior en el menú por capas.
En el sistema de cine en casa que se muestra en las figuras 1A a 1C, un modo de salida del dispositivo de reproducción para dar lugar a que el dispositivo de reproducción 300 presente visualmente imágenes en el modo de reproducción de 3D se denomina “modo de salida de 3D”, y un modo de salida del dispositivo de reproducción para dar lugar a que el dispositivo de presentación visual 300 presente visualmente imágenes en el modo de reproducción de 2D se denomina “modo de salida de 2D”.
Esto completa la descripción del acto de uso del medio de grabación y el dispositivo de reproducción.
(Realización 1)
La realización 1 se caracteriza además por que, cuando se suministra un par del flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria para lograr la reproducción estereoscópica al dispositivo de reproducción 200 al grabar estos flujos en el medio de grabación 100, se inserta una información de control que define el control de desplazamiento en los metadatos en el flujo de vídeo de vista secundaria.
El control de desplazamiento que se menciona en el presente caso es un control para aplicar los desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en el plano de gráficos y superponer los planos de gráficos resultantes con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria en los cuales se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria.
Además, la información de control usada en el control de desplazamiento funciona como secuencias de parámetros que definen (i) información que indica el valor de desplazamiento y (ii) información que indica la dirección de desplazamiento, en correspondencia con cada una de una pluralidad de tramas.
En la siguiente descripción, la vista principal y la vista secundaria se usan para lograr el método de imagen de paralaje. El método de imagen de paralaje (que también se denomina modo de 3D-LR) es un método para lograr la visión estereoscópica al preparar por separado una imagen para el ojo derecho y una imagen para el ojo izquierdo, y dar lugar a que la imagen para el ojo derecho entre sólo en el ojo derecho y la imagen para el ojo izquierdo entre sólo en el ojo izquierdo. La figura 2 muestra la cabeza del usuario en el lado izquierdo del dibujo y las imágenes de un esqueleto de dinosaurio vistas respectivamente por el ojo izquierdo y el ojo derecho del usuario en el lado derecho del dibujo. Cuando la transmisión y bloqueo de luz se repiten de manera alterna para los ojos izquierdo y derecho, las escenas izquierda y derecha se superponen en el cerebro del usuario por el efecto de las imágenes residuales de los ojos, y la imagen superpuesta se reconoce como una imagen estereoscópica que aparece delante del usuario.
Entre las imágenes de paralaje, la imagen que entra en el ojo izquierdo se denomina imagen de ojo izquierdo (imagen L), y la imagen que entra en el ojo derecho se denomina imagen de ojo derecho (imagen R). Un vídeo compuesto sólo de imágenes L se denomina vídeo de vista izquierda, y un vídeo compuesto sólo de imágenes R se denomina vídeo de vista derecha. Asimismo, los flujos de vídeo que se obtienen al digitalizar y codificar por compresión el vídeo de vista izquierda y el vídeo de vista derecha se denominan flujo de vídeo de vista izquierda y flujo de vídeo de vista derecha, respectivamente.
Estos flujos de vídeo de vista izquierda y de vista derecha se comprimen por la codificación de predicción entre imágenes usando la propiedad correlacionada entre puntos de vista, así como por la codificación de predicción entre imágenes usando la propiedad correlacionada en un eje de tiempo. Las imágenes que constituyen el flujo de vídeo de vista derecha se comprimen haciendo referencia a las imágenes que constituyen el flujo de vídeo de vista izquierda que tiene los mismos tiempos de presentación visual. Uno de los métodos de compresión de vídeo que usa esta propiedad correlacionada entre puntos de vista es una norma corregida de MPEG-4 AVC/H.264, la cual se denomina Codificación de Vídeo de Múltiples Vistas (MVC, Multi-view Video Coding). El Equipo de Vídeo Conjunto (JVT, Joint Video Team), el cual es un proyecto conjunto del ISO/IEC MPEG y el ITU-T VCEG, completó en julio de 2008 la formulación de la norma corregida de MPEG-4 AVC/H.264 que se denomina Codificación de Vídeo de Múltiples Vistas (MVC). La MVC es una norma para codificar, a granel, imágenes para una pluralidad de puntos de vista. Debido al uso, en la codificación de predicción, de la similitud de imágenes entre puntos de vista así como la similitud de imágenes en un eje de tiempo, la MVC ha mejorado la eficiencia de compresión en comparación con los métodos para codificar imágenes independientes para una pluralidad de puntos de vista.
Un flujo de vídeo, entre el flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha que se han codificado por compresión por la MVC, que puede descodificarse de manera independiente se denomina “flujo de vídeo de vista base”. Un indicador de vista base, el cual se describirá más adelante, indica cuál del flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha se especifica como el flujo de vídeo de vista base. Asimismo, un flujo de vídeo, entre el flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha, que se ha codificado por compresión sobre la base de la propiedad correlacionada entre tramas, constituyendo cada dato de imagen el flujo
15
25
35
45
55
65
E12174659
07-08-2014
de vídeo de vista base, y que puede descodificarse sólo después de que el flujo de vídeo de vista base se descodifique, se denomina “flujo de vista dependiente”.
Un flujo de vídeo, entre el flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha que se ha codificado por compresión con el uso de la propiedad correlacionada entre puntos de vista, que puede descodificarse de manera independiente se denomina “flujo de vídeo de vista base”. Un indicador de vista base en la información de elementos de reproducción indica cuál del flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha se especifica como el flujo de vídeo de vista base.
Por el momento, se considera que la MVC es el mejor método para codificar las imágenes estereoscópicas. En consecuencia, en la siguiente descripción se supone que el “flujo de vídeo de vista principal” es el “flujo de vídeo de vista base”, y el “flujo de vídeo de vista secundaria” es el “flujo de vídeo de vista dependiente”.
El flujo de vídeo en el formato MPEG4-AVC, el cual forma la base del flujo de vídeo de MVC, se describe en lo sucesivo.
El flujo de vídeo de MVC tiene la estructura GOP, y está compuesto por GOP cerrados y GOP abiertos. El GOP cerrado está compuesto por una imagen IDR, e imágenes B e imágenes P que siguen a la imagen IDR. El GOP abierto está compuesto por una imagen I no IDR, e imágenes B e imágenes P que siguen a la imagen I no IDR.
Las imágenes I no IDR, las imágenes B y las imágenes P se codifican por compresión sobre la base de la correlación de tramas con otras imágenes. La imagen B es una imagen compuesta por datos de sector en el formato bidireccionalmente predictivo (B), y la imagen P es una imagen compuesta por datos de sector en el formato predictivo (P). La imagen B se clasifica en imagen B de referencia (Br) e imagen B no de referencia (B).
En el GOP cerrado, la imagen IDR está dispuesta en la parte superior. En el orden de presentación visual, la imagen IDR no es la superior, pero las imágenes (imágenes B e imágenes P) que no sean la imagen IDR no pueden tener una relación de dependencia con las imágenes que existan en un GOP que preceda al GOP cerrado. Según se entiende de esto, el GOP cerrado desempeña un papel de completar la relación de dependencia. En lo sucesivo se describe la estructura interna del GOP. Cada fragmento de datos de imagen en los GOP abierto y cerrado tiene la estructura de unidad de acceso de vídeo del método de codificación H.264.
La relación entre la unidad de acceso de vídeo y la imagen es “1 unidad de acceso de vídeo = 1 imagen”. En el BD-ROM, la relación se restringe a “1 paquete de PES = 1 trama”. Por lo tanto, cuando el vídeo tiene la estructura de tramas, “1 paquete de PES = 1 imagen”, y cuando el vídeo tiene la estructura de campos, “1 paquete de PES = 2 imágenes”. Teniendo esto en cuenta, el paquete de PES almacena la imagen en una relación de uno a uno.
La figura 3 muestra un ejemplo de las estructuras internas de los flujos de vídeo de vista izquierda y de vista derecha para la visión estereoscópica.
En la segunda fila de la figura 3, se muestran las estructuras internas del flujo de vídeo de vista izquierda. Este flujo incluye unos datos de imagen 11, P2, Br3, Br4, P5, Br6, Br7 y P9. Estos datos de imagen se descodifican de acuerdo con las Marcas de Tiempo de Descodificación (DTS, Decode Time Stamp). La primera fila muestra la imagen de ojo izquierdo. La imagen de ojo izquierdo se reproduce al reproducir los datos de imagen 11, P2, Br3, Br4, P5, Br6, Br7 y P9 descodificados de acuerdo con la PTS, en el orden de 11, Br3, Br4, P2, Br6, Br7 y P5.
En la cuarta fila de la figura 3, se muestran las estructuras internas del flujo de vídeo de vista derecha. Este flujo incluye unos datos de imagen P1, P2, B3, B4, P5, B6, B7 y P8. Estos datos de imagen se descodifican de acuerdo con las DTS. La tercera fila muestra la imagen de ojo derecho. La imagen de ojo derecho se reproduce al reproducir los datos de imagen P1, P2, B3, B4, P5, B6, B7 y P8 de acuerdo con la PTS, en el orden de P1, B3, B4, P2, B6, B7 y P5.
La quinta fila muestra cómo se cambia el estado de las gafas de 3D 400. Tal como se muestra en la quinta fila, cuando se ve la imagen de ojo izquierdo, el obturador para el ojo derecho está cerrado, y cuando se ve la imagen de ojo derecho, el obturador para el ojo izquierdo está cerrado.
En la figura 3, por ejemplo, la imagen P del flujo de vídeo de vista derecha hace referencia a la imagen I del flujo de vídeo de vista izquierda; la imagen B del flujo de vídeo de vista derecha hace referencia a la imagen Br del flujo de vídeo de vista izquierda; y la segunda imagen P de lujo de vídeo de vista derecha hace referencia a la imagen P del flujo de vídeo de vista izquierda. En el presente caso, un modo en el cual se envían de manera alterna tramas de vídeo del flujo de vídeo de vista base (B) y tramas de vídeo del flujo de vídeo de vista dependiente (D) a un ciclo de presentación visual de 1 / 48 segundos tal como “B” -“D” -“B” -“D”, se denomina “modo de presentación de B-D”.
Asimismo, un modo en el cual un mismo tipo de trama de vídeo se envía repetidamente dos veces o más mientras el modo de 3D se mantiene como el modo de reproducción, se denomina “modo de presentación de B-B”. En el “modo de presentación de B-B”, se envían de manera repetida tramas de vídeo de un flujo de vídeo de vista base que
15
25
35
45
55
65
E12174659
07-08-2014
puede reproducirse de manera independiente, como “B” -“B” -“B” -“B”.
El modo de presentación de B-D y el modo de presentación de B-B que se han descrito en lo que antecede son modos de presentación básicos en el dispositivo de reproducción. Aparte de estos, un modo de reproducción que se denomina modo de “1 plano + desplazamiento” está disponible en el dispositivo de reproducción.
El modo de “1 plano + desplazamiento (al que también se hace referencia como “modo de desplazamiento de 3D”) es “un modo de reproducción en el cual la visión estereoscópica se logra al incorporar una unidad de desplazamiento en la última mitad de la memoria de planos al hacer funcionar la unidad de desplazamiento. En cada uno del periodo de vista izquierda y el periodo de vista derecha, la unidad de desplazamiento de modos desplaza las coordenadas de los píxeles en la memoria de planos en unidades de líneas a la izquierda o a la derecha para desplazar el punto de información de imagen de las líneas de ojo derecho y ojo izquierdo hacia delante o hacia atrás de tal manera que el espectador pueda sentir un cambio en el sentido de la profundidad. De manera más específica, cuando las coordenadas de píxeles se desplazan a la izquierda en el periodo de vista izquierda, y a la derecha en el periodo de vista derecha, el punto de formación de imagen se desplaza hacia delante; y cuando las coordenadas de píxeles se desplazan a la derecha en el periodo de vista izquierda, y a la izquierda en el periodo de vista derecha, el punto de formación de imagen se desplaza hacia atrás.
En un desplazamiento de planos de este tipo, la memoria de planos para la visión estereoscópica, sólo tiene que tener un plano. Por lo tanto, este es el mejor método para generar las imágenes estereoscópicas con facilidad. Sin embargo, el desplazamiento de planos simplemente produce imágenes estereoscópicas en las cuales las imágenes monoscópicas vienen hacia delante o se van hacia atrás. Por lo tanto, es adecuado para generar un efecto estereoscópico para el menú o subtítulo, pero deja algo que desear para lograr un efecto estereoscópico para los personajes u objetos físicos. Esto se debe a que no puede reproducir hoyuelos o irregularidades de las caras de los personajes.
Para soportar el modo de “1 plano + desplazamiento”, el dispositivo de reproducción está estructurado tal como sigue. Para la reproducción de gráficos, el dispositivo de reproducción incluye una memoria de planos, una unidad de CLUT y una unidad de superposición. La unidad de desplazamiento de planos está incorporada entre la unidad de CLUT y la unidad de superposición. La unidad de desplazamiento de planos logra el cambio que se ha descrito en lo que antecede de coordenadas de píxeles usando el desplazamiento en la secuencia de desplazamiento incorporada en la estructura de unidades de acceso del flujo de vídeo de vista dependiente. Con esta disposición, el nivel de resalto de píxeles en el modo de “1 plano + desplazamiento” cambia en sincronización con el flujo de vídeo de MVC. El modo de “1 plano + desplazamiento” incluye el “modo de 1 plano + desplazamiento cero”. El “modo de 1 plano + desplazamiento cero” es un modo de presentación visual que, cuando el menú emergente está activo, da el efecto estereoscópico sólo al menú emergente al hacer el valor de desplazamiento cero.
El objetivo del control de desplazamiento por la secuencia de desplazamiento es una pluralidad de memorias de planos que constituyen un modelo de capas predeterminado. La memoria de planos es una memoria para almacenar una pantalla de datos de píxel, la cual se ha obtenido al descodificar los flujos elementales, en unidades de líneas de tal manera que los datos de píxel puedan enviarse de acuerdo con las señales de sincronización horizontal y vertical. Cada una de una pluralidad de memorias de plano almacena una pantalla de datos de píxel que se obtiene como resultado de la descodificación por el descodificador de vídeo, el descodificador de PG o el descodificador de IG.
El modelo de capas predeterminado está compuesto por una capa del plano de vídeo de vista base y el plano de vídeo de vista dependiente, una capa del plano de PG y una capa del plano de IG/BD-J, y está estructurado de tal manera que estas capas (y los contenidos de las memorias de planos en estas capas) puedan superponerse en el orden del plano de vídeo de vídeo de vista base, el plano de PG y el plano de IG/BD-J desde el fondo.
La superposición de capas se logra al ejecutar un proceso de superposición en todas las combinaciones de las dos capas en el modelo de capas. En el proceso de superposición, se superponen valores de píxel de datos de píxel almacenados en las memorias de planos de las dos capas. En lo sucesivo se describen las memorias de planos en cada capa.
El plano de vídeo de vista base es una memoria de planos para almacenar una pantalla de datos de píxel que se obtiene al descodificar unos componentes de vista que constituyen el flujo de vídeo de vista base. El plano de vídeo de vista dependiente es una memoria de planos para almacenar una pantalla de datos de píxel que se obtiene al descodificar unos componentes de vista que constituyen el flujo de vídeo de vista dependiente.
El plano de gráficos de presentación (PG) es una memoria de planos para almacenar gráficos que se obtienen cuando un descodificador de gráficos, el cual funciona por el método de canalización, lleva a cabo el proceso de descodificación. El plano de IG/BD-J es una memoria de planos que funciona como un plano de IG en algún modo de funcionamiento y funciona como un plano de BD-J en otro modo de funcionamiento. El plano de gráficos interactivos (GI, interactive graphics) es una memoria de planos para almacenar gráficos que se obtienen cuando un descodificador de gráficos, el cual funciona sobre la base del proceso interactivo, lleva a cabo el proceso de
15
25
35
45
55
65
E12174659
07-08-2014
descodificación. El plano de BD-J es una memoria de planos para almacenar los gráficos de imágenes de dibujo que se obtienen cuando una aplicación de un lenguaje de programación orientado a objetos lleva a cabo el proceso de dibujo. El plano de IG y el plano de BD-J son exclusivos entre sí y, cuando se usa uno de ellos, el otro no puede usarse. Por lo tanto, el plano de IG y el plano de BD-J comparten una memoria de planos.
En el modelo de capas que se ha mencionado en lo que antecede, con respecto al plano de vídeo, existen un plano de vista base y un plano de vista dependiente. Por otro lado, con respecto al plano de IG/BD-J y al plano de PG, no hay ni un plano de vista base ni un plano de vista dependiente. Por esta razón, el plano de IG/BD-J y el plano de PG son el objetivo del control de desplazamiento.
Las figuras 4A y 4B muestran cómo se lleva a cabo el control de desplazamiento en el modelo de capas de las memorias de planos en el modo de “1 plano + desplazamiento”. El modelo de capas de las memorias de planos que se muestra en la figura 4 incluye planos de IG, planos de PG, planos de vídeo y planos de fondo. Tal como se muestra en la figura 4A, un plano de PG y un plano de IG se desplazan al lado izquierdo de los mismos en el periodo de vista base. Un área transparente se añade al lado izquierdo de cada uno del plano de PG y el plano de IG que se han desplazado hacia la izquierda, y una porción de extremo de los mismos en el lado derecho del mismo se recorta. De manera similar, un área transparente se añade al lado derecho de cada uno del plano de PG y el plano de IG que se han desplazado a la derecha, y una porción de extremo de los mismos en el lado izquierdo de los mismos se recorta.
Tal como se muestra en la figura 4B, un plano de PG y un plano de IG se desplazan al lado derecho de los mismos en el periodo de vista base. Se añade un área transparente al lado derecho de cada uno del plano de PG y el plano de IG que se han desplazado a la derecha, y una porción de extremo de los mismos en el lado izquierdo de los mismos se recorta. De manera similar, un área transparente se añade al lado izquierdo de cada uno del plano de PG y el plano de IG que se ha desplazado a la izquierda, y una porción de extremo del mismo en el lado derecho del mismo se recorta.
Las figuras 5A a 5C muestran cómo se reproduce una imagen estereoscópica por el control de desplazamiento que se muestra en la figura 4. Cuando el plano de IG almacena una parte de GUI para recibir una instrucción de saltar al capítulo previo o al siguiente capítulo, y el plano de PG almacena caracteres de subtítulo que representan un título “Dinos”, el plano de IG y el plano de PG almacenan los datos tal como se muestra en las figuras 5A y 5B respectivamente por el control de desplazamiento en el modo de “1 plano + desplazamiento”.
La figura 5A muestra el contenido de almacenamiento del plano de IG que se ha desplazado a la izquierda, y del plano de IG que se ha desplazado a la derecha. La figura 5B muestra el contenido de almacenamiento del plano de PG que se ha desplazado a la izquierda, y del plano de PG que se ha desplazado a la derecha. Con este control de desplazamiento, la imagen estereoscópica se reproduce tal como se muestra en la figura 5C. La imagen estereoscópica que se muestra en la figura 5C es una imagen superpuesta del dinosaurio que se muestra en la figura 2, la GUI y el subtítulo. De este modo, un contenido de película se reproduce como una imagen estereoscópica junto con el subtítulo y GUI correspondientes, de manera muy similar a un contenido de BD-ROM que se esté proporcionando en la actualidad.
Las figuras 6A a 6D muestran cómo lograr la visión estereoscópica en el modo de “1 plano + desplazamiento”.
Cuando el vídeo de vista izquierda va a enviarse en el modo de “1 plano + desplazamiento”, las coordenadas de los datos de imagen almacenados en la memoria de planos que se denominan plano de PG se desplazan hacia la dirección positiva del eje X el valor de desplazamiento. La memoria de planos se recorta a continuación para impedir que se superponga con el plano de vídeo de vista izquierda, y se proporciona para superponerse con los demás planos (véase la figura 6A).
Cuando el vídeo de vista derecha va a enviarse, las coordenadas de los datos de imagen almacenados en la memoria de planos se desplazan hacia la dirección negativa del eje X el valor de desplazamiento. La memoria de planos se recorta a continuación para impedir que se superponga con el plano de vídeo de vista izquierda, y se proporciona para superponerse con los demás planos (véase la figura 6B).
La figura 6C muestra cómo se presentan visualmente los planos de imagen al usuario, después de haberse recortado y superpuesto con el uso de los valores de desplazamiento. Al desplazar y recortar los planos de imagen con el uso de los valores de desplazamiento, es posible crear imágenes de paralaje para los ojos izquierdo y derecho. Esto hace posible dar profundidad a una imagen monoscópica. Cuando la imagen tiene una profundidad tal, el usuario verá la imagen monoscópica saltar de la pantalla del dispositivo de presentación visual (véase la figura 6D).
La figura 7 muestra la estructura interna del flujo de vista dependiente que está provisto con información de control para el modo de “1 plano + desplazamiento”. La primera fila de la figura 7 muestra una pluralidad de GOP. La segunda fila muestra una pluralidad de unidades de acceso de vídeo que constituyen cada GOP. Las unidades de acceso de vídeo se corresponden con los componentes de vista, y se presentan visualmente en cada trama de
15
25
35
45
55
65
E12174659
07-08-2014
presentación visual (“Frame (1) a “Frame (number_of_displayed_frames_inGOP)” en la figura 7) en el GOP.
La tercera fila muestra la estructura interna de la unidad de acceso de vídeo. Tal como se muestra en ese caso, la unidad de acceso de vídeo está estructurada como una secuencia de un delimitador de unidad de acceso, un conjunto de parámetros de secuencia, un conjunto de parámetros de imagen, un mensaje de SEI de anidación escalonable de MVC, un primer componente de vista, un código de extremo de secuencia y un código de extremo de flujo. El mensaje de SEI de anidación escalonable de MVC incluye un contenedor de datos de usuario.
Las figuras 8A a 8C muestran la estructura interna del contenedor de datos de usuario.
La figura 8A muestra la estructura interna del contenedor de datos de usuario. El contenedor de datos de usuario son datos de usuario no registrados y cae dentro de tres tipos: información de subtítulos; correlación de estructura de GOP y metadatos de desplazamiento. Estos tipos se indican por el “type_indicator” en el contenedor de datos de usuario.
La figura 8B muestra los metadatos de desplazamiento. Los metadatos de desplazamiento son una lista de secuencias para el plano de PG, plano de IG y plano de BD-J, y se usan para el ajuste de desplazamiento mientras que los gráficos de presentación, el subtítulo de texto y el plano de IG/BD-J se reproducen en el modo de “1 plano + desplazamiento”. De manera más específica, los metadatos de desplazamiento indican el control de desplazamiento en el plano de PG, el plano de IG y el plano de BD-J cuando los datos que van a superponerse con los datos de imagen se reproducen en el modo de “1 plano + desplazamiento”.
Los metadatos han de almacenarse en el mensaje de SEI de anidación escalonable de MVC en el componente de vídeo de inicio de cada GOP en el orden de codificación de la unidad de acceso de vista dependiente. Una unidad de NAL que incluye el mensaje de SEI de anidación escalonable de MVC no ha de incluir datos que no sean el contenedor de datos de usuario de los metadatos.
La figura 8B muestra la estructura interna de los metadatos de desplazamiento (“Offset_metadata”).
En el campo de velocidad de tramas (“frame_rate”), se escribe un campo de velocidad de tramas de la unidad de acceso que incluye unos metadatos de desplazamiento.
En el campo de marca de tiempo de presentación (PTS, presentation time stamp), la primera velocidad de tramas en el GOP se escribe a 90 KHz.
En el campo de número de secuencias de desplazamiento (“number_of_offset_sequence”), el número de secuencias se escribe en el intervalo de “0” a “32”.
En el campo de número de tramas presentadas visualmente (“number_of_displayed_frames_in_GOP”), se escribe el número de tramas presentado visualmente en el GOP incluyendo los metadatos.
Los metadatos de desplazamiento incluyen además tantas secuencias de desplazamiento (“offset_sequence[1]” a “offset_sequence[number_of_sequence]”) como el número indicado por el “number_of_sequence”. Las secuencias de desplazamiento se corresponden con los GOP respectivos en el flujo de vídeo.
La figura 8C muestra la estructura interna de la secuencia de desplazamiento (“Offset_sequence”). La secuencia de desplazamiento es una secuencia de parámetros que indica parámetros de control para cada periodo de trama en un grupo de imágenes, donde los parámetros de control se usan cuando los gráficos se superponen con cada fragmento de datos de imagen que pertenece al grupo de imágenes. La secuencia de desplazamientos está compuesta por tantos parámetros de control como el número indicado por el “number_of_displayed_frames_in_GOP”. El parámetro de control está compuesto por información de dirección de desplazamiento de planos y un valor de desplazamiento de planos.
La información de dirección de desplazamiento de planos (“Plane_offset_direction”) indica la dirección de desplazamiento en el plano. Cuando la información de dirección de desplazamiento de planos se establece a un valor “0”, indica el escenario de delante en el cual la memoria de planos existe entre la TV y el espectador, y en el periodo de vista izquierda, el plano se desplaza a la derecha, y en el periodo de vista derecha, el plano se desplaza a la izquierda.
Cuando la información de dirección de desplazamiento de plano se establece a un valor “1”, indica el escenario de detrás en el cual la memoria de planos existe por detrás de la TV o la pantalla, y en el periodo de vista izquierda, el plano se desplaza a la izquierda, y en el periodo de vista derecha, el plano se desplaza a la derecha. Cuando la información de dirección de desplazamiento de plano indica el escenario de delante, la coordenada de eje Z del parámetro de control en el sistema de coordenadas tridimensional es una coordenada positiva. Cuando la información de dirección de desplazamiento de plano indica el escenario de detrás, la coordenada de eje Z del parámetro de control en el sistema de coordenadas tridimensional es una coordenada negativa.
15
25
35
45
55
65
E12174659
07-08-2014
El valor de desplazamiento de plano (“plane_offset_value”) indica la cantidad de desviación en la dirección horizontal de los píxeles que constituyen los gráficos, e indica el valor de desplazamiento del plano en unidades de píxeles.
La figura 9 muestra la sintaxis para describir los metadatos de desplazamiento. La sentencia “for” (“para”) cuya variable de control es “offset_sequence_id” define tantas secuencias de desplazamiento como el número indicado por el “number_of_offset_sequence”.
La sentencia “for” cuya variable de control es “i” define tantos pares de “Plane_offset_direction” y “Plane_offset_value” como el número indicado por el “number_of_displayed_frames_in_GOP”. Con el uso de estas sentencias “for”, se definen las secuencias de desplazamiento que se han descrito en lo que antecede.
Las figuras 10A y 10B muestran un ejemplo de la diferencia entre visiones proporcionadas por desplazamientos de plano positivo y negativo. En cada una de las figuras 10A y 10B, una imagen de gráficos de vista derecha que va a enviarse con el uso de un plano de gráficos después de haberse desplazado en la salida de vista derecha se muestra delante, y una imagen de gráficos de vista izquierda que va a enviarse con el uso de un plano de gráficos después de haberse desplazado en la salida de vista izquierda se muestra detrás.
La figura 10A muestra el caso en el que el valor de desplazamiento de planos es positivo (la imagen de gráficos de vista izquierda se desplaza a la derecha, y la imagen de gráficos de vista derecha se desplaza a la izquierda). Cuando el valor de desplazamiento de plano es positivo, el subtítulo que se ve durante la salida de vista izquierda está a la derecha del subtítulo que se ve durante la salida de vista derecha. Es decir, debido a que el punto de convergencia (posición de foco) se encuentra por delante de la pantalla, el subtítulo aparece por delante de la pantalla.
La figura 10B muestra el caso en el que el valor de desplazamiento de plano es negativo. Cuando el valor de desplazamiento de plano es negativo, el subtítulo que se ve durante la salida de vista izquierda está en la izquierda “del subtítulo que se ve durante la salida de vista derecha. Es decir, debido a que el punto de convergencia (posición de foco) está por detrás de la pantalla, el subtítulo aparece por detrás de la pantalla.
Esto completa la descripción del método para dar lugar a que aparezca un subtítulo por delante o por detrás de la pantalla al cambiar entre valores de desplazamiento de plano positivos y negativos.
<Significado técnico de la secuencia de desplazamiento>
La secuencia de desplazamiento con la estructura de datos que se ha descrito en lo que antecede hace posible definir la profundidad de gráficos para cada trama en el eje de tiempo de flujos de vídeo. De esta manera, la secuencia de desplazamiento se puede usar para definir una función Z(t) que se use para calcular, a partir de un tiempo de trama arbitrario “t”, una profundidad “z” que se corresponde con el tiempo de trama “t”. Cuando la función Z(t) cambia de manera lineal la profundidad en el tiempo de trama “t”, el dispositivo de reproducción puede cambiar la profundidad de los gráficos de manera lineal con el avance de la reproducción mediante el uso de una secuencia de desplazamiento que se corresponde con la función Z(t) en el modo de “1 plano + desplazamiento”. Cuando la función Z(t) cambia de manera exponencial la profundidad en el tiempo de trama “t”, el dispositivo de reproducción puede cambiar la profundidad de los gráficos de manera exponencial con el avance de la reproducción mediante el uso de una secuencia de desplazamiento que se corresponde con la función Z(t) en el modo de “1 plano + desplazamiento”. De esta manera, es posible cambiar la profundidad en tiempo real con el avance del punto de reproducción en el eje de tiempo de flujo de vídeo, dando como resultado el logro de una imagen de gráficos sumamente realista en la reproducción estereoscópica.
La figura 11 es una gráfica en la cual el eje horizontal representa un eje de tiempo, y el eje vertical representa “Plane_offset_value[j] “. En el eje de tiempo horizontal, una unidad de tiempo es cada GOP que constituye la unidad de acceso de vista dependiente. El eje vertical en la dirección positiva representa Plane_offset_value[j] cuando Plane_offset_direction[j] es “0”. El eje vertical en la dirección negativa representa Plane_offset_value[j] cuando Plane_offset_direction[j] es “1”. Las líneas curvas y líneas rectas en la gráfica indican el desplazamiento con el tiempo de Plane_offset_direction[j] para las secuencias de desplazamiento con offset_sequence_id = 1, 2, 3 y 4. De estas, las secuencias de desplazamiento con offset_sequence_id = 1 y 4 son secuencias de desplazamiento de la función lineal que define la profundidad que cambia de manera lineal con el tiempo en el eje de tiempo; y las secuencias de desplazamiento con offset_sequence_id = 2 y 3 son secuencias de desplazamiento de la función parabólica que define la profundidad que cambia de manera parabólica con el tiempo en el eje de tiempo.
La figura 12 es una gráfica en la cual el eje horizontal representa un eje de tiempo, y el eje vertical representa “Plane_offset_value[j]”. En el eje de tiempo horizontal, una unidad de tiempo es cada trama en cada GOP que constituye la unidad de acceso de vista dependiente. De este modo, las secuencias de desplazamiento con offset_sequence_id = 1, 2 y 3 que se muestran en la figura 12, representadas en la precisión de tiempo de la trama, tienen valores discretos en unidades de periodos de trama. Cada secuencia de desplazamiento puede definir 24 fragmentos de profundidades discretas por segundo. De esta manera es posible cambiar la profundidad de cada secuencia de desplazamiento con la precisión de tiempo de 24 cambios por segundo. En consecuencia, es posible
15
25
35
45
55
65
E12174659
07-08-2014
cambiar la coordenada Z de los gráficos en un sistema de coordenadas tridimensional con un cambio sumamente realista de la profundidad, lo cual da como resultado una comparación favorable con aquél en la reproducción de vídeo estereoscópica de la historia principal:
Además, debido a que los metadatos pueden almacenar una pluralidad de secuencias de desplazamiento, es posible definir una pluralidad de funciones de profundidad Z1(t), Z2(t), Z3(t), Z4(t), ..., Zn(t) en cada una de las cuales la profundidad cambie de manera diferente con el tiempo, usando una pluralidad de secuencias de desplazamiento 1, 2, 3, 4, ..., n. En el presente caso, mediante el uso de las secuencias de desplazamiento 1, 2, 3, 4, ..., n de tal forma que la función de profundidad Z1(t) sea una función directa que cambie la profundidad de acuerdo con la variable “t”, la función de profundidad en Z2(t) es una función cuadrática, la función de profundidad Z3(t) es una función cúbica, la función de profundidad Z4(t) es una función cuadrática, ..., y la función de profundidad Zn(t) es una función a la n-ésima potencia, es posible definir una pluralidad de funciones de profundidad que difieren unas de otras en cuanto a la correlación entre la profundidad y el periodo de trama.
Al permitir que el dispositivo de reproducción seleccione una entre las secuencias de desplazamiento 1, 2, 3, 4, ..., n durante la operación, es posible seleccionar una función de profundidad óptima entre “las funciones de profundidad Z1(t), Z2(t), Z3(t), Z4(t), ..., Zn(t) y usarla en el modo de “1 plano + desplazamiento”, en respuesta a un cambio en el estado del dispositivo de reproducción o en respuesta a una solicitud del usuario. Con esta estructura, la profundidad de los gráficos puede cambiarse de manera diversa en el modo de “1 plano + desplazamiento”.
La pluralidad de secuencias de desplazamiento definidas en la presente realización especifica, respectivamente, una pluralidad de posiciones de presentación visual que difieren unas de otras en el cambio de profundidad con el tiempo. En consecuencia, al seleccionar una secuencia de desplazamiento adecuada entre la pluralidad de secuencias de desplazamiento, es posible disponer los gráficos en posiciones adecuadas.
Hasta el momento se ha descrito el primer significado técnico de la secuencia de desplazamiento. En lo sucesivo se describe el segundo significado técnico de la secuencia de desplazamiento.
El segundo significado técnico de la secuencia de desplazamiento es poder definir profundidades en correspondencia con porciones de un objeto en movimiento en la pantalla. En el caso del esqueleto de dinosaurio que se muestra en la figura 2, es obvio que las porciones tales como la cabeza, el cuerpo, las patas y la cola tienen diferentes profundidades. Además, en la imagen de vídeo, las profundidades de las porciones tales como la cabeza, el cuerpo, las patas y la cola cambiarían con el tiempo. A la vista de esto, los metadatos tienen la estructura de datos para definir una pluralidad de secuencias de desplazamiento que tienen parámetros de control para cada trama de GOP, donde los parámetros de control indican profundidades que son distancias a posiciones inmediatamente antes de las porciones tales como la cabeza, el cuerpo, las patas y la cola.
La figura 13 muestra un ejemplo de las profundidades definidas por las secuencias de desplazamiento con offset_sequence_id = 1, 2, 3 y 4.
Las secuencias de desplazamiento con offset_sequence_id = 1 y 2 especifican profundidades adecuadas de tal manera que un subtítulo / menú pueda disponerse entre el usuario y el dinosaurio. Las secuencias de desplazamiento, con offset_sequence_id = 3 especifican profundidades adecuadas de tal manera que un subtítulo / menú pueda disponerse detrás del dinosaurio. De estas, la secuencia de desplazamiento con offset_sequence_id = 1 define una profundidad de tal manera que el subtítulo / menú se disponga en una posición más cerca del usuario, entre el usuario y el dinosaurio. La secuencia de desplazamiento con offset_sequence_id = 2 define una profundidad de tal manera que el subtítulo / menú se disponga en una posición más cerca del dinosaurio, entre el usuario y el dinosaurio. La secuencia de desplazamiento con offset_sequence_id = 3 define una profundidad de tal manera que el subtítulo / menú se disponga en una línea a lo largo de las patas del dinosaurio. La secuencia de desplazamiento con offset_sequence_id = 4 define una profundidad de tal manera que el subtítulo / menú se disponga en una posición detrás del dinosaurio.
De esta manera, la presente invención puede definir los parámetros de control que indican profundidades que son distancias a posiciones inmediatamente antes de las porciones del objeto tal como la cabeza, el cuerpo, las patas y la cola, y pueden definir el desplazamiento con el tiempo de los parámetros de control. Por lo tanto, usando la estructura de datos definida por la sintaxis que se muestra en la figura 9, es posible lograr un control de desplazamiento preciso y sumamente adecuado, en el modo de “1 plano + desplazamiento”.
Incluso cuando el dinosaurio que se muestra en las figuras se mueva por la pantalla y una profundidad adecuada del subtítulo / menú cambie momentáneamente, el subtítulo / menú puede disponerse en una posición adecuada en relación con el dinosaurio.
Esto completa el segundo significado técnico de la secuencia de desplazamiento.
Las figuras 14A a 14C muestran la estructura interna del medio de grabación en la realización 1. Tal como se muestra, en la figura 14A, el medio de grabación de la realización 1 almacena un archivo de tablas de índice, un
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
archivo de programa de objeto de modos de funcionamiento, un archivo de información de listas de reproducción, un archivo de información de flujos y un archivo de flujo.
<Archivo de tablas de índices>
El archivo de tablas de índices es información de gestión del medio de grabación completo. El archivo de tablas de índices es el primer archivo que se leerá por un dispositivo de reproducción después de que el medio de grabación se cargue en el dispositivo de reproducción, de tal modo que se posibilita que el dispositivo de reproducción identifique de manera única al disco.
El archivo de tablas de índices muestra la correspondencia entre los objetos de modo de funcionamiento (los cuales definen los modos de funcionamiento) y una pluralidad de números de título que pueden almacenarse en el registro de números de título, provisto en el dispositivo de reproducción. Los títulos grabados en el medio de grabación son pares de (i) un objeto de modo de funcionamiento identificado por un número de título y (ii) una lista de reproducción reproducida a partir de ese objeto de modo de funcionamiento. En el presente caso, una película se corresponde con uno o más títulos que pueden ser una o más versiones de la película. Es decir, cuando una película sólo tiene una versión, la relación entre la película y los títulos se representa como “película = título”. Cuando una película tiene una pluralidad de versiones tales como una versión de cine, una versión de corte del director y una versión para TV, cada una de estas versiones se proporciona como un título.
Ha de observarse en el presente caso que los números de título que pueden almacenarse en el registro de números de título incluyen “0”, “1” a “999”, y un valor no definido “0xFFFF”. Un número de título “0” es un número de título del título de menú superior. El título de menú superior es un título que puede invocarse por una operación de invocación de menú llevada a cabo por el usuario. El número de título en el caso del valor no definido “0xFFFF” es un número de título del primer título de reproducción. El primer título de reproducción es un título que presenta visualmente una advertencia al espectador, un logotipo del proveedor de contenido y así sucesivamente inmediatamente después de que se carga el medio de grabación.
La tabla de índices incluye entradas (entradas de tabla de índices) en correspondencia una a una con números de título. Cada entrada de tabla de índices incluye un objeto de modo de funcionamiento que define un modo de funcionamiento. Con esta estructura, la tabla de índices define con detalle cómo funciona cada título en un modo de funcionamiento correspondiente. Las entradas de tabla de índices tienen la siguiente estructura de datos en común: la estructura de datos compuesta por “tipo de objeto”, “referencia de objeto de película” e “información de archivo de objetos”. El “tipo de objeto” indica si el tipo del objeto de modo de funcionamiento asociado con el título que se corresponde con la entrada es objeto de película u objeto de BD-J. La “información de archivo de objetos” indica un nombre de archivo de un objeto de BD-J asociado con el título. La “referencia de objeto de película” indica un identificador de un objeto de película asociado con el título.
En el dispositivo de reproducción, el valor del registro de números de título cambia en el orden de valor no definido “0xFFFF” -> cualquiera de “1” a “999” -> “0”. Este cambio en el número de título almacenado en el registro de números de título indica lo siguiente. Después de una carga del medio de grabación, en primer lugar se reproduce el primer título de reproducción; después del primer título de reproducción, se reproducen títulos que tienen cualquiera de los números de título “1” a “999”; y después de estos títulos, el título de menú superior se reproduce para esperar una selección por el usuario. Un título que tenga un número de título actualmente almacenado en el registro de números de título entre los números de título “1” a “999” es el objetivo de reproducción actual, en particular, el “título actual”. Cómo se establecen los números que se almacenarán en el registro de números de título se determina por la operación de usuario realizada en respuesta al título de menú superior y por el establecimiento del registro de números de título por el programa.
<Archivo de programa de objetos de modo de funcionamiento>
El archivo de programa de objetos de modo de funcionamiento almacena objetos de modo de funcionamiento que son programas que definen los modos de funcionamiento del dispositivo de reproducción. El objeto de modo de funcionamiento se clasifica en: uno que se escribe como un comando y uno que se escribe en un lenguaje de compilador orientado a objetos. El primer tipo de objeto de modo de funcionamiento suministra una pluralidad de comandos de navegación como un trabajo por lotes al dispositivo de reproducción en el modo de funcionamiento basado en comandos para hacer funcionar el dispositivo de reproducción sobre la base de los comandos de navegación. El modo de funcionamiento basado en comandos se denomina “modo de HDMV”.
El último tipo de objeto de modo de funcionamiento suministra instancias de estructura de clase al dispositivo de reproducción en el modo de funcionamiento sobre la base del lenguaje de compilador orientado a objetos, con el fin de hacer funcionar el dispositivo de reproducción sobre la base de las instancias. Pueden usarse aplicaciones Java™ como las instancias de estructura de clases. El modo de funcionamiento basado en el lenguaje de compilador orientado a objetos se denomina “modo de BD-J”.
15
25
35
45
55
65
E12174659
07-08-2014
<Archivo de información de listas de reproducción>
El archivo de información de listas de reproducción es un archivo que almacena información que se usa para dar lugar a que el dispositivo de reproducción reproduzca una lista de reproducción. La “lista de reproducción” indica una trayectoria de reproducción definida al especificar lógicamente un orden de reproducción de secciones de reproducción, donde las secciones de reproducción se definen en un eje de tiempo de flujos de transporte (TS, transport stream). La lista de reproducción desempeña un papel de definir una secuencia de escenas que se presentarán visualmente en orden, al indicar qué partes de qué TS entre una pluralidad de TS han de reproducirse. La información de listas de reproducción 1 define “patrones” de las listas de reproducción. La trayectoria de reproducción definida por la información de listas de reproducción es lo que se conoce como “multi-trayectoria”. La multi-trayectoria está compuesta por una “trayectoria principal” y una o más “sub-trayectorias”. La trayectoria principal se define para el TS principal. La sub-trayectoria se define para sub-flujos. Una pluralidad de subtrayectorias pueden definirse mientras se define una trayectoria principal. La pluralidad de sub-trayectorias se definen por identificadores que se denominan ID de sub-trayectoria. Las posiciones de capítulo se definen en el eje de tiempo de reproducción de la multi-trayectoria. Es posible lograr un acceso aleatorio por el dispositivo de reproducción a un punto de tiempo arbitrario en el eje de tiempo de la multi-trayectoria dando lugar a que el dispositivo de reproducción haga referencia a una de las posiciones de capítulo. En el modo de BD-J, es posible iniciar una reproducción de AV por la multi-trayectoria al indicar a una máquina virtual Java™ que genere una instancia de reproductor de JMF (Marco de Medios de Java, Java Media Frame work) para la reproducción de la información de listas de reproducción. La instancia de reproductor de JMF son datos que se generan realmente en la memoria de pila de la máquina virtual sobre la base de una clase de reproducción de JMF. En el modo de HDMV, es posible iniciar una reproducción de AV por la multi-trayectoria al dar lugar a que el dispositivo de reproducción ejecute un comando de navegación que indique que se lleve a cabo una reproducción de acuerdo con la lista de reproducción. El dispositivo de reproducción está provisto con un registro de números de listas de reproducción que almacena el número de la información de listas de reproducción actual. La información de listas de reproducción que se está reproduciendo actualmente es una de una pluralidad de fragmentos de información de listas de reproducción cuyo número está almacenado actualmente en el registro de números de listas de reproducción.
<Archivo de información de flujos>
Los archivos de información de flujos son archivos de información de clips que están provistos en correspondencia uno a uno con los archivos de flujo. El archivo de información de flujos indica: qué secuencia de ATC está constituida a partir de una secuencia de paquetes de origen que existen en el archivo de flujo; qué secuencia de STC está incorporada en la secuencia de ATC y qué TS es la secuencia de ATC.
El archivo de información de flujos indica los contenidos del archivo de flujo. Por lo tanto, cuando un TS en el archivo de flujo va a reproducirse, es necesario leer de manera preliminar, en la memoria, un archivo de información de flujos que se corresponde con el archivo de flujo. Es decir, en la reproducción de un archivo de flujo, se adopta el “principio de pre-almacenamiento”, en el cual el archivo de información de flujos se lee de manera preliminar en la memoria. La razón de que se adopte el principio de pre-almacenamiento es la siguiente. La estructura de datos del TS almacenado en el archivo de flujo tiene una compatibilidad con la norma europea de radiodifusión digital. De este modo, el flujo contiene información tal como PCR, PMT y PAT que hacen posible que el flujo se trate como un programa de difusión. Sin embargo, no es aconsejable extraer esta información cada vez que se lleve a cabo una reproducción. Esto se debe a que es necesario, cada vez que se lleva a cabo una reproducción, tener acceso a un medio de grabación de baja velocidad para leer paquetes que constituyen el TS, y analizar las cargas útiles de los paquetes de TS. Por lo tanto, los archivos de información de flujos se proporcionan en una correspondencia de uno a uno con los archivos de flujo que almacenan TS, y los archivos de información de flujos se leen en la memoria antes de que el flujo se reproduzca, de tal modo que la información de los TS puede captarse sin analizar las cargas útiles de los TS.
<Archivo de flujo>.
El archivo de flujo almacena una o más secuencias de paquetes de origen. El paquete de origen es un paquete de TS al que se le anexa un TP_Extra_Header de 4 bytes. El TP_Extra_Header está compuesto por un indicador de permiso de copia de 2 bits y una ATS (Marca de Tiempo de Llegada, Arrival_Time_Stamp) de 30 bits. La ATS incluida en el TP_Extra_Header indica un tiempo de llegada en una transferencia en tiempo real en la cual se asegura la isocronicidad.
Entre estas secuencias de paquetes de origen, una secuencia de paquetes de origen cuyas marcas de tiempo son continuas en el eje de tiempo de Reloj de Tiempo de Llegada (ATC, arrival time clock) se denomina “secuencia de ATC”. La secuencia de ATC es una secuencia de paquetes de origen, donde los Arrival_Time_Clock a los que se hace referencia por las Arrival_Time_Stamp incluidas en la secuencia de ATC no incluyen “discontinuidad de base de tiempo de llegada”. En otras palabras, la secuencia de ATC es una secuencia de paquetes de origen, donde los Arrival_Time_Clock a los que se hace referencia por las Arrival_Time_Stamp incluidas en la secuencia de ATC son continuos. Es por esto que cada paquete de origen que constituye la secuencia de ATC se somete a procesos de desempaquetado de paquetes de origen continuos y procesos de filtrado de paquetes continuos mientras el
15
25
35
45
55
65
E12174659
07-08-2014
contador de reloj está contando los relojes de tiempo de llegada del dispositivo de reproducción.
Mientras que la secuencia de ATC es una secuencia de paquetes de origen, una secuencia de paquetes de TS cuyas marcas de tiempo son continuas en el eje de tiempo de STC se denomina “secuencia de STC”. La secuencia de STC es una secuencia de paquetes de TS que no incluyen “discontinuidad de base de tiempo de sistema”, la cual se basa en el STC (Reloj de Tiempo de Sistema, system time clock) que es un tiempo convencional del sistema para los TS. La presencia de la discontinuidad de base de tiempo de sistema se indica por un “discontinuity_indicator” que está activo, donde el discontinuity_indicator está contenido en un paquete de PCR que porta una PCR (Referencia de Reloj de Programa, program clock reference) a la que se hace referencia por el descodificador para obtener un STC. La secuencia de STC es una secuencia de paquetes de TS cuyas marcas de tiempo son continuas en el eje de tiempo de STC. Por lo tanto, cada paquete de TS que constituye la secuencia de STC se somete a procesos de descodificación continua llevados a cabo por el descodificador provisto en el dispositivo de reproducción, mientras el contador de reloj está contando los relojes de tiempo de sistema del dispositivo de reproducción.
Cada uno del TS principal y el sub-TS en el archivo de flujo se gestiona como un “fragmento de flujo de AV”, en particular un “clip de AV”, por la información de clip en el archivo de información de flujo que se corresponde con el archivo de flujo. Asimismo, la secuencia de paquetes almacenada en el archivo de flujo contiene información de gestión de paquetes (PCR, PMT, PAT) definida en la norma europea de radiodifusión digital, como información para gestionar y controlar una pluralidad de tipos de flujos PES.
La PCR (Referencia de Reloj de Programa) almacena información de tiempo de STC que se corresponde con una ATS que indica el momento en el que el paquete de PCR se transfiere a un descodificador, para lograr la sincronización entre un ATC (Reloj de Tiempo de Llegada) que es un eje de tiempo de las ATS, y un STC (Reloj de Tiempo de Sistema) que es un eje de tiempo de las PTS y las DTS.
La PMT (Tabla de Correlaciones de Programa) almacena PID en los flujos de vídeo, audio, gráficos y similares contenidos en el archivo de flujo de transporte, e información de atributo de los flujos que se corresponde con los PID. La PMT tiene también varios descriptores en relación con el TS. Los descriptores tienen información tal como información de control de copia que muestran si se permite o no la copia del clip de AV.
La PAT (Tabla de Asociación de Programas, program association table) muestra un PID de una PMT usada en el TS, y se registra por la disposición de PID de la propia PAT.
Estas PCR, PMT y PAT, en la norma europea de radiodifusión digital, desempeñan un papel de definir flujos de transporte parciales que constituyen un programa de difusión (un programa). Esto hace posible que el dispositivo de reproducción de lugar a que el descodificador descodifique los TS como si se tratara de los TS parciales que constituyen un programa de difusión, conformándose a la norma europea de radiodifusión digital. Esta estructura está enfocada a soportar la compatibilidad entre los dispositivos de reproducción de medios de grabación y los dispositivos terminales que son conformes a la norma europea de radiodifusión digital. Entre los TS, un TS que es el eje base de la multi-trayectoria se denomina “TS principal”; y un TS que es el eje base de la sub-trayectoria se denomina “sub-TS”.
La figura 14B muestra la estructura interna del TS principal. La figura 14C muestra la estructura interna del sub-TS. Tal como se muestra en la figura 14B, el TS principal incluye un flujo de vídeo de vista base, 32 flujos de PG de vista base, 32 flujos de IG de vista base y 32 flujos de audio. Tal como se muestra en la figura 14C, el sub-TS incluye un archivo de vídeo de vista dependiente, 32 flujos de PG de vista dependiente y 32 flujos de IG de vista dependiente.
En lo sucesivo se describirá la estructura interna de TS.
Las figuras 15A y 15B ilustran con más detalle cómo se almacena el flujo de vídeo en las secuencias de paquetes de PES. La primera fila de la figura 15A muestra una secuencia de tramas de vídeo del flujo de vídeo. La segunda fila muestra una secuencia de paquetes de PES. La tercera fila muestra una secuencia de paquetes de TS obtenida al convertir la secuencia de paquetes de PES. Tal como se muestra por las flechas yg1, yg2, yg3 y yg4, el flujo de vídeo está compuesto por una pluralidad de unidades de presentación de vídeo (imagen I, imagen B, imagen P). El flujo de vídeo se divide en las imágenes individuales, y cada imagen se almacena en la carga útil de un paquete de PES. Cada paquete de PES tiene un encabezamiento de PES que almacena una PTS (Marca de Tiempo de Presentación) que es un tiempo de presentación visual de la imagen almacenada en la carga útil del paquete de PES, y una DTS (Marca de Tiempo de Descodificación) que es un tiempo de descodificación de la imagen almacenada en la carga útil del paquete de PES.
<Secuencia de paquetes de TS>
La figura 15B muestra el formato de los paquetes de TS que constituyen el TS. La primera fila muestra una secuencia de paquetes de TS. La segunda fila muestra una secuencia de paquetes de origen.
15
25
35
45
55
65
E12174659
07-08-2014
Tal como se muestra en la primera fila de la figura 15B, cada paquete de TS es un paquete de longitud fija que consiste en un “encabezamiento de TS” de 4 bytes que lleva información tal como un PID que identifique el flujo, y una “carga útil de TS” de 184 bytes que almacena datos. Los paquetes de PES se dividen y se almacenan en las cargas útiles de TS.
Tal como se muestra en la segunda fila, a cada paquete de TS se le adjunta un TP_Extra_Header “de 4 bytes que se convertirá en un paquete de origen de 192 bytes. Estos paquetes de origen de 192 bytes constituyen el TS. El TP_Extra_Header almacena información tal como una ATS (Arrival_Time_Stamp). La ATS muestra un tiempo de inicio de transferencia en el que el paquete de TS va a transferirse a un filtro PID. Los paquetes de origen se disponen en el TS tal como se muestra en la tercera fila. Los números que se incrementan desde el encabezamiento del TS se denominan SPN (números de paquetes de origen).
<Multiplexión de flujos de transporte>
La figura 16 muestra de manera esquemática cómo se multiplexa el TS principal. En primer lugar, un flujo de vídeo de vista base y un flujo de audio (primera fila) se convierten respectivamente en secuencias de paquetes de PES (segunda fila) y se convierten además en secuencias de paquetes de origen, respectivamente (tercera fila). De manera similar, el flujo de gráficos de presentación de vista base y el flujo de gráficos interactivos de vista base (séptima fila) se convierten en secuencias de paquetes de PES, respectivamente (sexta fila) y se convierten además en secuencias de paquetes de origen, respectivamente (quinta fila). Los paquetes de origen de vídeo, audio y gráficos obtenidos de esta manera se disponen en el orden indicado por sus ATS. Es decir, debido a que los paquetes de origen han de leerse en la memoria de almacenamiento temporal de lectura de acuerdo con sus ATS. El TS principal (cuarta fila) está compuesto por estos paquetes de origen que se han dispuesto de esta manera.
-Flujos elementales que se multiplexarán en TS
Los flujos elementales (ES) que se multiplexarán en estos TS incluyen el flujo de vídeo, el flujo de audio, el flujo de gráficos de presentación y el flujo de gráficos interactivos.
-Flujo de vídeo
El flujo de vídeo especificado como el flujo de vista base constituye un flujo de vídeo primario en una aplicación de imagen en imagen. La aplicación de imagen en imagen está compuesta por el flujo de vídeo primario y un flujo de vídeo secundario. El flujo de vídeo primario es un flujo de vídeo compuesto por datos de imagen de la aplicación de imagen en imagen que representa una imagen progenitora en la pantalla; y el flujo de vídeo secundario es un flujo de vídeo compuesto por datos de imagen de la aplicación de imagen en imagen que representa una imagen hija que se ajusta en la imagen progenitora.
Los datos de imagen que constituyen el flujo de vídeo primario y los datos de imagen que constituyen el flujo de vídeo secundario se almacenan en diferentes memorias de planos después de descodificarse. La memoria de planos que almacena los datos de imagen que constituyen el flujo de vídeo secundario tiene, en la primera mitad de la misma, un elemento estructural (Cambio de escala y Colocación) que lleva a cabo el cambio de escala de los datos de imagen que constituyen el flujo de vídeo secundario, y la colocación de las coordenadas de presentación visual de los datos de imagen que constituyen el flujo de vídeo secundario.
-Flujo de audio
El flujo de audio se clasifica en un flujo de audio primario y un flujo de audio secundario. El flujo de audio primario es un flujo de audio que va a ser un audio principal cuando se lleve a cabo la reproducción de mezcla; y el flujo de audio secundario es un flujo de audio que va a ser un audio secundario cuando se lleve a cabo la reproducción de mezclas. El flujo de audio secundario incluye información para sub-muestrear la mezcla, e información para el control de ganancia.
-Flujo de gráficos de presentación (PG, presentation graphics)
El flujo de PG es un flujo de gráficos que puede sincronizarse estrechamente con el vídeo, con la adopción de la canalización en el descodificador y es adecuado para representar subtítulos. El flujo de PG cae dentro de dos tipos: un flujo de PG de 2D; y un flujo de PG estereoscópico. El flujo de PG estereoscópico cae además dentro de dos tipos: un flujo de PG de vista izquierda y un flujo de PG de vista derecha. Uno del flujo de PG de vista izquierda y el flujo de PG de vista derecha que se especifica por el indicador de vista base se vuelve el flujo de PG de vista base, y el otro que no se especifica por el indicador de vista base se vuelve el flujo de PG de vista dependiente.
La razón de que se proporcione el flujo de PG estereoscópico así como el flujo de PG de 2D es la siguiente. Por ejemplo, cuando el flujo de PG representa caracteres de subtítulo, los caracteres de subtítulo desde una vista anterior que se presentará visualmente en el modo de 2D, y los caracteres de subtítulo para el ojo izquierdo y el ojo derecho que se presentarán visualmente en el modo de 3D-LR han de ser diferentes unos de otros. Por esta razón,
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
un flujo de gráficos de una imagen proveniente de una vista anterior se presenta visualmente en el modo de 2D, y dos flujos de gráficos (flujo de PG de vista izquierda y flujo de PG de vista derecha) se presentan visualmente en el modo de 3D-LR. De manera similar, en el modo de profundidad de 3D se reproducen una imagen de una vista anterior y un flujo de escala de grises que indica la información de profundidad. El flujo de 2D + desplazamiento (compatible con 2D) y el flujo de 3D-LR no deberían proporcionarse mezclados.
Es posible definir hasta 32 flujos de PG de 2D, hasta 32 flujos de PG de vista base y hasta 32 flujos de PG de vista dependiente. A estos flujos de PG se les anexan diferentes identificadores de paquete. De este modo, es posible dar lugar a que un flujo de PG deseado entre estos flujos de PG se someta a la reproducción, al especificar un identificador de paquete del que se reproducirá a la unidad de desmultiplexión.
El flujo de PG de vista izquierda y el flujo de PG de vista derecha han de tener el mismo atributo de lenguaje de tal manera que incluso si el usuario cambia un método de presentación visual, un subtítulo que tenga los mismos contenidos se presente visualmente. Se supone por lo tanto que los subtítulos de 2D y los subtítulos de 3D se corresponden unos con otros según una función uno a uno, y que no han de proporcionarse un subtítulo de 2D que no tenga un subtítulo de 3D correspondiente o un subtítulo de 3D que no tenga un subtítulo de 2D correspondiente. Esto es para impedir que el usuario se confunda cuando se cambie el método de presentación visual. Con esta estructura, cuando se especifica un número de flujo se seleccionan flujos que se corresponden, respectivamente, con los modos de presentación visual de 2D y 3D. En tal caso, el un número de flujo ha de corresponderse con el mismo atributo de idioma de tal manera que los contenidos de los subtítulos para el 2D y LR sean iguales.
Una estrecha sincronización con vídeo se logra gracias a la descodificación con la canalización adoptada en el mismo. De esta manera, el uso del flujo de PG no está limitado a la reproducción de caracteres tal como los caracteres de subtítulo. Por ejemplo, es posible presentar visualmente un personaje de mascota de la película que se esté moviendo en sincronización con el vídeo. De esta manera, cualquier reproducción de gráficos que requiera una estrecha sincronización con el vídeo se puede adoptar como un objetivo de la reproducción por el flujo de PG.
El flujo de PG es un flujo que no se multiplexa en el flujo de transporte pero representa un subtítulo. El flujo de subtítulos de texto (al que también se hace referencia como flujo de textST) también es un flujo de este tipo. El flujo de textST es un flujo que representa los contenidos de subtítulo por los códigos de caracteres.
El flujo de PG y el flujo de subtítulos de texto se registran como el mismo tipo de flujo en la misma secuencia de registro de flujo, sin distinción entre ellos en cuanto a su tipo. Y, a continuación, durante la ejecución de un procedimiento para seleccionar un flujo, un flujo de PG o un flujo de subtítulos de texto que se reproducirán se determina de acuerdo con el orden de flujos registrado en la secuencia de registro de flujo. De esta manera, los flujos de PG y los flujos de subtítulos de texto se someten al procedimiento de selección de flujos sin distinción entre ellos en cuanto a su tipo. Por lo tanto, se les trata como pertenecientes a un mismo tipo de flujo que se denomina “flujo de subtítulos de PG_text”.
El flujo de subtítulos de PG_text para 2D se reproduce en el modo de “1 plano + desplazamiento”. En lo sucesivo en el presente documento, se hace referencia al flujo de subtítulos de PG_text como un flujo de subtítulos de PG_text de “1 plano + desplazamiento”.
-Flujo de gráficos interactivos (IG)
El flujo de IG es un flujo de gráficos que, al tener información para un funcionamiento interactivo, puede presentar visualmente menús con el avance de la reproducción del flujo de vídeo y presentar visualmente menús emergentes de acuerdo con operaciones de usuario.
Como es el caso con el flujo de PG, el flujo de IG se clasifica en un flujo de IG de 2D y un flujo de IG estereoscópico. El flujo de IG estereoscópico se clasifica en un flujo de IG de vista izquierda y un flujo de IG de vista derecha. Uno del flujo de IG de vista izquierda y el flujo de IG de vista derecha que se especifica por el indicador de vista base se vuelve el flujo de IG de vista base, y el otro que no se especifica por el indicador de vista base se vuelve el flujo de IG de vista dependiente. Es posible definir hasta 32 flujos de IG de 2D, hasta 32 flujos de IG de vista base y hasta 32 flujos de IG de vista dependiente. A estos flujos de IG se les anexan diferentes identificadores de paquete. De este modo, es posible dar lugar a que un flujo de IG deseado entre estos flujos de IG se someta a la reproducción, al especificar un identificador de paquete del que se reproducirá a la unidad de desmultiplexión.
La información de control de flujo de IG (que se denomina “segmento de control interactivo”) incluye información (user_interface_model) que define el modelo de interfaz de usuario. La persona a cargo de la creación puede especificar ya sea “siempre activo” o “menú emergente activo” al establecer la información de modelo de interfaz de usuario, donde con “siempre activo” se presentan visualmente menús con el avance de la reproducción del flujo de vídeo, y con el “menú emergente activo”, se presentan visualmente los menús emergentes de acuerdo con operaciones de usuario.
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
La información de funcionamiento interactivo en el flujo de IG tiene el siguiente significado. Cuando la máquina virtual Java indica al motor de control de reproducción, el cual es proactivo en el control de reproducción, que empiece a reproducir una lista de reproducción de acuerdo con una solicitud proveniente de una aplicación, la máquina virtual Java, después de indicar al motor de control de reproducción que empiece la reproducción, devuelve una respuesta a la aplicación para notificar que la reproducción de la lista de reproducción se ha iniciado. Es decir, mientras la reproducción de la lista de reproducción por el motor de control de reproducción continúa, la máquina virtual Java no entra en el estado de espera de la conclusión de la ejecución. Esto se debe a que la máquina virtual Java es lo que se conoce como un ejecutor de “tipo accionado por eventos”, y puede llevar a cabo el funcionamiento mientras el motor de control de reproducción está reproduciendo la lista de reproducción.
Por otro lado, cuando, en el modo de HDMV, el intérprete de comandos indica al motor de control de reproducción que reproduzca una lista de reproducción, entra en el estado de espera hasta que concluya la ejecución de la reproducción de la lista de reproducción. En consecuencia, la unidad de ejecución de comandos no puede ejecutar un proceso interactivo mientras la reproducción de la lista de reproducción por el motor de control de reproducción continúa. El descodificador de gráficos lleva a cabo un funcionamiento interactivo en el lugar del intérprete de comandos. De este modo, para dar lugar a que el descodificador de gráficos lleve a cabo el funcionamiento interactivo, el flujo de IG se inserta con información de control que define operaciones interactivas para las cuales se usan botones.
-Modos de presentación visual permitidos para cada tipo de flujo
Diferentes modos de presentación visual de 3D se permiten para cada tipo de flujo. En el modo de presentación visual de 3D de flujo de vídeo primario, se permiten dos modos de reproducción, en particular, el modo de presentación de B-D y el modo de presentación de B-B. El modo de presentación de B-B se permite para el flujo de vídeo primario sólo cuando el menú emergente está activo. El tipo de flujo de vídeo primario cuando la reproducción se lleva a cabo en el modo de presentación de B-D se denomina “tipo de reproducción de B-D estereoscópica”. El tipo de flujo de vídeo primario cuando la reproducción se lleva a cabo en el modo de presentación de B-B se denomina “tipo de reproducción de B-B estereoscópica”.
En el modo de presentación visual de 3D de flujos de PG, se permiten tres modos de reproducción, en particular el modo de presentación de B-D, el modo de “1 plano + desplazamiento” y el modo de “1 plano + desplazamiento cero”. El modo de “1 plano + desplazamiento cero” se permite para el flujo de PG sólo cuando el menú emergente esté en activo. El tipo de flujo de PG cuando la reproducción se lleva a cabo en el modo de presentación de B-D se denomina “tipo de reproducción estereoscópica”. El tipo de flujo de PG y el flujo de subtítulos de PG_text cuando la reproducción se lleva a cabo en el modo de “1 plano + desplazamiento” se denomina “tipo de 1 plano + desplazamiento”. El tipo de flujo de PG y el flujo de subtítulos de PG_text cuando la reproducción se lleva a cabo en el modo de “1 plano + desplazamiento cero” se denomina “tipo de 1 plano + desplazamiento cero”.
En el modo de presentación visual de 3D de flujos de subtítulo de texto, se permiten dos modos de reproducción, en particular el modo de “1 plano + desplazamiento” y el modo de “1 plano + desplazamiento cero”. El modo de “1 plano
+ desplazamiento cero” se permite para el flujo de subtítulos de texto sólo cuando el menú emergente está activo.
En el modo de presentación visual de 3D de flujos de IG, se permiten tres modos de reproducción, en particular el modo de presentación de B-D, el modo de “1 plano + desplazamiento” y el modo de “1 plano + desplazamiento cero”. El modo de “1 plano + desplazamiento cero” se permite para el flujo de IG sólo cuando el menú emergente está activo. Se supone en la siguiente descripción, excepto cuando se mencione lo contrario, que la imagen en imagen no puede usarse durante la reproducción en el modo de reproducción de 3D. Esto se debe a que cada una de la imagen en imagen y el modo de reproducción de 3D requiere dos planos de vídeo para almacenar datos de imagen no comprimidos. También se supone en la siguiente descripción, excepto cuando se mencione lo contrario, que la mezcla de sonido no se puede usar en el modo de reproducción de 3D.
En lo sucesivo se describirán las estructuras internas del TS principal y el sub-TS. Las figuras 17A y 17B muestran las estructuras internas del TS principal y el sub-TS.
La figura 17A muestra la estructura interna del TS principal. El TS principal está compuesto por los siguientes paquetes de origen.
Un paquete de origen que tiene el ID de paquete “0x0100” constituye una tabla de correlaciones de programa (PMT, program_map table). Un paquete de origen que tiene el ID de paquete “0x0101” constituye una PCR.
Una secuencia de paquetes de origen que tiene el ID de paquete “0x1011” constituye el flujo de vídeo primario.
Las secuencias de paquete de origen que tienen los ID de paquete “0x1200” a “0x121F” constituyen 32 flujos de PG de 2D.
15
25
35
45
55
65
E12174659
07-08-2014
Las secuencias de paquetes de origen que tienen los ID de paquete “0x1400” a “0x141F” constituyen 32 flujos de IG de 2D.
Las secuencias de paquetes de origen que tienen los ID de paquete “0x1100” a “0x111F” constituyen flujos de audio primarios.
Al especificar identificadores de paquete de uno de estos paquetes de origen a la unidad de desmultiplexión, es posible dar lugar a un flujo elemental deseado entre una pluralidad de flujos elementales multiplexados en los flujos de transporte principal que se desmultiplexarán y se someterán al descodificador.
La figura 17B muestra la estructura interna del sub-TS. El sub-TS está compuesto por los siguientes paquetes de origen.
Una secuencia de paquetes de origen que tiene el ID de paquete “0x1012” constituye el flujo de vídeo de vista dependiente.
Las secuencias de paquetes de origen que tienen los ID de paquete “0x1220” a “0x123F” constituyen 32 flujos de PG de vista base.
Las secuencias de paquetes de origen que tienen los ID de paquete “0x1240” a “0x125F” constituyen 32 flujos de PG de vista dependiente.
Las secuencias de paquetes de origen que tienen los ID de paquete “0x1440” a “0x143F” constituyen 32 flujos de IG de vista base.
Las secuencias de paquetes de origen que tienen los ID de paquete “0x1220” a “0x145F” constituyen 32 flujos de IG de vista dependiente.
Esto completa la descripción del archivo de flujo. En lo sucesivo se da una explicación detallada de la información de listas de reproducción.
Para definir la multi-trayectoria que se ha descrito en lo que antecede, se proporcionan las estructuras internas que se muestran en las figuras 18A a 18D. La figura 18A muestra la estructura interna de la información de listas de reproducción. Tal como se muestra en la figura 18A, la información de listas de reproducción incluye información de trayectoria principal, información de sub-trayectoria, información de marcas de listas de reproducción y datos de extensión. Estos elementos constitutivos se describirán en lo sucesivo.
1) La información de trayectoria principal está compuesta por uno o más fragmentos de información de sección de reproducción principal. La figura 18B muestra las estructuras internas de la información de trayectoria principal y la información de sub-trayectoria. Tal como se muestra en la figura 18B, la información de trayectoria principal está compuesta por uno o más fragmentos de información de sección de reproducción principal, y la información de subtrayectoria está compuesta por uno o más fragmentos de información de sección de reproducción secundaria.
La información de sección de reproducción principal, que se denomina información de listas de reproducción, es información que define una o más de secciones de reproducción lógicas al definir uno o más pares de un punto de tiempo “in_time” (tiempo de entrada) y un punto de tiempo “out_time” (tiempo de salida), en el eje de tiempo de reproducción TS. El dispositivo de reproducción está provisto con un registro de números de elementos de reproducción que almacena el número de elementos de reproducción del elemento de reproducción actual. El elemento de reproducción que se está reproduciendo actualmente es uno de la pluralidad de elementos de reproducción cuyo número de elemento de reproducción se está almacenando actualmente en el registro del número de elementos de reproducción.
La figura 18C muestra la estructura interna de la información de elementos de reproducción. Tal como se muestra en la figura 18C, la información de elementos de reproducción incluye información de referencia de flujos, información de tiempo de entrada tiempo de salida, información de estado de conexión y una tabla de selección de flujos básicos.
La información de referencia de flujos incluye: “información de nombres de archivos de información de clip (clip_Information_file_name)” que indica el nombre de archivo del archivo de información de clips que gestiona, como “clips de AV”, los flujos de transporte que constituyen el elemento de reproducción; “identificador de método de codificación de clips (clip_codec_identifier)” que indica el método de codificación de flujo de transporte y “referencia de identificador de STC (STC_ID_reference)” que indica secuencias de STC en las cuales se establecen el tiempo de entrada y el tiempo de salida, entre las secuencias de STC del flujo de transporte.
El elemento de reproducción como una sección de reproducción tiene una estructura jerárquica compuesta por información de elementos de reproducción, información de clips y clip de AV. Es posible establecer una relación de
15
25
35
45
55
65
E12174659
07-08-2014
uno a muchos entre (i) un par de clip de AV e información de clip y (ii) información de elementos de reproducción de tal forma que pueda hacerse referencia a un clip de AV por una pluralidad de fragmentos de información de elementos de reproducción. Esto hace posible adoptar, como una película banco, un clip de AV creado para un título de tal manera que pueda hacerse referencia a la película banco por una pluralidad de fragmentos de información de elementos de reproducción, haciéndose posible crear una pluralidad de variaciones de una película de forma efectiva. Ha de observarse que “película banco” es una expresión que se usa en la industria cinematográfica y significa una imagen que se usa en una pluralidad de escenas.
Cuando puede hacerse referencia a un clip de AV como una película banco por una pluralidad de fragmentos de información de elementos de reproducción, se puede solicitar lograr que una sección diferente de la película banco pueda reproducirse dependiendo del fragmento de información de elemento de reproducción que haga referencia a la película banco. Para satisfacer la solicitud, en particular para hacer posible que una sección diferente de la película banco se reproduzca dependiendo del fragmento de información del elemento de reproducción que haga referencia a la película banco, la información de elementos de reproducción está provista con “In_Time” y “Out_Time” tal como se ha descrito en lo que antecede de tal manera que puedan usarse puntos de tiempo arbitrarios en el eje de tiempo de reproducción de flujo como un punto de partida y un punto final de la sección de reproducción.
Asimismo, cuando puede hacerse referencia a un clip de AV como una película banco por una pluralidad de fragmentos de información de elementos de reproducción, se puede solicitar lograr que un diferente audio, subtítulo
o menú pueda usarse dependiendo del fragmento de información de elementos de reproducción que hace referencia a la película banco. Para satisfacer la solicitud, en particular para hacer posible que un audio, subtítulo o menú diferente se use dependiendo del fragmento de información de elemento de reproducción que haga referencia a la película banco, la información de elementos de reproducción está provista con la misma tabla de selección de flujos que se ha descrito en lo que antecede. Con el uso de la tabla de selección de flujos es posible permitir una reproducción de un flujo elemental que sea más adecuada para el usuario de la película banco, entre los flujos elementales multiplexados en el clip de AV a los que se hace referencia por la información de elementos de reproducción que es la trayectoria principal y entre los flujos elementales multiplexados en el clip de AV al que se hace referencia por la información de sub-elementos de reproducción que es la sub-trayectoria principal.
Esto completa la información de elementos de reproducción.
2) La información de sección de sub-reproducción, que se denomina información de sub-trayectoria, está compuesta por una pluralidad de fragmentos de información de sub-elementos de reproducción. La figura 18D muestra la estructura interna de la información de sub-elementos de reproducción. Tal como se muestra en la figura 12D, la información de sub-elementos de reproducción es información que define unas secciones de reproducción al definir pares de un “in_time” y un “out_time” en el eje de tiempo de secuencia de STC, e incluye información de referencia de flujos, información de tiempo de entrada tiempo de salida, información de elementos de reproducción sincronizados e información de tiempo de inicio de sincronización.
El flujo hace referencia a información, como en la información de elementos de reproducción, incluye: “identificación de nombre de archivo de información de clips”, “identificador de métodos de codificación de clip” y “referencia de identificador de STC”.
La “información de tiempo de entrada tiempo de salida (SubPlayItem_In_Time, SubPlayItem_Out_Time)” modifica el punto de inicio y el punto final del sub-elemento de reproducción en el eje de tiempo de secuencia de STC.
La “referencia de elementos de reproducción sincronizados (Sync_Playitem_Id)” es una información que indica de manera única un elemento de reproducción con el cual el sub-elemento de reproducción va a sincronizarse. El subelemento de reproducción In_Time existe en el eje de tiempo de reproducción del elemento de reproducción especificado por este identificador de elementos de reproducción sincronizado.
La “información de tiempo de inicio sincronizada (Sync_Start_PTS_of_Playitem)” indica un punto de tiempo en el eje de tiempo de secuencia de STC del elemento de reproducción especificado por el identificador de elementos de reproducción sincronizado, que se corresponde con el punto de inicio del sub-elemento de reproducción, especificado por el sub-elemento de reproducción In_Time.
3) La información de marcas de listas de reproducción es información que incluye el punto de marca único para la sección de reproducción. La información de marca de listas de reproducción incluye un indicador que indica una sección de reproducción, una marca de tiempo que indica la posición de un punto de marca en el eje de tiempo del flujo digital, e información de atributos que indica el atributo del punto de marca. La información de atributos indica si el punto de marca definido por la información de marca de listas de reproducción es un punto de enlace o una marca de entrada.
El punto de enlace es un punto de marca que puede enlazarse por el comando de enlace, pero no se puede seleccionar cuando el usuario indica la operación de salto de capítulo.
15
25
35
45
55
65
E12174659
07-08-2014
La marca de entrada es un punto de marca que puede enlazarse por el comando de enlace, y puede seleccionarse incluso si el usuario indica la operación de salto de capítulo.
El comando de enlace integrado en la información de botón del flujo de IG especifica una posición para una reproducción de acceso aleatorio, en forma de una referencia indirecta por medio de la información de marca de lista de reproducción.
<Tabla de selección de flujos básicos (StreamNumber_table)>
La tabla de selección de flujos básicos muestra una lista de flujos elementales que van a reproducirse en un modo de reproducción monoscópica, y la tabla, cuando un elemento de reproducción que contiene una tabla de selección de flujos básicos a su vez se vuelve el elemento de reproducción actual entre una pluralidad de elementos de reproducción que constituyen la lista de reproducción, especifica, para cada uno de la pluralidad de tipos de flujo, un ES al que se permite que se reproduzca, entre los ES multiplexados en clips de AV a los que se hace referencia por la trayectoria principal y la sub-trayectoria de la multi-trayectoria. En el presente caso, los tipos de flujo incluyen: el flujo de vídeo primario en la imagen en imagen; el flujo de vídeo secundario en la imagen en imagen; el flujo de audio primario en la mezcla de sonido; el flujo de audio secundario en la mezcla de sonido; el flujo de subtítulos PG_text y el flujo de gráficos interactivos. Es posible registrar un ES al que se permita que se reproduzca, para cada uno de estos tipos de flujo. De manera más específica, la tabla de selección de flujos básicos está compuesta por secuencias de registros de flujos. En el presente caso, el registro de flujo es información que, cuando un elemento de reproducción que contiene la tabla de selección de flujos básicos a su vez se vuelve el elemento de reproducción actual, indica qué tipo de flujo es el ES que se permite que se reproduzca. Cada registro de flujo está asociado con el número de flujo del flujo. Cada registro de flujo tiene una estructura de datos en la cual un par de una entrada de flujo y un atributo de flujo está asociado con un número de flujo lógico.
El número de flujo en el registro de flujo se representa por un entero tal como “1”, “2” o “3”. El número de flujo más grande para un tipo de flujo es idéntico al número de flujos para el tipo de flujo.
El dispositivo de reproducción está provisto con un registro de números de flujos para cada tipo de flujo, y el flujo actual, en particular el ES que se está reproduciendo actualmente, se indica por el número de flujo almacenado en el registro de números de flujos.
Un identificador de paquete del ES que se reproducirá se escribe en la entrada de flujo. Al hacer uso de esta estructura en la cual un identificador de paquete del ES que se reproducirá puede escribirse en la entrada de flujo, los números de flujo incluidos en los registros de flujo se almacenan en los registros de números de flujo del dispositivo de reproducción, y el dispositivo de reproducción da lugar a que el filtro PID del mismo lleve a cabo un filtrado de paquetes sobre la base de los identificadores de paquete almacenados en las entradas de flujo de los registros de flujo. Con esta estructura, los paquetes de TS de los ES a los que se les permite que se reproduzcan de acuerdo con la tabla de selección de flujos básicos se envían al descodificador, de tal modo que los ES se reproducen.
En la tabla de selección de flujos básicos, los registros de flujo se disponen en un orden de números de flujo. Cuando hay una pluralidad de flujos que satisfacen las condiciones: “reproducible por dispositivo de reproducción” y “el atributo de idioma del flujo coincide con el ajuste de idioma en el dispositivo”, se selecciona un flujo que se corresponde con el número de flujo más alto en las secuencias de registro de flujo.
Con esta estructura, cuando se encuentra un flujo que no puede reproducirse por el dispositivo de reproducción, entre los registros de flujo en la tabla de selección de flujos básicos, el flujo se excluye de la reproducción. Asimismo, cuando hay una pluralidad de flujos que satisfacen las condiciones: “reproducible por el dispositivo de reproducción” y “el atributo de idioma del flujo coincide con el ajuste de idioma en el dispositivo”, la persona a cargo de la creación puede transmitir al dispositivo de reproducción cómo seleccionar uno con prioridad de entre la pluralidad de flujos.
Se evalúa si hay un flujo que satisfaga las condiciones: “reproducible por dispositivo de reproducción” y “el atributo de idioma del flujo coincide con el ajuste de idioma en el dispositivo”. Asimismo, se selecciona un flujo de entre una pluralidad de flujos que satisfagan las condiciones. El procedimiento para la evaluación y selección se denomina “procedimiento de selección de flujos”. El procedimiento de selección de flujos se ejecuta cuando el elemento de reproducción actual se cambia, o cuando una solicitud para cambiar el flujo se introduce por el usuario.
Un procedimiento secuencial para llevar a cabo la evaluación y selección que se han descrito en lo que antecede y establecer un número de flujo en el registro de números de flujo del dispositivo de reproducción cuando tiene lugar un cambio de estado en el dispositivo de reproducción, tal como cuando el elemento de reproducción actual se cambia, se denomina “procedimiento que se ejecutará en el cambio de estado”. Debido a que los registros de números de flujo se proporcionan respectivamente en correspondencia con los tipos de flujo, el procedimiento que se ha descrito en lo que antecede se ejecuta para cada tipo de flujo.
15
25
35
45
55
65
E12174659
07-08-2014
Un procedimiento secuencial para llevar a cabo la evaluación y selección que se han descrito en lo que antecede y establecer un número de flujo en el registro de números de flujo del dispositivo de reproducción cuando una solicitud de cambiar el flujo se introduzca por el usuario se denomina “solicitud de procedimiento en cambio de estado”.
Un procedimiento para establecer los registros de números de flujo a los valores iniciales de las secuencias de registro de flujo cuando se cargue un BD-ROM, se denomina “inicialización”.
Las prioridades se asignan de manera uniforme a los flujos especificados en la información de sub-elementos de reproducción y los flujos especificados en la información de elementos de reproducción, tal como se indica por las secuencias de registro de flujo en la tabla de selección de flujos básicos. Como resultado, incluso un flujo no multiplexado con un flujo de vídeo se selecciona para su selección como un flujo que se reproducirá en sincronización con el flujo de vídeo, si el flujo se especifica por la información de sub-elementos de reproducción.
Además, cuando el dispositivo de reproducción pueda reproducir un flujo especificado por la información de subelementos de reproducción, y cuando la prioridad del flujo especificado por la información de sub-elementos de reproducción es más alta que la prioridad del flujo de gráficos multiplexado con el flujo de vídeo, el flujo especificado por la información de sub-elementos de reproducción se reproduce en lugar del flujo multiplexado con el flujo de vídeo. Las figuras 19A y 19B muestran un ejemplo de la tabla de selección de flujos básicos. La figura 19A muestra una pluralidad de secuencias de registro de flujos que se proporcionan en la tabla de selección de flujos básicos cuando existen los siguientes tipos de flujo: flujo de vídeo primario; flujo de audio primario; flujo de PG; flujo de IG; flujo de vídeo secundario y flujo de audio secundario. La figura 19B muestra los flujos elementales que se desmultiplexan del TS principal y los sub-TS con el uso de la tabla de selección de flujos básicos. El lado izquierdo de la figura 19B muestra el TS principal y los sub-TS, la parte media de la figura 19B muestran la tabla de selección de flujos básicos y la unidad de desmultiplexión, y el lado derecho de la figura 19B muestra el flujo de vídeo primario, el flujo de audio primario, el flujo de PG, el flujo de IG, el flujo de vídeo secundario y el flujo de audio secundario que se desmultiplexan sobre la base de la tabla de selección de flujos básicos.
En lo sucesivo se describirán con detalle los datos de extensión.
Cuando la lista de reproducción constituye una aplicación de imagen en imagen, los metadatos de imagen en imagen tienen que almacenarse en un bloque de datos de datos de extensión en el archivo de listas de reproducción. Cuando la información de listas de reproducción hace referencia al flujo de vídeo de MVC, una tabla de selección de flujos extendida tiene que almacenarse en un bloque de datos de datos de extensión en el archivo de información de listas de reproducción.
Cuando la información de listas de reproducción hace referencia al flujo de vídeo de MVC en el disco, o el flujo de vídeo de MVC en el menú de reproducción de flujos de IG estereoscópicos, la información de extensión de la información de sub-trayectoria de (extensión de bloque de sub-trayectoria) tiene que almacenarse en un bloque de datos de datos de extensión en el archivo de información de listas de reproducción.
Otros objetos de los datos de extensión en la información de listas de reproducción se suspenden.
Cuando un dispositivo de reproducción de 2D encuentra datos de extensión desconocidos en el archivo de listas de reproducción, el dispositivo de reproducción de 2D ha de ignorar los datos de extensión.
<Tabla de selección de flujos de extensión (StreamNumber_table_StereoScopic (SS))>
La tabla de selección de flujos de extensión muestra una lista de flujos elementales que se reproducirán en un modo de reproducción estereoscópica, y se usa junto con la tabla de selección de flujos básicos únicamente en el modo de reproducción estereoscópica. La tabla de selección de flujos de extensión define los flujos elementales que pueden seleccionarse cuando un elemento de reproducción se reproduzca o cuando una sub-trayectoria relacionada con el elemento de reproducción se reproduzca.
La tabla de selección de flujos de extensión indica los flujos elementales que se permite que se reproduzcan sólo en el modo de reproducción estereoscópica, e incluye secuencias de registro de flujo. Cada fragmento de información de registro de flujo en las secuencias de registro de flujo incluye un número de flujo, y una entrada de flujo y un atributo de flujo que se corresponde con el número de flujo. La tabla de selección de flujos de extensión significa una extensión que es única para el modo de reproducción estereoscópica. Por lo tanto, una lista de reproducción para la cual cada fragmento de información de elementos de reproducción esté asociado con la tabla de selección de flujos de extensión (STN_table_SS) se denomina “lista de reproducción de 3D”.
Cada entrada de flujo en la tabla de selección de flujos de extensión indica un identificador de paquete que va a usarse en la desmultiplexión por el dispositivo de reproducción, cuando el dispositivo de reproducción esté en el modo de reproducción estereoscópica, y el número de flujo correspondiente se establece en el registro de números de flujo del dispositivo de reproducción. Una diferencia de la tabla de selección de flujos básicos es que las
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
secuencias de registro de flujo en la tabla de selección de flujos de extensión no se seleccionarán por el procedimiento de selección de flujos. Es decir, la información de registro de flujo en las secuencias de registro de flujo de la tabla de selección de flujos básicos se interpreta como las prioridades de los flujos elementales, y un número de flujo en cualquier fragmento de información de registro de flujo se escribe en el registro de números de flujo. Por el contrario, las secuencias de registro de flujo de la tabla de selección de flujos de extensión no se seleccionan por el procedimiento de selección de flujos, y la información de registro de flujo de la tabla de selección de flujos de extensión se usa únicamente con el propósito de extraer una entrada de flujo y un atributo de flujo que se correspondan con cierto número de flujo cuando dicho cierto número de flujo esté almacenado en el registro de números de flujo.
Supóngase que, cuando el modo de reproducción cambie del modo de reproducción de 2D al modo de reproducción de 3D, la tabla de selección de flujos objetivo cambie también de la tabla de selección de flujos básicos a la tabla de selección de flujos de extensión. Entonces, la identidad de los números de flujo podría no mantenerse, y la identidad del atributo de idioma podría perderse asimismo.
En consecuencia, el uso de la tabla de selección de flujos de extensión está restringido a lo que se ha descrito en lo que antecede para mantener la identidad del atributo de flujo tal como el atributo de idioma.
La tabla de selección de flujos de extensión está compuesta por secuencias de registro de flujo de los flujos de vista dependiente, secuencias de registro de flujo de los flujos de PG y secuencias de registro de flujo de los flujos de IG.
Las secuencias de registro de flujo en la tabla de selección de flujos de extensión se combinan con las secuencias de registro de flujo de los mismos tipos de flujo en la tabla de selección de flujos básicos. De manera más específica, las secuencias de registro de flujo de vídeo de vista dependiente en la tabla de selección de flujos de extensión se combinan con las secuencias de registro de flujo de vídeo primario en la tabla de selección de flujos básicos; las secuencias de registro de flujo de PG en la tabla de selección de flujos de extensión se combinan con las secuencias de registro de flujo de PG en la tabla de selección de flujos básicos; y las secuencias de registro de flujo de IG en la tabla de selección de flujos de extensión se combinan con las secuencias de registro de flujo de IG en la tabla de selección de flujos básicos.
Después de esta combinación, el procedimiento que se ha descrito en lo que antecede se ejecuta en las secuencias de registro de flujo en la tabla de selección de flujos básicos entre las dos tablas después de la combinación.
La figura 20 muestra la estructura interna de la tabla de selección de flujos de extensión. La tabla de selección de flujos de extensión está compuesta por: “longitud” que indica la longitud completa de la tabla de selección de flujos de extensión; “desplazamiento fijo durante emergencia (Fixed_offset_during_Popup)”; y las secuencias de registro de flujo de cada tipo de flujo que se corresponde con cada elemento de reproducción.
Cuando hay N fragmentos de elementos de reproducción identificados como elementos de reproducción Nº 1 -Nº N, las secuencias de registro de flujo que se corresponden, respectivamente, con los elementos de reproducción Nº 1 -Nº N se proporcionan en la tabla de selección de flujos de extensión: Las secuencias de registro de flujo que se correspondan con cada elemento de reproducción son secuencia de registro de flujo de vista dependiente, secuencia de registro de flujo de PG y secuencia de registro de flujo de IG.
El “Fixed_offset_during_Popup” es un desplazamiento fijo durante emergencia, y controla el tipo de reproducción del vídeo o flujo de subtítulos de PG_text cuando el menú emergente se establece en “activo” en el flujo de IG. El campo “Fixed_offset_during_Popup” se establece en “activo” cuando el campo “user_interface_model” en el flujo de IG está activo, en particular cuando la interfaz de usuario del menú emergente se establece en “activo”. Asimismo, el campo “Fixed_offset_during_Popup” se establece en “inactivo” cuando el campo “user_interface_model” en el flujo de IG está inactivo, en particular, cuando se establece la interfaz de usuario “AlwaysON”.
Cuando el desplazamiento fijo durante emergencia se establece en “0”, en particular, cuando el menú emergente se establece en “inactivo” en la interfaz de usuario del flujo de IG, el flujo de vídeo está en el modo de presentación de B-D, el flujo de PG estereoscópico se vuelve el tipo de reproducción estereoscópica y durante la reproducción en el modo de “1 plano + desplazamiento”, el flujo de subtítulos de PG_text está en el modo de “1 plano + desplazamiento”.
Cuando el desplazamiento fijo durante emergencia se establece en “1”, en particular, cuando el menú emergente está establecido en “activo” en el flujo de IG, el flujo de vídeo está en el modo de presentación de B-B, el flujo de PG estereoscópico está en el modo de “1 plano + desplazamiento” y el flujo de PG para “1 plano + desplazamiento” se reproduce como el tipo de reproducción de “1 plano + desplazamiento cero”.
En el modo de “1 plano + desplazamiento”, el flujo de subtítulos de PG_text se vuelve “1 plano + desplazamiento cero”.
E12174659
07-08-2014
La “información de números de secuencia de desplazamiento” (“number_of_offset_sequence” en la figura) indica el número de secuencias de desplazamiento en el flujo de vista dependiente.
El valor de la “información de número de secuencia de desplazamiento” en la tabla de selección de flujos de 5 extensión es idéntico al número de secuencias de desplazamiento que está incluido en el flujo de vista dependiente.
Las figuras 21A a 21C muestran las secuencias de registro de flujo en la tabla de selección de flujos de extensión.
La figura 21A muestra la estructura interna de la secuencia de registro de flujo de vídeo de vista dependiente. La
10 secuencia de registro de flujo de vídeo de vista dependiente está compuesta por v(x) fragmentos de SS_dependent_view_block. En el presente caso, “v(x)” representa el número de flujos de vídeo primario que se permite que se reproduzcan en la tabla de selección de flujos básicos de la información de elementos de reproducción Nº x. Las líneas principales en la figura indican el acercamiento de la estructura interna de la secuencia de registro de flujo de vídeo de vista dependiente. Tal como se indica por las líneas principales, el
15 “SS_dependent_view_block” está compuesto por el número de flujo, la entrada de flujo, el atributo de flujo y “number_of_offset_sequence”.
La entrada de flujo incluye una referencia de identificador de sub-trayectoria (ref_to_Subpath_id) que especifica una sub-trayectoria a la cual pertenece la trayectoria de reproducción del flujo de vídeo de vista dependiente; una
20 referencia de archivo de flujo (ref_to_subClip_entry_id) que especifica un archivo de flujo en el cual está almacenado el flujo de vídeo de vista dependiente y un identificador de paquete (ref_to_stream_PID_subclip) del flujo de vídeo de vista dependiente en este archivo de flujo.
El “atributo de flujo” incluye el atributo de idioma del flujo de vídeo de vista dependiente.
25 El “number_of_offset_sequence” indica el número de desplazamientos proporcionados en el flujo de vídeo de vista dependiente.
Las secuencias de registro de flujo de vídeo de vista dependiente que se muestran en la figura 21A indican que una
30 pluralidad de fragmentos de información de registro de flujo se proporcionan en correspondencia con una pluralidad de flujos de vídeo de vista dependiente. Sin embargo, la figura 21A ilustra simplemente la estructura de datos de la misma. En realidad, debido a que sólo hay un flujo de vídeo de vista base normalmente, el número de fragmentos de información de registro de flujo para el flujo de vídeo de vista dependiente es uno.
35 La figura 21B muestra la estructura interna de la secuencia de registro de flujo de PG. La secuencia de registro de flujo de PG está compuesta por P(x) fragmentos de información de registro de flujo. En el presente caso, “P(x)” representa el número de flujos de PG que se permite que se reproduzcan en la tabla de selección de flujos básicos de la información de elementos de reproducción Nº x.
40 Las líneas principales en la figura indican el acercamiento de la estructura interna común de las secuencias de registro de flujo de PG.
El “PGtextST_offset_sequence_id_ref” es información de referencia de secuencia de desplazamiento de flujos de subtítulos de PG_text, e indica una secuencia de desplazamiento con respecto al flujo de subtítulos de PG_text en el
45 modo de “1 plano + desplazamiento”.
Los metadatos de desplazamiento se suministran por la unidad de acceso del flujo de vídeo de vista dependiente. El dispositivo de reproducción ha de aplicar el desplazamiento, el cual se suministra por este campo, al plano de gráficos de presentación (PG) del tipo de modo “1 plano + desplazamiento”.
50 Cuando el campo es un valor no definido (FF), el dispositivo de reproducción no aplica este desplazamiento a la memoria de planos de flujos de PG.
El “is_SS_PG” es un indicador de presencia / ausencia de gráficos de presentación estereoscópica que indica la
55 validez y presencia de la entrada de flujo del IG de vista base y la entrada de flujo y atributo de flujo del IG de vista dependiente en el flujo de PG. Cuando la estructura está ausente en el flujo de PG estereoscópico, este campo ha de establecerse en “0”; y cuando la estructura está presente en el campo de PG estereoscópico, este campo ha de establecerse en “1”.
60 La “stream_entry_for_base_view” incluye: una referencia de identificador de sub-trayectoria (ref_to_Subpath_id) que especifica una sub-trayectoria a la cual pertenece la trayectoria de reproducción del flujo de PG de vista base; una referencia de archivo de flujo (ref_to_subClip_entry_id) que especifica un archivo de flujo en el cual está almacenado el flujo de PG de vista base; y un identificador de paquete (ref_to_stream_PID_subclip) del flujo de PG de vista base en este archivo de flujo.
65
15
25
35
45
55
65
E12174659
07-08-2014
La “stream_entry_for_dependent_view” incluye: una referencia de identificador de sub-trayectoria (ref_to_Subpath_id) que especifica una sub-trayectoria a la cual pertenece la trayectoria de reproducción del flujo de PG de vista dependiente; una referencia de archivo de flujo (ref_to_SubClip_entry_id) que especifica un archivo de flujo en el cual está almacenado el flujo de PG de vista dependiente y un identificador de paquete (ref_to_stream_PID_subclip) del flujo de PG de vista dependiente en este archivo de flujo. Cuando el archivo de flujo al que se hace referencia por la “stream_entry_for_dependent_view” en la información de registro de flujo en la tabla de selección de flujos de extensión es diferente del archivo de flujo al que se hace referencia por la entrada de flujo en la tabla de selección de flujos básicos, un archivo de flujo que almacena el flujo de PG de vista dependiente tiene que leerse.
El “stream_attribute” incluye atributos de idioma del flujo de PG de vista base y el flujo de PG de vista dependiente.
La “SS_PG_textST_offset_sequence_id_ref” es información de referencia para hacer referencia a una secuencia de desplazamiento para el flujo de subtítulos de PG_text, e indica la secuencia de desplazamiento para el flujo de subtítulos de PG_text. El dispositivo de reproducción ha de aplicar el desplazamiento, el cual se suministra por este campo, al plano de PG.
Cuando el campo es un valor no definido (FF), el dispositivo de reproducción no aplica este desplazamiento a la memoria de planos de flujos de PG.
La figura 21C muestra la estructura interna de la secuencia de registro de flujo de IG. La secuencia de registro de flujo de IG está compuesta por I(x) fragmentos de información de registro de flujo. En el presente caso, “I(x)” representa el número de flujos de IG que se permite que se reproduzcan en la tabla de selección de flujos básicos de la información de elementos de reproducción Nº x. Las líneas principales en la figura indican el acercamiento de la estructura interna común de las secuencias de registro de flujo de IG.
La “IG_offset_sequence_id_ref” es una referencia de secuencia de desplazamiento de gráficos interactivos, y es una referencia al ID de secuencia del flujo de IG en el modo de “1 plano + desplazamiento”. Este valor indica un ID de secuencia de desplazamiento definido para la secuencia de desplazamiento. Tal como se ha descrito en lo que antecede, los metadatos de desplazamiento se suministran por el flujo de vídeo de vista dependiente. El dispositivo de reproducción ha de aplicar el desplazamiento, el cual se suministra por este campo, al flujo de IG del tipo de modo de “1 plano + desplazamiento”.
Cuando el campo es un valor no definido (FF), el dispositivo de reproducción no aplica este desplazamiento al plano de flujos de gráficos interactivos (IG).
El “IG_Plane_offset_direction_during_BB_video” es la interfaz de usuario del menú emergente en el modo de presentación de B-B, e indica la dirección de desplazamiento en el plano de IG en el modo de “1 plano + desplazamiento” mientras el flujo de IG se está reproduciendo.
Cuando este campo se establece en “0”, es el escenario de delante. Es decir, la memoria de planos existe entre la televisión y el espectador, y el plano se desplaza a la derecha durante el periodo de vista izquierda, y el plano se desplaza a la izquierda durante el periodo de vista derecha.
Cuando este campo está establecido en “1”, es el escenario de detrás. Es decir, la memoria de planos existe por detrás de la televisión o la pantalla, y el plano izquierdo se desplaza a la derecha, y el plano derecho se desplaza a la izquierda.
El “IG_Plane_offset_value_during_BB_video” indica, en unidades de píxeles, el valor de desplazamiento del plano de IG en el modo de “1 plano + desplazamiento” mientras el flujo de IG se está reproduciendo por la interfaz de usuario del menú emergente en el modo de presentación de B-B.
El “is_SS_PG” es un indicador de presencia / ausencia de gráficos interactivos estereoscópicos que indica la validez y presencia de la entrada de flujo del IG de vista base y la entrada de flujo y atributo de flujo del IG de vista dependiente en el flujo de IG. Cuando la estructura de datos del flujo de IG estereoscópico está ausente, este campo ha de establecerse en “0”; cuando el flujo de IG que se permite que se reproduzca es un flujo de IG estereoscópico, este campo ha de establecerse en “1”.
La “stream_entry_for_base_view” incluye: una referencia de identificador de sub-trayectoria (ref_to_Subpath_id) que especifica una sub-trayectoria a la cual pertenece la trayectoria de reproducción del flujo de IG de vista base; una referencia de archivos de flujo (ref_to_subClip_entry_id) que especifica un archivo de flujo en el cual está almacenado el flujo de IG de vista base; y un identificador de paquete (ref_to_stream_PID_subclip) del flujo de IG de vista base en este archivo de flujo.
La “stream_entry_for_dependent_view” incluye: una referencia de identificador de sub-trayectoria (ref_to_Subpath_id) que especifica una sub-trayectoria a la cual pertenece la trayectoria de reproducción del flujo de
15
25
35
45
55
65
E12174659
07-08-2014
IG de vista dependiente; una referencia de archivo de flujo (ref_to_subClip_entry_id) que especifica un archivo de flujo en el cual está almacenado el flujo de IG de vista dependiente y un identificador de paquete (ref_to_stream_PID_subclip) del flujo de IG de vista dependiente en este archivo de flujo. Cuando el archivo de flujo al que se hace referencia por la “stream_entry_for_dependent_view” en la información de registro de flujo en la tabla de selección de flujos de extensión es diferente del archivo de flujo al que se hace referencia por la entrada de flujo en la tabla de selección de flujos básicos, un archivo de flujo que almacena el flujo de IG de vista dependiente tiene que leerse.
El “stream_attribute” incluye atributos de idioma del flujo de IG de vista base y el flujo de IG de vista dependiente.
La “SS_IG_offset_sequence_id_ref” es una referencia al ID de secuencia de desplazamiento para el flujo de IG de tipo estereoscópico, e indica la secuencia de desplazamiento para los metadatos de desplazamiento del flujo de vídeo de vista dependiente. El dispositivo de reproducción ha de aplicar el desplazamiento, el cuál se suministra por este campo, al plano de IG de tipo estereoscópico. Cuando el campo es un valor no definido (FF), el dispositivo de reproducción no aplica este desplazamiento al plano de IG.
La información de referencia de secuencia de desplazamiento de flujo de subtítulos de PG_text y la información de referencia de secuencia de desplazamiento de IG están escritas en la información de registro de flujo en correspondencia con números de flujo. Por lo tanto, cuando el procedimiento de selección de flujos se ejecuta debido a un cambio del estado de dispositivo o la ocurrencia de una solicitud para cambio de flujo y un número de flujo que se corresponde con el ajuste de idioma en el lado del dispositivo se establece en el registro de números de flujo, una secuencia de desplazamiento indicada por una referencia que se corresponde con el nuevo número de flujo se suministra del descodificador de vídeo a la unidad de desplazamiento. Con esta estructura, una secuencia de desplazamiento óptima que se corresponde con el ajuste de idioma en el dispositivo de reproducción se suministra a la unidad de desplazamiento, por lo tanto es posible establecer la profundidad de los gráficos en el modo de “1 plano + desplazamiento” a un valor óptimo que se corresponde con el ajuste de idioma en el dispositivo de reproducción.
En lo sucesivo se describen restricciones para la tabla de selección de flujos de extensión.
La entrada de flujo en el bloque de vista dependiente estereoscópica no ha de cambiar en la lista de reproducción.
Cuando el tipo de la entrada de flujo en el bloque de vista dependiente estereoscópico es el tipo ES (tipo de flujo = 2) que se usa por la sub-trayectoria, la referencia de ID de sub-trayectoria y la referencia de ID de entrada de sub-clip (ref_to_subclip_entry_id) no cambian en la lista de reproducción.
Sólo se permite que dos tipos de flujos elementales sean los tipos de la entrada de flujo, la entrada de flujo para la vista base y la entrada de flujo para la vista dependiente. Los dos tipos son: ES (tipo de flujo = 1) en el clip de AV usado por el elemento de reproducción; y ES (tipo de flujo = 2) en el clip de AV usado por la sub-trayectoria
En el bloque de vista dependiente estereoscópica, el método de codificación de flujos en el atributo de flujo se establece en “0x20”.
La figura 22 muestra qué flujos elementales se desmultiplexan del TS principal y los sub-TS con el uso de la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión.
La parte media de la figura 22 muestra la unidad de desmultiplexión. La parte superior de la figura 22 muestra la combinación de la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión. El lado izquierdo de la figura 22 muestra el TS principal y los sub-TS, y el lado derecho de la figura 22 muestra el flujo de vídeo de vista base, el flujo de vídeo de vista dependiente, el flujo de PG de vista base, el flujo de PG de vista dependiente, el flujo de IG de vista base, el flujo de IG de vista dependiente y el flujo de audio primario desmultiplexados.
La figura 23 muestra cómo se hace referencia a las secuencias de registro de flujo proporcionadas en la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión, cuando se lleva a cabo la desmultiplexión que se muestra en la figura 22. La parte media de la figura 17 muestra la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión.
La porción junto al lado izquierdo de la tabla de selección de flujos básicos muestra los registros de números de flujo que almacenan números de flujo de los flujos actuales en el dispositivo de reproducción. La porción junto al lado derecho de la tabla de selección de flujos básicos muestra los ajustes de idioma en el dispositivo de reproducción. La porción bajo la tabla de selección de flujos básicos muestra la unidad de desmultiplexión; La flecha h1 indica de manera esquemática que el ajuste de idioma para el flujo de PG coincide con el atributo de idioma en la información de registro de flujo Nº X del flujo de PG en la tabla de selección de flujos básicos. La flecha h2 indica de manera esquemática el ajuste del número de flujo “X” en el registro de números de flujo del flujo de PG.
15
25
35
45
55
65
E12174659
07-08-2014
La flecha h3 indica de manera esquemática que el ajuste de idioma para el flujo de IG coincide con el atributo de idioma en la información de registro de flujo Nº Y del flujo de IG en la tabla de selección de flujos básicos. La flecha h4 indica de manera esquemática el ajuste del número de flujo “Y” en el registro de números de flujo del flujo de IG.
El ajuste del número de flujo que se muestra en la figura 23 indica de manera simbólica que los flujos de PG y los flujos de IG que se someterán a la desmultiplexión se determinan dependiendo de los resultados del procedimiento de selección de flujo que se lleva a cabo en la tabla de selección de flujos básicos.
La flecha PD1 indica de manera esquemática una salida del identificador de paquete escrito en la entrada de flujo en el “SS_dependent_view_block” en la tabla de selección de flujos de extensión. Esta salida hace posible a la unidad de desmultiplexión llevar a cabo la desmultiplexión, y el flujo de vista dependiente se envía.
La flecha PD2 indica de manera esquemática una salida del identificador de paquete que se corresponde con el número de flujo “X”, entre las entradas de flujo de la información de registro de flujo de flujo de PG en la tabla de selección de flujos de extensión. La flecha X1 indica que la salida del identificador de paquete indicado por la flecha PD1 está enlazada con el ajuste del número de flujo X actual en el registro de números de flujo.
La flecha PD3 indica de manera esquemática una salida del identificador de paquete que se corresponde con el número de flujo “Y”, entre las entradas de flujo de la información de registro de flujo del flujo de IG en la tabla de selección de flujos de extensión. La flecha Y1 indica que la salida del identificador de paquete indicada por la flecha PD3 está enlazada con el ajuste del número de flujo Y actual en el registro de números de flujo.
Ha de observarse en el presente caso que “estar enlazada” en la descripción anterior significa que la salida del identificador de paquete escrita en la tabla de selección de flujos de extensión está enlazada con el hecho de que el número de flujo X o Y, entre los números de flujo escritos en las secuencias de registros de flujos del flujo de PG o IG en la tabla de selección de flujos básicos, se establece en el registro de números de flujo como el número de flujo de PG o IG del flujo actual.
Esta salida hace posible a la unidad de desmultiplexión llevar a cabo la desmultiplexión, y se envía el flujo de PG o IG.
La figura 24 muestra la asignación de los números de flujo que cambian dependiendo del modo.
La columna vertical del lado izquierdo de la figura 24 muestra los números de flujo: flujo de vídeo Nº 1, flujo de audio Nº 1, flujo de audio Nº 2, flujo de PG Nº 1, flujo de PG Nº 2, flujo de IG Nº 1 y flujo de IG Nº 2.
Los flujos de elementos dispuestos en el lado izquierdo de la figura 24, encerrados por una línea de puntos, son flujos de elementos que se seleccionan para la desmultiplexión únicamente en el modo de reproducción de 2D.
Los flujos de elementos dispuestos en el lado derecho de la figura 24, encerrados por una línea de puntos, son flujos de elementos que se seleccionan para la desmultiplexión únicamente en el modo de reproducción de 3D.
Los flujos de elementos encerrados por las líneas de puntos combinadas del lado izquierdo y el lado derecho son flujos de elementos que se seleccionan para la desmultiplexión en los modos de reproducción tanto de 2D como de 3D.
En la figura 24, el flujo de vídeo Nº 1 está encerrado por las líneas de puntos combinadas del lado izquierdo y el lado derecho. Esto indica que el flujo de vídeo Nº 1 se selecciona para la desmultiplexión en los modos de reproducción tanto de 2D como de 3D. Ha de observarse en el presente caso que el flujo de vídeo de vista izquierda del mismo para el modo de 3D también se usa como el flujo de vídeo de 2D, y el flujo de vídeo de vista derecha se reproduce sólo en el modo de 3D, lo cual se sugiere por el hecho de que está encerrado sólo por la línea de puntos en el lado derecho de la figura 24.
Los flujos de audio Nº 1 y Nº 2 están ambos encerrados por las líneas de puntos combinadas del lado izquierdo y el lado derecho. Esto indica que los flujos de audio Nº 1 y Nº 2 se seleccionan para la reproducción en los modos de reproducción tanto de 2D como de 3D.
Con respecto a los flujos de PG Nº 1 y Nº 2, el flujo de PG de 2D está encerrado únicamente por la línea de puntos en el lado izquierdo, y el flujo de PG de vista base y el flujo de PG de vista dependiente están encerrados únicamente por la línea de puntos del lado derecho. Esto indica que el flujo de PG de 2D se selecciona para la reproducción únicamente en el modo de reproducción de 2D, y el flujo de PG de vista base y el flujo de PG de vista dependiente se seleccionan para la reproducción únicamente en el modo de reproducción de 3D. Esto se aplica también a los flujos de IG.
Tal como se entiende a partir de la descripción anterior, con respecto al tipo de flujo “flujo de vídeo”, el flujo de vídeo de vista dependiente se añade como un objetivo de la reproducción en el modo de reproducción de 3D.
15
25
35
45
55
65
E12174659
07-08-2014
También se entiende que, debido a que el modo cambia del modo de reproducción de 2D al modo de reproducción de 3D, el objetivo de la reproducción cambia del flujo de PG de 2D al flujo de PG de vista base y al flujo de PG de vista dependiente.
La tabla de selección de flujos de extensión puede crearse al escribir una descripción en un lenguaje de compilador orientado a objetos tal como se muestra en la figura 25, y someter la descripción al compilador. La figura 25 muestra una sintaxis para escribir la tabla de selección de flujos de extensión en un lenguaje de compilador orientado a objetos.
La sentencia “for” cuya variable de control es “Playitem_id” forma un bucle en el cual la descripción de la secuencia de registro de flujo de vista dependiente, la secuencia de registro de flujo de subtítulos de PG_text y la secuencia de registro de flujo de IG se repite tantas veces como el número de elementos de reproducción.
La sentencia “for” cuya variable de control es “primary_video_stream_id define la secuencia de registro de flujo de vista dependiente, y la secuencia de registro de flujo de vista dependiente se define al escribir “SS_dependent_view_block” que está compuesto por “stream_entry”, “stream_attribute” y “number_of_offset_sequence”, tantas veces como el número indicado por las “Number_of_primary_video_stream_entries”.
La sentencia “for” cuya variable de control es “PG_textST_stream_id” define la secuencia de registro de flujo de subtítulos de PG_text, y forma un bucle en el cual la descripción de “PG_text_offset_sequence_id_ref” e “is_SS_PG” se repite tantas veces como el número indicado por “number_of_PG_textST_stream_number_entries”. La sentencia “if” (“si”), incluida en este bucle, cuya variable de control es “is_SS_PG”, define “stream_entry_for_base_biew()”, “stream_entry_for_dependent_view()” y “stream_attribute()” cuando el “is_SS_PG” es “1b”. Con esta sentencia “if”, las “stream_entry_for_base_biew()”, “stream_entry_for_dependent_view() “, y “stream_attribute()” se añaden a las secuencias de registro de flujo sólo cuando el “is_SS_PG” es “1b”. Las “stream_entry_for_base_biew()”, “stream_entry_for_dependent_view()” y “stream_attibute()” no se añaden a las secuencias de registro de flujo cuando el “is_SS_PG” es “0b”.
La sentencia “for” cuya variable de control es “IG_stream_id” define la secuencia de registro de flujo de IG, y forma un bucle en el cual la descripción de “IG_offset_sequence_id_ref”, “IG_plane_offset_direction_during_BB_video”, “IG_plane_offset_value_during_BB_video” e “is_SS_IG” se repite tantas veces como el número indicado por “number_of_IG_stream_entries”. La sentencia “if”, incluida en este bucle, cuya variable de control es “is_SS_IG” define “stream_entry_for_base_biew()”, “stream_entry_for_dependent_view()”, y “stream_attribute()” cuando el “is_SS_IG” es “1b”. Con esta sentencia “if”, los “stream_entry_for_base_biew()”, “stream_entry_for_dependent_view()”, y “stream_attribute()” se añaden a las secuencias de registro de flujo sólo cuando el “is_SS_IG” es “1b”. Los “stream_entry_for_base_biew()”, “stream_entry_for_dependent_view()” y “stream_attribute()” no se añaden a las secuencias de registro de flujo cuando el “is_SS_IG” es “0b”.
Esto completa la descripción del medio de grabación. En lo sucesivo se describirá con detalle el dispositivo de reproducción.
La figura 26 muestra la estructura interna del dispositivo de reproducción. Tal como se muestra en la figura 26, el dispositivo de reproducción incluye una unidad de lectura 201, una memoria de almacenamiento temporal de lectura 202, un registro de números de reproductor 203, un descodificador 204, una unidad de desmultiplexión 205, un conjunto de memorias de planos 206, una unidad de desplazamiento 207, una unidad de superposición de capas 208, una unidad de transmisión / recepción 209, una unidad de control de reproducción 210, un registro de modos de salida 211 y una memoria de configuración 212. La estructura interna de la figura 26 está compuesta por los elementos estructurales mínimos que se requieren para lograr el dispositivo de reproducción provisto con un medio de resolución de problemas. Una estructura interna más detallada se describirá en una realización posterior.
La unidad de lectura 201 lee, del medio de grabación, la tabla de índices, archivo de programa del objeto de modos de funcionamiento, archivos de información de listas de reproducción, archivo de información de flujos y archivo de flujo.
La memoria de almacenamiento temporal de lectura 202 almacena una secuencia de registro de flujo combinado que se obtiene al combinar la tabla de selección de flujos básicos y la tabla de selección de flujos de extensión.
El registro de números de reproductor 203 incluye un registro de números de flujo de vídeo para almacenar el número de flujos del flujo de vídeo, un registro de números de flujo de PG para almacenar el número de flujos del flujo de PG, un registro de números de flujo de IG para almacenar el número de flujo del flujo de IG y un registro de números de flujo de audio para almacenar el número de flujo del flujo de audio.
El descodificador 204 para cada tipo de flujo está compuesto por un descodificador de vídeo, un descodificador de PG, un descodificador de IG y un descodificador de audio.
15
25
35
45
55
65
E12174659
07-08-2014
La unidad de desmultiplexión 205 está provista con un filtro PID para llevar a cabo el filtrado de paquetes, y desmultiplexa, entre los paquetes de TS en una pluralidad de paquetes de origen leídos del medio de grabación, un paquete de TS que se identifica por el identificador de paquete descrito en la secuencia de registro de flujo combinado.
El conjunto de memorias de planos 206 está compuesto por una pluralidad de memorias de planos.
Estas memorias de planos constituyen un modelo de capa, y los datos almacenados en cada memoria de planos se suministran para la superposición de las capas. La unidad de desplazamiento 207 desplaza las coordenadas de píxel.
La unidad de superposición de capas 208 superpone las capas en la pluralidad de memorias de planos.
La unidad de transmisión / recepción 209 transita a una fase de transferencia de datos por medio de una fase de autenticación mutua y una fase de negociación, cuando el dispositivo de reproducción está conectado con otro dispositivo en el sistema de cine en casa por medio de una interfaz. La unidad de transmisión / recepción 209 lleva a cabo transferencia de datos en la fase de transferencia.
En la fase de negociación, las capacidades del dispositivo asociado (incluyendo la capacidad de descodificación, capacidad de reproducción y frecuencia de presentación visual) se captan, y las capacidades se establecen en el registro de ajustes de reproductor, de tal manera que el método de transferencia para las transferencias de datos subsiguientes se determine. Después de la fase de autenticación mutua y la fase de negociación, una línea de los datos de píxel en el formato de no compresión / texto simple en los datos de imagen después de la superposición de capas se transfiere al dispositivo de presentación visual a una alta velocidad de transferencia de acuerdo con el periodo de sincronización horizontal del dispositivo de presentación visual. Por otro lado, en los intervalos de blanqueo horizontal y vertical, se transfieren datos de audio en el formato de no compresión / texto simple a otros dispositivos (incluyendo un amplificador y un altavoz así como el dispositivo de presentación visual) conectados con el dispositivo de reproducción. Con esta estructura, los dispositivos tales como el dispositivo de presentación visual, el amplificador y el altavoz pueden recibir los datos de imagen y los datos de audio ambos en el formato de no compresión / texto simple, y se logra una salida reproducida. Además, cuando el dispositivo asociado tiene la capacidad de descodificación, una transferencia de paso de los flujos de vídeo y audio es posible. En la transferencia de paso, es posible transferir el flujo de vídeo y el flujo de audio en el formato comprimido / cifrado, tal cuales.
La unidad de control de reproducción 210 controla la unidad de lectura 201 para leer la tabla de índices, el objeto de modo de funcionamiento, la información de listas de reproducción, la información de clips y el archivo de flujo del medio de grabación, y lleva a cabo un control de reproducción sobre la base de la información de listas de reproducción e información de clips leída del medio de grabación. Al leer el archivo de flujo, se puede llevar a cabo un acceso aleatorio para leer un paquete de origen que se corresponde con un punto de tiempo arbitrario en un eje de tiempo, del archivo de flujo.
El registro de modos de salida 211 almacena un modo de reproducción.
La memoria de configuración 212 es una memoria no volátil que almacena las capacidades de modo de las memorias de planos, y el modo actual. Los contenidos que se almacenarán en la memoria de configuración 212 se establecen por el productor del dispositivo de reproducción. La capacidad de modo indica si cada una de la pluralidad de memorias de planos, tal como el plano de vídeo, el plano de PG y el plano de IG, pueden o no llevar a cabo un modo de reproducción correspondiente tal como se ha descrito en lo que antecede. Si una memoria de planos puede llevar a cabo un modo de reproducción se determina sobre la base del tipo de flujo que se corresponde con la memoria de planos y sobre la base de si la estructura de soporte físico para llevar a cabo el modo de reproducción está provista o no en el dispositivo de reproducción.
El modo actual indica en cuál de entre la pluralidad de modos de reproducción se ajusta la pluralidad de planos, respectivamente.
Esto completa la explicación del dispositivo de reproducción. En lo sucesivo se describirá con detalle el proceso de desmultiplexión llevado a cabo por el dispositivo de reproducción del presente ejemplo.
Las figuras 27A y 27B muestran qué identificadores de paquete se envían a la unidad de desmultiplexión por la secuencia de registro de flujo combinado.
La figura 27A muestra la secuencia de registro de flujo combinado usada en la operación como un ejemplo. La secuencia de registro de flujo combinado está compuesta por tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos básicos y tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos de extensión. Los tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos básicos tienen los números de flujo “1”, “2” y “3”, respectivamente, y los atributos de flujo
15
25
35
45
55
65
E12174659
07-08-2014
en los tres fragmentos de información de registro de flujo tienen “inglés”, “japonés” y “chino” como los atributos de idioma, respectivamente.
Los tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos de extensión tienen los números de flujo “1”, “2” y “3”, respectivamente, y los atributos de flujo en los tres fragmentos de información de registro de flujo tienen “inglés”, “japonés” y “chino” como los atributos de idioma, respectivamente. La información de registro de flujo provista en la tabla de selección de flujos básico difiere en el identificador de paquete almacenado en la entrada de flujos, de la información de registro de flujo provista en la tabla de selección de flujos de extensión. Asimismo, la información de registro de flujo provista en la tabla de selección de flujos de extensión contiene (i) un identificador de paquete para un flujo de PG de vista base para el modo de presentación de B-D, y (ii) un identificador de paquete para un flujo de PG de vista dependiente.
La figura 27B muestra el ajuste de un número de flujo y el envío de un identificador de paquete cuando esta secuencia de registro de flujo combinado se suministra al dispositivo de reproducción en el cual el idioma se ha establecido en “chino” y el modo de salida se ha establecido en el modo de reproducción de 2D.
Las flechas identificadas por “a1”, “a2” y “a3” indican de manera esquemática (i) la evaluación acerca de si los ajustes de idioma coinciden unos con otros, (ii) el ajuste de un número de flujo en el registro de números de flujo y
(iii) la salida de un identificador de paquete a la unidad de desmultiplexión, respectivamente.
En el procedimiento de funcionamiento del presente ejemplo, se evalúa si el ajuste de idioma del dispositivo de reproducción coincide con el atributo de flujo contenido en la información de registro de flujo cuyo número de flujo es “3”, y se evalúa que coinciden. Como resultado de esto, el número de flujo “3” de esta información de registro de flujo se escribe en el registro de números de flujos. Asimismo, el identificador de paquete escrito en la entrada de flujo de la tabla de selección de flujos básicos se envía a la unidad de desmultiplexión. Después de esto, un paquete de TS identificado por el identificador de paquete escrito en la entrada de flujo de la información de registro de flujo cuyo número de flujo es “3” en la tabla de selección de flujos básicos se envía al descodificador.
La figura 27C muestra el ajuste de un número de flujo y el envío de un identificador de paquete cuando esta secuencia de registro de flujo combinado se suministra al dispositivo de reproducción en el cual el idioma se ha establecido en “chino” y el modo de salida se ha establecido en el modo de presentación de B-D.
Las flechas identificadas por “a4”, “a5” y “a6” indican de manera esquemática (i) la evaluación acerca de si los ajustes de idioma coinciden unos con otros, (ii) el establecimiento de un número de flujo en el registro de números de flujo y (iii) la salida de un identificador de paquete a la unidad de desmultiplexión, respectivamente.
En el procedimiento de funcionamiento del presente ejemplo, se evalúa si el ajuste de idioma del dispositivo de reproducción coincide con el atributo de idioma contenido en la información de registro de flujo cuyo número de flujo es “3”, y se evalúa que coinciden. Como resultado de esto, el número de flujo “3” de esta información de registro de flujo se escribe en el registro de números de flujo. Asimismo, el identificador de paquete escrito en la entrada de flujo de la tabla de selección de flujos básicos se envía a la unidad de desmultiplexión. Después de esto, un par de paquetes de TS identificados por un par de identificadores de paquete escritos en la entrada de flujo de la información de registro de flujo cuyo número de flujo es “3” en la tabla de selección de flujos de extensión se envían al descodificador.
Las figuras 28A a 28C muestran qué identificadores de paquete se envían a la unidad de desmultiplexión por la secuencia de registro de flujo combinado.
La figura 28A muestra la secuencia de registro de flujo combinado usada en la operación como un ejemplo. La secuencia de registro de flujo combinado está compuesta por tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos básicos y tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos de extensión. Los tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos básicos tienen los números de flujo “1”, “2” y “3”, respectivamente, y todos los atributos de flujo en los tres fragmentos de información de registro de flujo tienen “chino” como los atributos de idioma.
Los tres fragmentos de información de registro de flujo provistos en la tabla de selección de flujos de extensión tienen los números de flujo “1”, “2” y “3”, respectivamente, y todos los atributos de flujo en los tres fragmentos de información de registro de flujo tienen “chino” como los atributos de idioma. La información de registro de flujo provista en la tabla de selección de flujos básicos difiere en el identificador de paquete almacenado en la entrada de flujo, de la información de registro de flujo provista en la tabla de selección de flujos de extensión. Asimismo, la información de registro de flujo provista en la tabla de selección de flujos de extensión contiene (i) un identificador de paquete para un flujo de PG de vista base para el modo de presentación de B-D, y (ii) un identificador de paquete para un flujo de PG de vista dependiente.
La figura 28B muestra el ajuste de un número de flujo y la emisión de un identificador de paquete cuando esta secuencia de registro de flujo combinado se suministra al dispositivo de reproducción en el cual el idioma se ha
15
25
35
45
55
65
E12174659
07-08-2014
establecido en “chino” y el modo de salida se ha establecido en el modo de reproducción de 2D.
Las flechas identificadas por “a1”, “a2” y “a3” indican de manera esquemática (i) la evaluación acerca de si los ajustes de idioma coinciden unos con otros, (ii) el establecimiento de un número de flujo y (iii) la salida de un identificador de paquete a la unidad de desmultiplexión, respectivamente.
En el procedimiento de funcionamiento del presente ejemplo, se evalúa si el ajuste de idioma del dispositivo de reproducción coincide con el atributo de flujo contenido en la información de registro de flujo cuyo número de flujo es “1”, y se evalúa que coinciden. Como resultado de esto, el número de flujo “1” de esta información de registro de flujo se escribe en el registro de números de flujo. Asimismo, el identificador de paquete escrito en la entrada de flujo de la tabla de selección de flujos básicos se envía a la unidad de desmultiplexión. Después de esto, un paquete de TS identificado por el identificador de paquete escrito en la entrada de flujo de la información de registro de flujo cuyo número de flujo es “1” en la tabla de selección de flujos básicos se envía al descodificador.
La figura 28C muestra el establecimiento de un número de flujo y el envío de un identificador de paquete cuando esta secuencia de registro de flujo combinado se suministra al dispositivo de reproducción en el cual el idioma se ha establecido en “chino” y el modo de salida se ha establecido en el modo de presentación de B-D.
Las flechas identificadas por “a4”, “a5” y “a6” indican de manera esquemática (i) la evaluación acerca de si los ajustes de idioma coinciden unos con otros, (ii) el establecimiento de un número de flujo en el registro de números de flujo y (iii) el envío de un identificador de paquete a la unidad de desmultiplexión, respectivamente.
En el procedimiento de funcionamiento del presente ejemplo, se evalúa si el ajuste de idioma del dispositivo de reproducción coincide con el atributo de flujo contenido en la información de registro de flujo cuyo número de flujo es “1”, y se evalúa que coinciden. Como resultado de esto, el número de flujo “1” de esta información de registro de flujo se escribe en el registro de números de flujo. Asimismo, el identificador de paquete escrito en la entrada de flujo de la tabla de selección de flujos básicos se envía a la unidad de desmultiplexión. Después de esto, un par de paquetes de TS identificados por un par de identificadores de paquete escritos en la entrada de flujo de la información de registro de flujo cuyo número de flujo es “1” en la tabla de selección de flujos de extensión se envían al descodificador.
La figura 29 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción se establece en el modo de presentación de B-D y el dispositivo de reproducción tiene la capacidad B-D.
Las flechas que conectan la secuencia de registro de flujo combinado y la unidad de desmultiplexión indican las entradas de flujo en las cuales los identificadores de paquete a los que se hace referencia actualmente están escritos, entre una pluralidad de secuencias de registro de flujo en la secuencia de registro de flujo combinado. La figura 29 indica que la unidad de desmultiplexión está haciendo referencia a (i) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de vídeo de vista base en la tabla de selección de flujos básicos, (ii) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de vista dependiente en la tabla de selección de flujos de extensión, (iii) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de subtítulos de PG_text en la tabla de selección de flujos de extensión, y
(iv) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de IG en la tabla de selección de flujos de extensión.
Las flechas que / conectan la unidad de desmultiplexión y una pluralidad de descodificadores indican los paquetes de TS que se envían a los descodificadores respectivos, entre una pluralidad de paquetes de origen que existen en el archivo de flujo intercalado. Tal como se muestra en la figura 23, los siguientes paquetes de TS se envían de la unidad de desmultiplexión a los descodificadores. Un paquete de TS que constituye el flujo de vídeo de vista base; un paquete de TS que constituye el flujo de vídeo de vista dependiente; un paquete de TS que constituye el flujo de PG de vista base; un paquete de TS que constituye el flujo de PG de vista dependiente; un paquete de TS que constituye el flujo de IG de vista base y un paquete de TS que constituye el flujo de IG de vista dependiente.
La figura 30 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción está establecido en el modo de “1 plano + desplazamiento”. Las flechas que conectan la secuencia de registro de flujo combinado y las unidades de desplazamiento indican la referencia en el modo de “1 plano + desplazamiento” de (i) un desplazamiento de una secuencia de registro de flujo que se corresponde con el flujo de PG en la tabla de selección de flujos de extensión, y (ii) un desplazamiento de una secuencia de registro de flujo que se corresponde con el flujo de IG en la tabla de selección de flujos de extensión.
Las flechas que conectan la unidad de desmultiplexión y una unidad de descodificadores indican los paquetes de TS que se envían a los descodificadores respectivos, entre una pluralidad de paquetes de origen que existen en el archivo de flujo. Tal como se muestra en la figura 30, los siguientes paquetes de TS se envían de la unidad de desmultiplexión a los descodificadores: un paquete de TS que constituye el flujo de vídeo de vista base; un paquete
15
25
35
45
55
65
E12174659
07-08-2014
de TS que constituye el flujo de PG; un paquete de TS que constituye el flujo de IG y un paquete de TS que constituye el flujo de audio.
Las flechas que conectan el descodificador de vídeo y las unidades de desplazamiento indican que el desplazamiento en el flujo de vídeo de vista dependiente se suministra a la unidad de desplazamiento para el flujo de PG y a la unidad de desplazamiento para el flujo de IG, sobre la base de la referencia al desplazamiento que se ha descrito en lo que antecede.
La figura 31 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción está establecido en el modo de presentación 2D. Las flechas que conectan la secuencia de registro de flujo combinado y la unidad de desmultiplexión indican las entradas de flujo en las cuales se escriben los identificadores de paquete a los que se hace referencia actualmente, entre una pluralidad de secuencias de registro de flujo en la secuencia de registro de flujo combinado. La figura 31 indica que la unidad de desmultiplexión está haciendo referencia a (i) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de vídeo de vista base en la tabla de selección de flujos básicos,
(ii) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de subtítulos de PG_text en la tabla de selección de flujos básicos, y (iii) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de IG en la tabla de selección de flujos básicos.
Las flechas que conectan la unidad de desmultiplexión y una pluralidad de descodificadores indican los paquetes de TS que se envían a los descodificadores respectivos, entre una pluralidad de paquetes de origen que existen en el archivo de flujo. Tal como se muestra en la figura 25, los siguientes paquetes de TS se envían de la unidad de desmultiplexión a los descodificadores: un paquete de TS que constituye el flujo de vídeo de vista base; un paquete de TS que constituye el flujo de PG; un paquete de TS que constituye el flujo de IG y un paquete de TS que constituye el flujo de audio.
La figura 32 muestra la referencia de los identificadores de paquete y el envío de los paquetes cuando el dispositivo de reproducción no tiene la capacidad del modo de presentación de B-D. Las flechas que conectan la secuencia de registro de flujo combinado y la unidad de desmultiplexión indican las entradas de flujo en las cuales se escriben los identificadores de paquete a los que se hace referencia actualmente, entre una pluralidad de secuencias de registro de flujo en la secuencia de registro de flujo combinado. La figura 32 indica que la unidad de desmultiplexión está haciendo referencia a (i) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de vídeo de vista base en la tabla de selección de flujos básicos,
(ii) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de subtítulos de PG_text en la tabla de selección de flujos básicos, y (iii) un identificador de paquete escrito en una entrada de flujo en la secuencia de registro de flujo de IG en la tabla de selección de flujos básicos.
Las flechas que conectan la unidad de desmultiplexión y una pluralidad de descodificadores indican los paquetes de TS que se especifican por las entradas de flujo en las secuencias de registro de flujo en la tabla de selección de flujos básicos y se envían a los descodificadores respectivos, entre una pluralidad de paquetes de origen que existen en el archivo de flujo intercalado.
El control de reproducción que se ha descrito hasta el momento se puede lograr al hacer que un ordenador ejecute un programa que se genere al escribir el procedimiento de procesamiento representado por los diagramas de flujo de las figuras 33 a 35 en un lenguaje de compilador orientado a objetos.
La figura 33 muestra el procedimiento de reproducción de listas de reproducción. En este diagrama de flujo, el número de elemento de reproducción actual se establece en “1” en la etapa S1; y, a continuación, el control entra en un bucle en el cual se repiten las etapas S2 a S6. En este bucle, las etapas se llevan a cabo tal como sigue. El número de flujo se determina por el procedimiento de selección de flujos (etapa S2). Un archivo de flujo que almacena un flujo elemental que se corresponde con el número de flujo se abre, y la secuencia de paquetes de origen se lee del mismo (etapa S3). Se indica que un paquete de origen, entre aquellos que constituyen la secuencia de paquetes de origen, que se corresponde con el número de flujo ha de desmultiplexarse (etapa S4). Se indica al descodificador que reproduzca el paquete de origen leído durante el periodo desde el tiempo de entrada al tiempo de salida del elemento de reproducción, y durante el periodo desde el tiempo de entrada al tiempo de salida del subelemento de reproducción (etapa S5). Estas etapas que constituyen el bucle se repiten hasta que el número de elemento de reproducción actual se vuelva el último número. Cuando se evalúa que el número de elemento de reproducción actual no es el último número (NO en la etapa S6), el número de elemento de reproducción actual se incrementa, y el control se mueve a la etapa S2. Cuando se evalúa que el número de elemento de reproducción actual es el último número (SÍ en la etapa S6), el proceso concluye.
La figura 34 muestra el procedimiento de selección de flujos.
En este diagrama de flujo, la tabla de selección de flujos básicos en la información de elementos de reproducción actual se establece como la tabla de selección de flujos básicos actual (etapa S7). Esta etapa va seguida por un bucle constituido a partir de las etapas S8 a S17. En este bucle, las etapas S10 a S17 se repiten para cada uno del
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
flujo de PG, el flujo de IG, el flujo de vídeo secundario, el flujo de audio primario y el flujo de audio secundario. En la etapa S10, se evalúa si el número de entradas de flujo en la tabla de selección de flujos básicos actual que se corresponde con el flujo x es o no 0. En la etapa S11, se evalúa si el número de entradas de flujo en la tabla de selección de flujos básicos actual que se corresponde con el flujo x es o no igual a o mayor que el número de flujo almacenado en el registro de números de flujo.
Cuando se evalúa SÍ en la etapa S10 o S11, el control pasa a la etapa S17 en la cual el número de flujo almacenado en el registro de números de flujo se mantiene. Cuando se evalúa NO en ambas etapas S10 y S11, el control pasa a la etapa S12 en la cual se evalúa cuál de entre una pluralidad de condiciones se satisfacen por cada flujo PES registrado en la tabla de selección de flujos básicos actual y, a continuación, en la etapa S13, se evalúa si hay una pluralidad de flujos PES que satisfagan la misma combinación de condiciones.
Cuando se evalúa en la etapa S13 que sólo hay un flujo PES que satisface las condiciones, el flujo PES que satisfaga las condiciones se selecciona como el flujo actual (etapa S14).
Cuando se evalúa en la etapa S13 que hay una pluralidad de flujos PES que satisfacen una misma combinación de condiciones, un flujo PES que tenga la prioridad más alta en la tabla de selección de flujos básicos actual se selecciona de entre la pluralidad de flujos PES que satisfacen una misma combinación de condiciones (etapa S15). Después de que el flujo PES se selecciona de esta manera, el número de flujo del flujo PES seleccionado se escribe en el registro de números de flujo (etapa S16).
Después de que el flujo PES que se reproducirá en el elemento de reproducción actual se determina tal como se ha descrito en lo que antecede, la reproducción del elemento de reproducción actual tiene que iniciarse. El procedimiento para reproducir el elemento de reproducción actual se basa en el modo de salida que se determina en el “Procedimiento cuando se cambia la condición de reproducción”.
La figura 35 muestra el procedimiento para enviar el identificador de paquete que se corresponde con el número de flujo. En este procedimiento, se llevan a cabo las etapas de juicio S17 y S18. En la etapa S17, se evalúa si el modo de salida actual es o no el modo de reproducción de 2D. Cuando se evalúa en la etapa S17 que el modo de salida actual es el modo de reproducción de 2D, el control pasa a la etapa S38 en la cual se indica a la unidad de desmultiplexión que lleve a cabo desmultiplexión sobre la base de la entrada de flujo de la información de registro de flujo que se corresponde con el número de flujo actual, entre la secuencia de registro de flujo en la tabla de selección de flujos básicos.
En la etapa S18, se evalúa si el fixed_offset_during_Popup de la tabla de selección de flujos de extensión está o no activo. Cuando se evalúa NO en la etapa S17, y NO en la etapa S18, se ejecutan las etapas S19 a S30.
En las etapas S19 a S30, el flujo de vídeo se establece en el tipo de B-D estereoscópica, y el plano de vídeo se establece en el modo de presentación de B-D (etapa S19), se indica la desmultiplexión sobre la base del identificador de paquete de la entrada Stream en SS_dependent_View_block (etapa S20), y se ejecuta el proceso de las etapas S21 a S26.
En la etapa S21, se evalúa si is_SS_PG en la información de registro de flujo del flujo de PG actual está o no activo. Cuando is_SS_PG está activo, el flujo de PG se establece en el tipo de reproducción estereoscópica (etapa S22), y se indica la desmultiplexión sobre la base del identificador de paquete de Stream_entry_base_view y Stream_entry_dependent_view de la información de registro de flujo que se corresponde con el flujo de PG actual (etapa S23).
Cuando is_SS_PG está inactivo, el flujo de PG se establece en el tipo de reproducción de “1 plano + desplazamiento”, y el flujo de PG se establece en el modo de “1 plano + desplazamiento” (etapa S24), y la secuencia de desplazamiento especificada por SS_PG_textST_offset_sequence_id_ref de la información de registro de flujo que se corresponde con el flujo de PG actual se obtiene del flujo de vídeo de vista dependiente (etapa S25), y el desplazamiento de planos se ejecuta sobre la base de la secuencia de desplazamiento obtenida (etapa S26).
En la etapa S27, se evalúa si is_SS_IG en la información de registro de flujo del flujo de IG actual está o no activo. Cuando is_SS_IG está activo, se indica la desmultiplexión sobre la base del identificador de paquete de Stream_entry_base_view y Stream_entry_dependent_view de la información de registro de flujo que se corresponde con el flujo de IG actual (etapa S28).
Cuando is_SS_IG está inactivo, la secuencia de desplazamiento especificada por SS_IG_textST_offset_squence_id_ref de la información de registro de flujo que se corresponde con el flujo de IG actual se obtiene del flujo de vídeo de vista dependiente (etapa S29), y el desplazamiento de plano se ejecuta sobre la base de la secuencia de desplazamiento obtenida (etapa S30).
15
25
35
45
55
65
E12174659
07-08-2014
Cuando Fixed_offset_during_Popup de la tabla de selección de flujos de extensión está activo, la evaluación en la etapa S17 da como resultado NO, la evaluación en la etapa S18 da como resultado SÍ y se ejecutan las etapas S31 a S37.
En las etapas S31 a S37, el flujo de vídeo se establece en el tipo de reproducción de B-B estereoscópica, el plano de vídeo se establece en el modo de presentación de B-B (etapa S31), y se ejecutan las etapas S32 a S37.
En la etapa S32, se evalúa si is_SS_PG en la información de registro de flujo del flujo de PG actual está activo. Cuando is_SS_PG está activo, el control avanza a la etapa S33 en la cual el flujo de PG se establece en su tipo de modo de “1 plano + desplazamiento”, y el plano de PG se establece en el modo de “1 plano + desplazamiento”. A continuación, la secuencia de desplazamiento especificada por SS_PG_textST_offset_sequence_id_ref se obtiene del flujo de vídeo de vista dependiente (etapa S34), y el desplazamiento de planos se lleva a cabo sobre la base de la secuencia de desplazamiento obtenida (etapa S35). Después de esto, el control avanza a la etapa S37.
Cuando is_SS_PG está inactivo, el control avanza a la etapa S36 en la cual el flujo de PG se establece en su tipo de modo de “1 plano + desplazamiento cero”, y el plano de PG se establece en el modo de “1 plano + desplazamiento cero”. Después de esto, el control avanza a la etapa S37. En la etapa S37, el desplazamiento de planos se lleva a cabo en la dirección indicada por IG_Plane_offset_direction_during_BB_video en la información de registro de flujo del flujo de IG actual, por la cantidad indicada por IG_Plane_offset_value_during_BB_video. Con el proceso que se ha descrito en lo que antecede, cuando Fixed_offset_during_Popup está activo, puede reproducirse una imagen estereoscópica, la cual se genera al superponer un subtítulo o menú tridimensional en una imagen de vídeo monoscópica.
La figura 36 es un diagrama de flujo que muestra el procedimiento de desplazamiento del plano de PG.
En la etapa S60, se evalúa si un flujo es un flujo de PG o un flujo de subtítulos de texto. Cuando se evalúa que es un flujo de PG, el control se mueve a un bucle en el cual se llevan a cabo repetidamente las etapas S61 a S74. En este bucle, las etapas se llevan a cabo tal como sigue. Las variables “i” y “j” se inicializan a “0” (etapa S61). Plane_offset_direction[j] y Plane_offset_value[j] de GOP[i], entre las secuencias de desplazamiento que tienen offset_sequence_id especificado por PG_textST_offset_sequence_id_ref del flujo actual, se obtienen del descodificador de vídeo (etapa S62). El desplazamiento de planos se ejecuta usando los Plane_offset_direction[j] y Plane_offset_value[j] de GOP[i]. La etapa S69 define la condición para concluir el bucle usando la variable “i”. En la etapa S69, se evalúa si la variable “i” se ha vuelto o no “number_of_offset_sequence”. Hasta que se evalúe que la condición se satisface, se repite un proceso, en el cual la variable “i” se incrementa en la etapa S70 y el control vuelve a la etapa S62.
En otro bucle, las etapas S63 a S68 se llevan a cabo tal como sigue. Se espera un inicio del periodo de presentación visual horizontal de vista base en la trama de GOP (etapa S63). Cuando se evalúa que el periodo ha comenzado, el control se mueve a la etapa S64, en la cual los píxeles de cada línea en los datos de imagen de trama [j] se desplazan por el número de píxeles indicados por Plane_offset_value[j] en la dirección indicada por Plane_offset_direction[j] del eje X. Después de esto, se espera un inicio del periodo de presentación visual horizontal de vista dependiente en la trama de GOP (etapa S65). Cuando se evalúa que el periodo se ha iniciado, los píxeles de cada línea en los datos de imagen de trama [j] se desplazan por el número de píxeles indicado por Plane_offset_value[j] en la dirección inversa a la dirección indicada por Plane_offset_direction[j] del eje X. La etapa S67 define la condición para concluir el bucle usando la variable “j”. En la etapa S67, se evalúa si la variable “j” se ha vuelto o no “number_of_displayed_frame_in_GOP”. Hasta que se evalúe que la condición se satisface, se repite un proceso, en el cual la variable “j” se incrementa en la etapa S78 y el control vuelve a la etapa S63.
La figura 37 es un diagrama de flujo que muestra el procedimiento para desplazar el plano de PG cuando el flujo de subtítulos de texto sea el objetivo de la reproducción. La estructura de proceso de la figura 37 es básicamente la misma que la de la figura 36 excepto en que la etapa S64 se ha sustituido con las etapas S71 y S72, y la etapa S65 se ha sustituido con la etapa S73.
En la etapa S71, se obtiene un valor de interpolación para cada área de dibujo del plano de PG del desplazamiento que va a usarse para la trama. En la etapa S72, los píxeles de cada área de dibujo del plano de PG se desplazan por el número de píxeles igual a “Plane_offset_value[j] + valor de interpolación” en la dirección indicada por Plane_offset_direction[j] del eje X.
En la etapa S73, los píxeles de cada área de dibujo del plano de PG se desplazan por el número de píxeles igual a “Plane_offset_value[j] + valor de interpolación” en la dirección inversa de la dirección indicada por Plane_offset_direction[j] del eje X.
La figura 38 es un diagrama de flujo que muestra el procedimiento para desplazar el plano de IG. La estructura de proceso de la figura 38 es básicamente la misma que la de la figura 36 excepto en que la etapa S60 se ha sustituido con la etapa S74, la etapa S62 se ha sustituido con la etapa S75, la etapa S64 se ha sustituido con la etapa S76 y la etapa S66 se ha sustituido con la etapa S77.
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
En la etapa S74, se evalúa si Fixed_offset_during_Popup de la STN_table_SS está o no activo. Cuando se evalúa como “No”, el control se mueve a la etapa S61, y cuando se evalúa como “Sí”, el control se mueve a la etapa S78.
En la etapa S75, Plane_offset_direction[j] y Plane_offset_value[j] de GOP[i], entre las secuencias de desplazamiento que tienen offset_sequence_id especificadas por SS_IG_textST_offset_sequence_id_ref del flujo actual, se obtienen del descodificador de vídeo.
En la etapa S76, los píxeles de cada línea en el plano de IG se desplazan por el número de píxeles indicado por Plane_offset_value[j] en la dirección indicada por Plane_offset_direction[j] del eje X.
En la etapa S77, los píxeles de cada línea en el plano de IG se desplazan por el número de píxeles indicado por Plane_offset_value[j] en la dirección inversa de la dirección indicada por Plane_offset_direction[j] del eje X. La figura 39 es un diagrama de flujo que muestra el procedimiento de desplazamiento del plano de IG cuando el Fixed_offset_during_Popup de la STN_table_SS está activo. La estructura de proceso de la figura 39 es básicamente la misma que la de la figura 36 excepto en que la etapa S62 se ha sustituido con la etapa S78, la etapa S64 se ha sustituido con la etapa S79 y la etapa S66 se ha sustituido con la etapa S80.
En la etapa S78, IG_Plane_offset_direction_during_BB_video e IG_Plane_offset_value_during_BB_video del flujo actual en la STN_table_SS se obtienen.
En la etapa S79, los píxeles de cada línea en el plano de IG se desplazan por el número de píxeles indicado por IG_Plane_offset_value_during_BB_video en la dirección indicada por IG_Plane_offset_direction_during_BB_video del eje X.
En la etapa S80, los píxeles de cada línea en el plano de IG se desplazan por el número de píxeles indicado por IG_Plane_offset_value_during_BB_video en la dirección inversa de la dirección indicada por IG_Plane_offset_direction_during_BB_video del eje X.
Tal como se ha descrito en lo que antecede, de acuerdo con la presente realización, se define que la información de control para controlar el modo de “1 plano + desplazamiento” ha de proporcionarse dentro del flujo de vista dependiente. Con esta estructura, la información de control puede generarse sobre la base de la información de profundidad obtenida durante la filmación por la cámara de 3D, y sobre la base de la información de paralaje obtenida en el proceso de codificador por el codificador para generar el flujo de vídeo, y la información de control puede ser incorporada, como metadatos, en el flujo de vista dependiente. Esto facilita la generación de la información de control para controlar el control de desplazamiento en el modo de “1 plano + desplazamiento”. Esto hace posible omitir trabajo en gran medida en el proceso de creación. Debido a que la información de control define el control de desplazamiento en el modo de “1 plano + desplazamiento”, es posible una reproducción estereoscópica cuando sólo haya un subtítulo o un menú incluso si no hay subtítulos o menús izquierdo o derecho. De esta manera, la estructura de la presente realización no sólo reduce el tiempo y el esfuerzo requeridos para crear el subtítulo y el menú para cada una de la vista izquierda y la vista derecha, sino que hace posible lograr la reproducción estereoscópica incluso si la memoria de planos en el dispositivo de reproducción tiene un tamaño de un plano. Esto logra tanto una creación eficiente como un bajo coste en el dispositivo de reproducción.
(Ejemplo 2)
En la realización 1, se hace referencia a los sub-TS que constituyen los bloques de datos de vista dependiente a partir de la referencia de ID de entrada de sub-clip. Debido a esta estructura, cuando los sub-TS se graban por separado de los TS principales, los sub-TS se leen cuando el modo de reproducción se cambia del modo de reproducción de 2D al modo de reproducción de 3D. Esto podría deteriorar el carácter sin interrupciones de la reproducción AV. Como una mejora con respecto a este problema, el presente ejemplo propone una estructura que asegura que el TS principal y los sub-TS se lean de manera conjunta en el dispositivo de reproducción. De manera más específica, un TS principal y un sub-TS se intercalan como un par y se graban como un archivo:
En el presente caso, como una premisa del presente ejemplo, se explicarán brevemente los archivos en el sistema de archivos UDF. El archivo UDF está compuesto por una pluralidad de extensiones gestionadas por la entrada de archivo. La “entrada de archivo” incluye una “etiqueta de descriptor”, una “etiqueta de ICB” y un “descriptor de asignación”.
La “etiqueta de descriptor” es una etiqueta que identifica, como una “entrada de archivo”, la entrada de archivo que incluye la propia etiqueta de descriptor. La etiqueta de descriptor se clasifica en una etiqueta de descriptor de entrada de archivo, una etiqueta de descriptor de correlación de bits de espacio, y así sucesivamente. En el caso de una etiqueta de descriptor de entrada de archivo, “261”, la cual indica “entrada de archivo” se escribe en la misma.
La “etiqueta de ICB” indica información de atributo que hace referencia a la propia entrada de archivo.
15
25
35
45
55
65
E12174659
07-08-2014
El “descriptor de asignación” incluye un Número de Bloque Lógico (LBN, logical block number) que indica una posición de grabación de una Extensión que constituye un archivo de bajo orden bajo un directorio. El descriptor de asignación incluye también datos que indican la longitud de la Extensión. Los dos bits de alto orden de los datos que indican la longitud de la Extensión se establecen tal como sigue: “00” para indicar una Extensión asignada y grabada; “01” para indicar una extensión asignada y no grabada; y: “11” para indicar una Extensión que sigue al descriptor de asignación. Cuando un archivo de bajo orden bajo un directorio se divide en una pluralidad de Extensiones, la entrada de archivo ha de incluir una pluralidad de descriptores de asignación en correspondencia con las Extensiones. Es posible detectar una dirección de una Extensión que constituye un archivo de flujo al hacer referencia al descriptor de asignación en la entrada de archivo que se ha descrito en lo que antecede.
En lo sucesivo se describen los archivos en varios tipos que se usan en el presente ejemplo.
<Archivo de flujo intercalado estereoscópico (FileSS)>
El archivo de flujo intercalado estereoscópico (FileSS) es un archivo de flujo (archivo de 2TS-intercalado) en el cual se intercalan dos TS, y se identifica por un valor entero de cinco dígitos y una extensión (ssif) que indica un archivo de formato intercalado para una reproducción estereoscópica. El archivo de flujo intercalado estereoscópico está compuesto por la Extensión SS[n]. La Extensión SS[n] (a la que también se hace referencia como EXTSS[n]) se identifica por el número de índice “n”. El número de índice “n” se incrementa en orden comenzando desde la parte superior del archivo de flujo intercalado estereoscópico.
Cada Extensión SS[n] se estructura como un par de un bloque de datos de vista dependiente y un bloque de datos de vista base.
El bloque de datos de vista dependiente y el bloque de datos de vista base que constituyen la Extensión SS[n] son un objetivo de referencia cruzada por el archivo de 2D, base de archivo y dependiente de archivo. Ha de observarse que la referencia cruzada significa que un fragmento de datos grabados en un medio de grabación se registra como una Extensión de una pluralidad de archivos en las entradas de archivo del mismo. En la presente realización, las direcciones de inicio y longitudes de continuación del bloque de datos de vista dependiente y bloque de datos de vista base se registran en las entradas de archivo del archivo de 2D, base de archivo y dependiente de archivo.
<Base de archivo (FileBase)>
La base de archivo (FileBase) es un archivo de flujo virtual que se supone que “almacena” un TS principal especificado por la información de punto de inicio de Extensión en la información de clip que se corresponde con el archivo de 2D. La base de archivo (FileBase) está compuesta por al menos una Extensión 1[i] (también conocida como EXT1[i]). La Extensión 1[i] es la i-ésima Extensión en la base de archivo, donde “i” es un número de índice de la Extensión y se incrementa comenzando a partir de “0” de la parte superior de la base de archivo. La base de archivo es un archivo del flujo virtual usado para tratar el archivo de flujo intercalado estereoscópico, el cual es un archivo de 2TS, como un archivo de 1TS. La base de archivo se genera de una manera virtual al construir su entrada de archivo en la memoria del dispositivo de reproducción.
En la lectura real, la base de archivo se identifica al llevar a cabo un archivo abierto usando un nombre de archivo del archivo de flujo intercalado estereoscópico. De manera más específica, cuando se invoca el archivo abierto usando un nombre de archivo del archivo de flujo intercalado estereoscópico, el soporte lógico intermedio del dispositivo de reproducción genera, en la memoria, una entrada de archivo que identifica una Extensión en la base de archivo, y abre la base de archivo de una manera virtual. El archivo de flujo intercalado estereoscópico puede interpretarse como “incluyendo sólo un TS” y, de esta manera, es posible leer un archivo de flujo intercalado estereoscópico de 2TS del medio de grabación como una base de archivo de 1TS.
Cuando sólo va a leerse un bloque de datos de vista base en el modo de presentación de B-B, sólo las extensiones que constituyen la base de archivo se vuelven el objetivo de la lectura. Incluso si el modo se cambia del modo de presentación de B-B al modo de presentación de B-D, tanto el bloque de datos de vista dependiente como el bloque de datos de vista base pueden leerse al extender el alcance de lectura de las Extensiones que constituyen la base de archivo a las Extensiones que constituyen el archivo de flujo intercalado estereoscópico. De este modo, con esta disposición, no se reduce la eficiencia de la lectura de archivos.
<Dependiente de archivo (FileDependent)>
El dependiente de archivo (FileDependent) es un archivo de flujo que se supone que “almacena” un sub-TS, y está compuesto por la Extensión 2[i] (a la que también se hace referencia como EXT2[i]). La extensión 2[i] es la i-ésima extensión en el dependiente de archivo, donde “i” es un número de índice de la Extensión y se incrementa comenzando a partir de “0” en la parte superior del dependiente de archivo. El dependiente de archivo es un archivo de flujo virtual usado para tratar el archivo de flujo intercalado estereoscópico, el cual es un archivo de 2TS, como un archivo de 1TS que almacena el sub-TS. El dependiente de archivo se genera de una manera virtual al construir su
15
25
35
45
55
65
E12174659
07-08-2014
entrada de archivo en la memoria del dispositivo de reproducción.
El flujo de vídeo de vista dependiente se anexa con, y se accede al mismo con el uso de, un nombre de archivo que se representa por un número generado al añadir “1” al entero de cinco dígitos que representa el nombre de archivo del archivo de flujo intercalado estereoscópico. El medio de grabación almacena un archivo ficticio, y el “número generado al sumar 1”, en particular, el número de identificación del flujo de vídeo de vista dependiente, se anexa al archivo ficticio. Ha de observarse que el archivo ficticio es un archivo que no almacena Extensiones, en particular, información sustancial, sino que se le adjunta sólo un nombre de archivo. El flujo de vídeo de vista dependiente se trata como estando almacenado en el archivo ficticio.
<Archivo de 2D (File2D)>
El archivo de 2D (File2D) es un archivo de flujo de 1TS que almacena un TS principal que se reproduce en el modo de reproducción de 2D, y está compuesto por la Extensión 2D. El archivo de 2D se identifica por un valor entero de cinco dígitos y una extensión (ssif) que indica un archivo de formato intercalado para una reproducción estereoscópica.
En lo sucesivo se explica la correspondencia entre el archivo de 2D / base de archivo y el dependiente de archivo. La figura 40 muestra la correspondencia entre el archivo de 2D / base de archivo y el dependiente de archivo.
En la figura 40, la primera fila muestra un archivo de 2D / base de archivo 00001.m2ts y un dependiente de archivo 00002.m2ts. La segunda fila muestra Extensiones que almacenan bloques de datos de vista dependiente y bloques de datos de vista base. La tercera fila muestra un archivo de flujo intercalado estereoscópico 00001.ssif.
Las flechas de puntos h1, h2, h3 y h4 muestran los archivos a los cuales pertenecen las Extensiones EXT1[i] y EXT2[i], indicándose la pertenencia por los identificadores de asignación. De acuerdo con la pertenencia guiada por las flechas h1 y h2, las Extensiones EXT1[i] y EXT1[i + 1] se registran como Extensiones de la base de archivo 00001.m2ts.
De acuerdo con la pertenencia guiada por las flechas h3 y h4, las Extensiones EXT2[i] y EXT2[i + 1] se registran como Extensiones del dependiente de archivo 00002 m2ts.
De acuerdo con la pertenencia guiada por las flechas h5, h6, h7 y h8, las Extensiones EXT1[i], EXT2[i], EXT1[i + l] y EXT2[i + 1] se registran como Extensiones de 00001.ssif. Según se entiende a partir de esto, las Extensiones EXT1[i] y EXT1[i + 1] tienen la dualidad de pertenecer a 00001.ssif y 00001.m2ts. La extensión “ssif” está hecha de letras mayúsculas de Archivo Intercalado Estereoscópico, que indican que el archivo está en el formato intercalado para una reproducción estereoscópica.
Las figuras 41A a 41C muestran la correspondencia entre el archivo de flujo intercalado y el archivo de 2D / base de archivo.
La tercera fila en la figura 41A muestra la estructura interna del archivo de flujo intercalado. Tal como se muestra en la figura 41A, las Extensiones EXT1[1] y EXT1[2] que almacenan bloques de datos de vista base y EXT2[1] y EXT2[2] que almacenan bloques de datos de vista dependiente están dispuestas de manera alterna en el formato intercalado en el archivo de flujo intercalado.
La primera fila de la figura 41A muestra la estructura interna del archivo de 2D / base de archivo. El archivo de 2D / base de archivo está compuesto sólo de Extensiones EXT1[1] y EXT1[2] que almacenan bloques de datos de vista base, entre las Extensiones que constituyen el archivo de flujo intercalado que se muestra en la tercera fila. El archivo de 2D / base de archivo y el archivo de flujo intercalado tienen el mismo nombre, pero diferentes extensiones.
La segunda fila de la figura 41A muestra la estructura interna del dependiente de archivo. El dependiente de archivo está compuesto sólo de Extensiones EXT2[1] y EXT2[2] que almacenen bloques de datos de vista dependiente, entre las Extensiones que constituyen el archivo de flujo intercalado que se muestra en la tercera fila. El nombre de archivo del dependiente de archivo es un valor más alto en “1” que el nombre de archivo del archivo de flujo intercalado, y tienen diferentes extensiones.
No todos los dispositivos de reproducción soportan necesariamente el sistema de reproducción de 3D. Por lo tanto, es preferible que incluso un disco óptico que incluya una imagen de 3D soporte una reproducción de 2D. Ha de observarse en el presente caso que los dispositivos de reproducción que soportan sólo la reproducción de 2D no identifican la estructura de datos extendida para 3D. Los dispositivos de reproducción de 2D tienen que acceder sólo a las listas de reproducción de 2D y clips de AV de 2D usando un método de identificación convencional proporcionado a los dispositivos de reproducción de 2D. A la vista de esto, los flujos de vídeo de vista izquierda se almacenan en un formato de archivo que pueden reconocer los dispositivos de reproducción de 2D.
15
25
35
45
55
65
E12174659
07-08-2014
De acuerdo con el primer método, al TS principal se le asigna el mismo nombre de archivo que aquél en el sistema de reproducción de 2D de tal manera que la referencia que se ha descrito en lo que antecede de información de listas de reproducción pueda lograrse, es decir, de tal forma que el TS principal pueda usarse en la reproducción de 2D asimismo, y archivos de flujo en el formato intercalado tengan una extensión diferente. La figura 41B muestra que los archivos “00001.m2ts” y “00001.ssif” se acoplan unos con otros por el mismo nombre de archivo “00001”, aunque el primero está en el formato de 2D y el segundo está en el formato de 3D.
En un dispositivo de reproducción de 2D convencional, la lista de reproducción hace referencia sólo a los clips de AV del TS principal, y por lo tanto el dispositivo de reproducción de 2D reproduce, sólo el archivo de 2D. Por otro lado, en un dispositivo de reproducción de 3D, aunque la lista de reproducción hace referencia sólo al archivo de 2D que almacena el TS principal, cuando encuentra un archivo que tiene el mismo número de identificación y una extensión diferente, evalúa que el archivo es un archivo de flujo en el formato intercalado para la imagen de 3D, y envía el TS principal y el sub-TS.
El segundo método es el de usar diferentes carpetas. Los TS principales se almacenan en carpetas con nombres de carpeta convencionales (por ejemplo, “STREAM”), pero los sub-TS se almacenan en carpetas con nombres de carpeta únicos para 3D (por ejemplo, “SSIF”), con el mismo nombre de archivo “00001”. En el dispositivo de reproducción de 2D, la lista de reproducción hace referencia sólo a los archivos en la carpeta “STREAM”, pero en el dispositivo de reproducción de 3D, la lista de reproducción hace referencia a archivos que tienen el mismo nombre de archivo en las carpetas “STREAM” y “SSIF” de manera simultánea, haciendo posible asociar el TS principal y el sub-TS.
El tercer método usa los números de identificación. Es decir, este método asocia los archivos sobre la base de una regla predeterminada que hace referencia a los números de identificación. Por ejemplo, cuando el número de identificación del archivo de 2D / base de archivo es “00001”, al dependiente de archivo se asigna el número de identificación “00002” que se hace al añadir “1” al número de identificación del archivo de 2D / base de archivo, tal como se muestra en la figura 41C. Sin embargo, el sistema de archivo del medio de grabación trata al dependiente de archivo, al cual se asigna un nombre de archivo de acuerdo con la regla, como un archivo ficticio no sustancial. Esto se debe a que el dependiente de archivo es, en realidad, el archivo de flujo intercalado estereoscópico.
Los nombres de archivo que se han asociado unos con otros de esta manera se escriben en (i) la información de registro de flujo en la tabla de selección de flujos básicos y (ii) la referencia de ID de entrada de sub-clip (ref_to_STC_id[0]) en la información de registro de flujo en la tabla de selección de flujos de extensión. Por otro lado, el dispositivo de reproducción reconoce un nombre de archivo, el cual es un valor más alto en “1” que el nombre de archivo escrito en la referencia de ID de entrada de sub-clip, como el nombre de archivo del archivo ficticio, y lleva a cabo el proceso de apertura del dependiente de archivo de una manera virtual. Esto asegura que el procedimiento de selección de flujos lea, del medio de grabación, el dependiente de archivo que esté asociado con otros archivos de la manera que se ha descrito en lo que antecede.
Esto completa la descripción del archivo de 2D, la base de archivo y el dependiente de archivo.
En lo sucesivo se explican los bloques de datos con detalle.
<Bloque de datos de vista base>
El bloque de datos de vista base (B[i]) es el i-ésimo dato en el TS principal. Ha de observarse que el TS principal es un TS especificado como el elemento principal de la trayectoria principal por la información de nombre de archivo de información de clip de la información de elementos de reproducción actual. La “i” en B[i] es un número de índice que se incrementa comenzando a partir de “0” en correspondencia con el bloque de datos en la parte superior de la base de archivo.
Los bloques de datos de vista base están dentro de aquellos compartidos por la base de archivo y el archivo de 2D, y aquellos no compartidos por la base de archivo y el archivo de 2D.
Los bloques de datos de vista base compartidos por la base de archivo y el archivo de 2D y los bloques de datos de vista base únicos para el archivo de 2D se vuelven las Extensiones del archivo de 2D, y se establecen para tener una longitud que no de lugar a un sub-desbordamiento de almacenamiento temporal en el dispositivo de reproducción. La dirección del sector de inicio de los bloques de datos de vista base se escribe en el descriptor de asignación en la entrada de archivo del archivo de 2D.
Los bloques de datos de vista base únicos para la base de archivo, los cuales no se comparten por el archivo de 2D, no se vuelven las Extensiones del archivo de 2D y, de esta manera, no se establecen para obtener una longitud que no de lugar a un sub-desbordamiento en una memoria de almacenamiento temporal única en el dispositivo de reproducción. Los bloques de datos de vista base se establecen para tener un tamaño más pequeño, en particular, una longitud que no de lugar a un sub-desbordamiento en una memoria de almacenamiento temporal doble en el dispositivo de reproducción.
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
Las direcciones de sector de inicio del bloque de datos de vista base únicas para la base de archivo no se escriben en el descriptor de asignación en la entrada de archivo. En lugar de esto, se apunta al paquete de origen de inicio en el bloque de datos de vista base por la información de punto de inicio de extensión en la información de clip del archivo de información de clips que se corresponde con el TS principal. Por lo tanto, la dirección de sector de inicio de un bloque de datos de vista base único para la base de archivo tiene que obtenerse al usar (i) el descriptor de asignación en la entrada de archivo del archivo de flujo intercalado estereoscópico y (ii) la información de punto de inicio de Extensión en la información de clips.
Cuando la vista base es la vista izquierda, el bloque de datos de vista base es un bloque de paquetes de origen que almacena porciones de una pluralidad de tipos de flujos PES para una reproducción de 2D y reproducción de vista izquierda, incluyendo: paquetes de origen que almacenan porciones del flujo de vídeo de vista izquierda; paquetes de origen que almacenan porciones del flujo de gráficos de vista izquierda; paquetes de origen que almacenan porciones del flujo de audio que se reproducen junto con aquellos flujos; e información de gestión de paquetes (PCR, PMT, PAT) definida en la norma europea de radiodifusión. Los paquetes que constituyen el bloque de datos de vista base tienen ATC, STC y SPN continuos para asegurar una reproducción de AV sin interrupciones durante un periodo predeterminado.
<Bloque de datos de vista dependiente>
El bloque de datos de vista dependiente (D[i]) es el i-ésimo dato en el sub-TS. Ha de observarse que el sub-TS es un TS especificado como el elemento principal de la sub-trayectoria por la entrada de archivo en la secuencia de registro de flujo en la tabla de selección de flujos de extensión que se corresponde con la información de elementos de reproducción actual. La “i” en D[i] es un número de índice que se incrementa comenzando a partir de “0” que se corresponde con el bloque de datos en la parte superior del dependiente de archivo.
Los bloques de datos de vista dependiente se vuelven las extensiones del dependiente de archivo, y se establecen para tener una longitud que no de lugar a un sub-desbordamiento en una memoria de almacenamiento temporal doble en el dispositivo de reproducción.
Asimismo, en las áreas continuas en el medio de grabación, un bloque de datos de vista dependiente se dispone antes de un bloque de datos de vista base que se reproduce en el mismo tiempo de reproducción junto con el bloque de datos de vista dependiente. Por esta razón, cuando el archivo de flujo intercalado estereoscópico se lee, el bloque de datos de vista dependiente se lee antes del bloque de datos de vista base correspondiente, sin fallos.
Las direcciones de sector de inicio de los bloques de datos de vista dependiente no se escriben en el descriptor de asignación en la entrada de archivo del archivo de 2D debido a que los bloques de datos de vista dependiente no se comparten por el archivo de 2D. En lugar de esto, se apunta al paquete de origen de inicio en el bloque de datos de vista dependiente por la información de punto de inicio de extensión en la información de clip. Por lo tanto, la dirección de sector de inicio de un bloque de datos de vista dependiente tiene que obtenerse usando (i) el descriptor de asignación en la entrada de archivo del archivo de 2D y (ii) la información de punto de inicio de extensión en la información de clip.
Cuando la vista dependiente es la vista derecha, el bloque de datos de vista dependiente es un bloque de paquetes de origen que almacena porciones de una pluralidad de tipos de flujos PES para una reproducción de vista derecha, incluyendo paquetes de origen que almacenan porciones del flujo de vídeo de vista derecha; paquetes de origen que almacenan porciones del flujo de gráficos de vista derecha y paquetes de origen que almacenan porciones del flujo de audio que se reproducen junto con aquellos flujos. Los paquetes que constituyen el bloque de datos de vista dependiente tienen ATC, STC y SPN continuos para asegurar una reproducción de AV sin interrupciones durante un periodo predeterminado. En los bloques de datos de vista dependiente continuos y los bloques de datos de vista base correspondientes, los números de paquetes de origen de los paquetes de origen que constituyen estos bloques son continuos, pero cada uno de los ATC de los paquetes de origen que constituyen estos bloques es el mismo valor. En consecuencia, una pluralidad de paquetes de origen que constituyen los bloques de datos de vista dependiente y una pluralidad de paquetes de origen que constituyen los bloques de datos de vista base correspondientes alcanzan los filtros PID en el mismo tiempo de ATC.
<Clasificación de Extensión>
Tal como se ha descrito en lo que antecede, las Extensiones del archivo de 2D están dentro de aquellas compartidas por la base de archivo, y aquellas no compartidas por la base de archivo.
Supóngase en el presente caso que las Extensiones del archivo de 2D sean B[0], B[1], B[2], B[3]2D y B[4]2D, y que las Extensiones de la base de archivo sean B[0], B[1], B[2], B[3]ss y B[4]ss. De estas, B[0], B[1] y B[2] son bloques de datos de vista base compartidos por la base de archivo. B[3]2D y B[4].2D son bloques de datos de vista base únicos para el archivo de 2D, no compartidos por la base de archivo.
15
25
35
45
55
65
E12174659
07-08-2014
Asimismo, B[3]ss y B[4]ss son bloques de datos de vista base únicos para la base de archivo, no compartidos por el archivo de 2D.
Los datos de B[3]2D son iguales bit a bit a los datos de B[3]ss. Los datos de B[4]2D son iguales bit a bit a los datos de B[4]ss.
Los bloques de datos B[2], B[3]2D y B[4]2D en el archivo de 2D constituyen Extensiones (Extensiones grandes) que tienen una gran longitud de continuación inmediatamente antes de una posición en la cual se produce un salto largo. De esta manera, las Extensiones grandes pueden formarse inmediatamente antes de un salto largo en el archivo de 2D. En consecuencia, incluso cuando un archivo de flujo intercalado estereoscópico se reproduzca en el modo de reproducción de 2D, no hay necesidad de preocuparse de que tenga lugar un sub-desbordamiento en la memoria de almacenamiento temporal de lectura.
El archivo de 2D y la base de archivo tienen un carácter igual, aunque son parcialmente diferentes en Extensiones. Por lo tanto, el archivo de 2D y la base de archivo generalmente se denominan “archivo de 2D / base de archivo”.
<Salto largo>
En general, cuando un disco óptico se adopta como el medio de grabación, una operación para suspender una operación de lectura del captador óptico, y, durante la suspensión, colocar el captador óptico en la siguiente área objetivo de lectura se denomina “salto”.
El salto se clasifica en: un salto que incrementa o reduce la velocidad de rotación del disco óptico; un salto de pista y un salto de foco. El salto de pista es una operación de mover el captador óptico en la dirección de radio del disco. El salto de foco está disponible cuando el disco óptico es un disco de múltiples capas, y es una operación de mover el foco del captador óptico de una capa de grabación a otra capa de grabación. Estos saltos se denominan “saltos largos” debido a que generalmente requieren de un largo tiempo de búsqueda, y un gran número de sectores se saltan en la lectura debido a los saltos. Durante un salto, se suspende la operación de lectura por el captador óptico.
La longitud de la porción para la cual la operación de lectura se salta durante un salto se denomina “distancia de salto”. La distancia de salto se representa típicamente por el número de sectores incluido en la porción. El salto largo que se ha mencionado en lo que antecede se define específicamente como un salto cuya distancia de salto excede un valor umbral predeterminado. El valor umbral es, por ejemplo, 40.000 sectores en la norma de BD-ROM, de acuerdo con el tipo de disco y el desempeño con respecto al proceso de lectura de la unidad.
Las posiciones típicas en las cuales el salto largo se produce incluyen un límite entre capas de grabación, y una posición en la cual un elemento de reproducción está conectado con n elementos de reproducción, en particular, se lleva a cabo una multi-conexión.
En el presente caso, cuando se lleva a cabo una multi-conexión de uno a n de elementos de reproducción, el primer TS entre “n” fragmentos de los TS que constituyen “n” fragmentos de elementos de reproducción puede disponerse en una posición inmediatamente después de un TS que constituye el elemento de reproducción que preceda a los “n” elementos de reproducción. Sin embargo, cualquiera del segundo TS en adelante no puede disponerse en la posición inmediatamente después del TS que constituye el elemento de reproducción que preceda a los “n” elementos de reproducción. Cuando, en una multi-conexión de uno a n, se hace un salto de un elemento de reproducción a cualquiera del segundo elemento de reproducción y en adelante en los “n” elementos de reproducción, la lectura tiene que saltar una o más áreas de grabación de los TS. Por lo tanto, tiene lugar un salto largo en una posición donde existe una multi-conexión de uno a n.
<Trayectoria de reproducción de cada modo>
La trayectoria de reproducción para el modo de reproducción de 2D está compuesta por extensiones del archivo de 2D a las que se hace referencia por la información de nombre de archivo de información de clip en la información de elementos de reproducción actual.
La trayectoria de reproducción del modo de presentación de B-D está compuesta por extensiones del archivo de flujo intercalado estereoscópico a los que se hace referencia por la información de nombre de archivo de información de clip en la información de elementos de reproducción actual.
La trayectoria de reproducción del modo de presentación de B-B está compuesta por Extensiones de la base de archivo a la que se hace referencia por la información de nombre de archivo de información de clip en la información de elementos de reproducción actual.
El cambio entre estas trayectorias de reproducción de los tres modos puede hacerse al llevar a cabo una apertura de archivo usando el nombre de archivo escrito en la información del nombre de archivo de información de clip en la información de elementos de reproducción actual: como el nombre de archivo del archivo de 2D; como el nombre de
15
25
35
45
55
65
E12174659
07-08-2014
archivo de la base de archivo o como el nombre de archivo del archivo de flujo intercalado estereoscópico. Este cambio en las trayectorias de reproducción no cambia la lista de reproducción actual o elemento de reproducción actual y, de esta manera, pueden mantener el carácter sin interrupciones cuando el modo de reproducción se cambie.
Con esta estructura, el dispositivo de reproducción puede leer bloques de datos adecuados para cada modo de reproducción del medio de grabación al abrir cualquiera del archivo de flujo intercalado estereoscópico, base de archivo y archivo de 2D sobre la base de la información de nombre de archivo de información de clip en la información de elementos de reproducción actual.
<Valores específicos de EXT2D, EXT1[n], EXT2[n]>
El valor más inferior de EXT2D se determina de tal forma que, cuando una reproducción en el modo de reproducción de 2D se lleve a cabo, no tenga lugar un sub-desbordamiento de memoria de almacenamiento temporal en la memoria de almacenamiento temporal de lectura del dispositivo de reproducción durante un periodo de salto desde cada bloque de datos de vista base hasta el siguiente bloque de datos de vista base.
El valor más inferior de EXT2D se representa por la siguiente expresión para la Condición 1, cuando tarda Tjump2D(n) de tiempo cuando se realiza un salto desde el n-ésimo bloque de datos de vista base hasta el (n + 1)ésimo bloque de datos de vista base, cada bloque de datos de vista base se lee en la memoria de almacenamiento temporal de lectura a una velocidad de Rud2D, y el bloque de datos de vista base se transfiere de la memoria de almacenamiento temporal de lectura del descodificador de vídeo a una velocidad promedio de Rbext2D.
<Condición 1>
[Valor más inferior de EXT2D] ≥ (Rud2D + Rbext2D) / (Rud2D -Rbext2D) x Tjump2D (n)
Se supone en el presente caso que una Extensión que se corresponde con un bloque de datos de vista base B[n]ss se representa como EXT1[n]. En este caso, el valor más inferior de EXT1[n] se determina de tal forma que, cuando una reproducción en el modo de presentación de B-D se lleve a cabo, no tenga lugar un sub-desbordamiento de almacenamiento temporal en la memoria de almacenamiento temporal doble durante un periodo de salto desde cada bloque de datos de vista base hasta el siguiente bloque de datos de vista dependiente, y durante un periodo de salto desde el bloque de datos de vista dependiente hasta el siguiente bloque de datos de vista base.
En el presente ejemplo, la memoria de almacenamiento temporal doble está compuesta por una memoria de almacenamiento temporal de lectura 1 y una memoria de almacenamiento temporal de lectura 2. La memoria de almacenamiento temporal de lectura 1 es igual a la memoria de almacenamiento temporal de lectura provista en el dispositivo de reproducción de 2D.
Se supone en el presente caso que, cuando una reproducción en el modo de presentación de B-D se lleva a cabo, tarda Tfjump3D (n) de tiempo cuando se realiza un salto desde el n-ésimo bloque de datos de vista base hasta el pésimo bloque de datos de vista base, y tarda TBjump3D (n) de tiempo cuando se realiza un salto desde el p-ésimo bloque de datos de vista dependiente hasta el (n + 1)-ésimo bloque de datos de vista base.
Se supone además que, cada bloque de datos de vista base se lee en la memoria de almacenamiento temporal de lectura 1 a una velocidad de Rud3D, cada bloque de datos de vista dependiente se lee en la memoria de almacenamiento temporal de lectura 2 a la velocidad de Rud3D, y el bloque de datos de vista base se transfiere de la memoria de almacenamiento temporal de lectura 1 al descodificador de vídeo a una velocidad promedio de Rbext3D. A continuación, el valor más inferior de EXT1[n] se representa por la siguiente expresión para la Condición
2. La longitud de continuación de las Extensiones grandes se establece a un valor que sea igual a o mayor que el valor más inferior.
<Condición 2>
[Valor más inferior de EXT1[n]] ≥ (Rud3D x Rbext3D) / (Rud3D -Rbext3D) x (TFjump3D (n) + EXT2[n] / (Rud3D + TBjump3D (n)))
El valor más inferior de EXT2 se determina de tal forma que, cuando una reproducción en el modo de presentación de B-D se lleve a cabo, no tenga lugar un sub-desbordamiento de almacenamiento temporal y la memoria de almacenamiento temporal del dispositivo de reproducción durante un periodo de salto a partir de cada extensión de vista dependiente hasta la siguiente extensión de datos de vista base, y durante un periodo de salto a partir de la extensión de vista base hasta la siguiente extensión de vista dependiente.
El valor más inferior de EXT2[n] se representa por la siguiente expresión para la Condición 3, cuando tarda Tfjump3D (n + 1) de tiempo cuando se realiza un salto desde el (n + 1)-ésimo bloque de datos de vista base hasta el (p + 1)-ésimo bloque de datos de vista base, y el bloque de datos de vista dependiente se transfiere de la memoria
15
25
35
45
55
65
E12174659
07-08-2014
de almacenamiento temporal de lectura 2 al descodificador a una velocidad promedio de Rdext3D.
<Condición 3>
[Valor más inferior de EXT2[n]] ≥ (Rud3D + Rbext3D) / (Rud3D -Rdext3D) x (TBjump3D (n) + EXT2[n + 1] / (Rud3D + TFjump3D (n + 1)))
<Valores específicos de EXTSS>
Cuando va a realizarse un salto de una lectura de una Extensión a la siguiente Extensión, la memoria de almacenamiento temporal ha de estar ocupada por una cantidad suficiente de datos inmediatamente antes del salto. En consecuencia, cuando se va a leer un archivo de flujo intercalado estereoscópico, la memoria de almacenamiento temporal de lectura tiene que almacenar una Extensión, y se ha de evitar la ocurrencia de un subdesbordamiento de la memoria de almacenamiento temporal.
Sin embargo, la “EXTSS” tiene que determinarse no sólo sobre la base de “Tjump”, un periodo de tiempo requerido cuando se produce un salto de una Extensión a otra Extensión, sino de “Tdiff”. Ha de observarse en el presente caso que el “Tdiff” representa un tiempo de retraso que tiene lugar en relación con una precarga de bloques de datos de vista dependiente en EXTss y una precarga de bloques de datos de vista dependiente en EXTssnext. Lo siguiente explica adicionalmente el significado de Tdiff. Cuando un archivo de flujo intercalado estereoscópico se lee mientras el bloque de datos de vista dependiente inicial está siendo precargado.
En EXTss, la reproducción se retrasa tanto como el periodo de tiempo requerido para la precarga del bloque de datos de vista dependiente. En el presente caso, se hace referencia al periodo de tiempo requerido para la precarga del bloque de datos de vista dependiente inicial en EXTss como “periodo de retraso” debido a que la reproducción se retrasa tanto como el periodo.
Por otro lado, en EXTssnext, inmediatamente después de que se hace un salto de EXTss a la siguiente EXTss, el bloque de datos de vista dependiente inicial se precarga. De este modo, se permite que la reproducción del descodificador de vídeo se retrase durante el periodo de la precarga. Por lo tanto, se hace referencia al periodo de tiempo en el cual el bloque de datos de vista dependiente inicial se precarga en la reproducción del siguiente EXTss como “periodo de gracia” debido a que se permite que el inicio de la reproducción por el descodificador de vídeo se retrase durante el periodo.
A la vista de esto, un valor de Tdiff se obtiene al restar el periodo de retraso del periodo de gracia del bloque de datos de vista dependiente. De manera más específica, el valor Tdiff se calcula usando la siguiente expresión.
Tdiff =techo [((S1stEXT1[i] EXTSSnext) -S1stEXT1[i] EXTSS) x 1000 x 8] / Rud72]
En la expresión anterior, Tdiff significa una diferencia entre el periodo de tiempo para la lectura de S1stEXT2[i] EXTss y el periodo de tiempo para la lectura de S1stEXT2[i] EXTSSnext; S1stEXT2[i] EXTss representa el tamaño de EXT2[i] que se ubica al principio de EXTss; S1stEXT2[i] EXTssnext representa el tamaño de EXT2[i] que se ubica al inicio del EXTssnext. EXTssnext es una Extensión en el archivo de flujo intercalado estereoscópico, se ubica inmediatamente después de EXTss, y se reproduce sin interrupciones con EXTss.
Con el uso de Tdiff y Tjump, el cual es un periodo de tiempo requerido para saltar a EXTssnext, Sextss, que es el tamaño de Extensión mínimo sobre la base de la velocidad de bits promedio en cada Extensión, se calcula como un valor que satisface la siguiente condición 4.
<Condición 4>
SextSS[Byte] ≥ techo [(Tjump + Tdiff x Rud72) / (1000 x 8)] x (Rextss x 192) / (Rud72 -x-188 -Rextss x 192)]
En la condición 4 anterior, Rud72 representa una velocidad de datos en transferencia de la unidad de BD-ROM en el modo de reproducción estereoscópica.
Rextss representa una velocidad de bits promedio en EXTss y se obtiene usando las siguientes expresiones.
Rextss = techo [Nsp x 188 x 8 / (ATCDextss / 27000000)]
ATCDextss = ATCstart_EXTssnext -ATCstart_EXTss
ATCDextss = ATClast_EXTss -ATCstart_EXTss + techo (27000000 x 188 x 8/ mín(Rts1,Rts2))
En las expresiones anteriores, ATCDextss representa el periodo ATC de EXTss.
E12174659
07-08-2014
ATCstart_EXTss representa el valor de ATC mínimo especificado por el campo de ATC de la secuencia de paquetes de origen en EXTss.
ATCstart_EXTssnext representa el valor de ATC mínimo especificado por el campo de ATC de la secuencia de 5 paquetes de origen en EXTssnext.
ATClast_EXTss representa el valor de ATC máximo especificado por el campo de ATC de la secuencia de paquetes de origen en EXTss.
10 Nsp representa el número de paquetes de origen que están incluidos en el TS principal y el sub-TS y tienen valores de ATC que se corresponden con los ATC en la escala de ATCDexss.
Rts1 representa un valor de la velocidad de grabación de TS en el TS principal, y su valor máximo es 48 Mbps.
15 Rts2 representa un valor de la velocidad de grabación de TS en el sub-TS, y su valor máximo es 48 Mbps.
Cuando se van a reproducir dos elementos de reproducción continuamente, EXTss incluye el primer byte de datos en la secuencia de ATC que se usa por el elemento de reproducción previa (Elemento de reproducción 1).
20 -EXTss tiene un tamaño igual a o mayor que el tamaño de extensión mínimo definido en la Condición 4.
-Cuando EXTss es el primer byte de datos en la secuencia de ATC que se usa por el elemento de reproducción previo, la información de condición de conexión del elemento de reproducción previo no se establece en “5” (proceso de conexión que requiere de una ruptura limpia en el límite entre elementos de reproducción) o “6” (proceso de
25 conexión en el cual el límite entre elementos de reproducción coincide con el límite entre los GOP).
EXTss incluye bytes de datos en la secuencia de ATC que se usa por el elemento de reproducción actual (elemento de reproducción 2).
30 -EXTss tiene un tamaño igual a o mayor que el tamaño de Extensión mínimo definido en la condición 4.
-Cuando EXTss en el último bytes de datos la secuencia de ATC que se usa por el Elemento de reproducción 2, la información de condición de conexión del Elemento de reproducción 2 no se establece en “5” o “6”. En este caso, no es necesario satisfacer el tamaño de EXTss.
35 La figura 42 muestra la correspondencia entre el archivo de flujo intercalado estereoscópico, el archivo de 2D, la base de archivo y el dependiente de archivo. La primera fila en la figura 42 muestra el archivo de 2D, la segunda fila muestra bloques de datos grabados en el medio de grabación, la tercera fila muestra el archivo de flujo intercalado estereoscópico, la cuarta fila muestra la base de archivo y la quinta fila muestra el dependiente de archivo.
40 Los bloques de datos que se muestran en la segunda fila son D[1], B[1], D[2] B[2], D[3], B[3]ss, D[4], B[4]ss, B[3]2D y B[4]2D. Las flechas ex1, ex2, ex3 y ex4 muestran la pertenencia en la cual, entre estos bloques de datos, los bloques de datos B[1], B[2], B[3]2D y B[4]2D constituyen las Extensiones del archivo de 2D.
45 Las flechas ex5 y ex6 muestran la pertenencia en la cual D[1], B[1], D[2], B[2], D[3], B[3]ss, D[4] y B[4]ss constituyen las Extensiones del archivo de flujo intercalado estereoscópico.
La cuarta fila muestra que, entre estos bloques de datos que constituyen el archivo de flujo intercalado estereoscópico, B[1], B[2], B[3]ss y B[4]ss constituyen las Extensiones de la base de archivo. La quinta fila muestra 50 que, entre los bloques de datos que constituyen el archivo de flujo intercalado estereoscópico, D[1], D[2], D[3] y D[4] constituyen las Extensiones del dependiente de archivo.
La figura 43 muestra la lista de reproducción de 2D y la lista de reproducción de 3D. La primera fila muestra la información de listas de reproducción de 2D. La segunda fila muestra los bloques de datos de vista base. La tercera 55 fila muestra la lista de reproducción de 3D. La cuarta fila muestra los bloques de datos de vista dependiente.
Las flechas rf1, rf2 y rf3 muestran una trayectoria de reproducción generada al combinar la Extensión “m2ts” y un nombre de archivo “00001” descrito en “clip_information_file_name” en la información de elementos de reproducción de la información de listas de reproducción de 2D. En este caso, la trayectoria de reproducción del lado de vista
60 base está constituida a partir de bloques de datos B[1], B[2] y B[3] 2D.
Las flechas rf4, rf5, rf6 y rf7 muestran una trayectoria de reproducción especificada por la información de elementos de reproducción de la información de listas de reproducción de 3D. En el presente ejemplo, la trayectoria de reproducción en el lado de vista base está constituida a partir de bloques de datos B[1], B[2], B[3]ss y B[4]ss.
65
15
25
35
45
55
65
E12174659
07-08-2014
Las flechas rf8, rf9, rf10 y rf11 muestran una trayectoria de reproducción especificada por la información de elementos de sub-elementos de reproducción de la información de listas de reproducción de 3D. En el presente ejemplo, la trayectoria de reproducción en el lado de vista dependiente está constituida a partir de bloques de datos D[1], D[2], D[3] y D[4]. Estos bloques de datos que constituyen las trayectorias de reproducción especificadas por la información de elementos de reproducción y la información de sub-elementos de reproducción pueden leerse al abrir archivos que se generen al combinar la expresión “ssif” y los nombres de archivo escritos en “clip_information_file_name” en la información de elementos de reproducción.
Tal como se muestra en la figura 43, la información de nombres de archivo de información de clip en la lista de reproducción de 3D y la información de nombres de archivos de información de clip en la lista de reproducción de 2D tienen nombres de archivo en común. En consecuencia, la información de listas de reproducción puede escribirse para incluir la descripción que sea común a la lista de reproducción de 3D y la lista de reproducción de 2D (véase según lo indican los signos df1 y df2) para definir de este modo la lista de reproducción de 3D y la lista de reproducción de 2D en consecuencia, una vez que se escribe información de listas de reproducción para lograr la lista de reproducción de 3D: la información de listas de reproducción funciona como la lista de reproducción de 3D cuando el modo de salida del dispositivo de reproducción es el modo de salida estereoscópico; y la información de listas de reproducción funciona como la lista de reproducción de 2D cuando el modo de salida del dispositivo de reproducción es el modo de salida de 2D; La lista de reproducción de 2D y la lista de reproducción de 3D que se muestran en la figura 33 tienen en común un fragmento de información de listas de reproducción, el cual se interpreta como la lista de reproducción de 2D o la lista de reproducción de 3D dependiendo del modo de salida del dispositivo de reproducción que interprete el fragmento de información de listas de reproducción. Esto reduce la cantidad de tiempo y el esfuerzo realizados por una persona a cargo de la creación.
Cuando los TS principales y los sub-TS se almacenan en el archivo de flujo intercalado estereoscópico, un nombre de archivo del archivo de 2D se escribe en “clip_information_file_name” en la información de elementos de reproducción de la lista de reproducción de 2D, y un nombre de archivo de la base de archivo se escribe en “clip_information_file_name” en la información de elementos de reproducción de la lista de reproducción de 3D. Debido a que la base de archivo es un archivo virtual y su nombre de archivo es igual a aquél del archivo de flujo intercalado estereoscópico, el nombre de archivo del archivo de flujo intercalado estereoscópico puede escribirse en “clip_information_file_name” en la información de elementos de reproducción. Un nombre de archivo del dependiente de archivo se escribe en “ref_to_subclip_entry_id” en la información de registro de flujo en la tabla de selección de flujos de extensión. El nombre de archivos del dependiente de archivo se crea al sumar “1” al número de identificación del archivo de flujo intercalado estereoscópico.
La figura 44 muestra una lista de reproducción generada al añadir una sub-trayectoria a la lista de reproducción de 3D que se muestra en la figura 43. La lista de reproducción que se muestra en la figura 43 incluye sólo una subtrayectoria cuyo ID de sub-trayectoria es “1”, mientras que la segunda sub-trayectoria en la lista de reproducción que se muestra en la figura 44 se identifica por el ID de sub-trayectoria “2”, y hace referencia a bloques de datos diferentes de aquellos a los que se hace referencia por la sub-trayectoria 1. Los dos o más fragmentos de información de sub-trayectoria definen una pluralidad de vistas derechas las cuales son de diferentes ángulos en las cuales el objeto se ve por el ojo derecho. Tantos bloques de datos como los ángulos constituyen la vista derecha. Igualmente, se proporcionan tantas sub-trayectorias como los ángulos.
Es posible presentar visualmente imágenes estereoscópicas confortables sobre la base de paralaje al usuario al cambiar sub-trayectorias que se reproducirán en sincronía con trayectorias principales definidas por el TS principal constituido a partir de los bloques de datos de vista base.
Con respecto a esta información de listas de reproducción que logra la lista de reproducción de 3D, la información de listas de reproducción funciona como la lista de reproducción de 3D cuando el modo de salida del dispositivo de reproducción es el modo de salida estereoscópico, y la información de listas de reproducción funciona como la lista de reproducción de 2D cuando el modo de salida del dispositivo de reproducción es el modo de salida de 2D. La lista de reproducción de 2D y la lista de reproducción de 3D que se muestran en la figura 43 tienen en común un fragmento de información de listas de reproducción, el cual se interpreta como la lista de reproducción de 2D o la lista de reproducción de 3D de manera adecuada dependiendo del modo de salida del dispositivo de reproducción que interprete el fragmento de información de listas de reproducción. Esto reduce la cantidad de tiempo y el esfuerzo realizados por una persona a cargo de la creación.
En lo sucesivo se describe cómo especificar el flujo de vídeo de vista base.
En general, el vídeo de vista izquierda se genera como el vídeo de 2D. Sin embargo, se podría pensar que el vídeo de vista derecha es adecuado para el vídeo de 2D. Para soportar esta demanda, un indicador de vista base se establece en cada fragmento de información de elementos de reproducción, donde el indicador de vista base indica cuál de la vista izquierda y la vista derecha se establece como la vista base. El indicador de vista base establecido en cada fragmento de información de elementos de reproducción indica cuál del flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha se establece como el flujo de vídeo de vista base, cuál del flujo de PG de vista izquierda y el flujo de PG de vista derecha se establece como el flujo de PG de vista base, y cuál del flujo de IG de
15
25
35
45
55
65
E12174659
07-08-2014
vista izquierda y el flujo de IG de vista derecha se establece como el flujo de IG de vista base.
Tal como se ha descrito en lo que antecede, un bloque de datos de vista dependiente precede a un bloque de datos de vista base sin fallos. Como resultado, haciendo referencia al indicador de vista base, es posible reconocer cuál del paquete de origen para reproducir la vista derecha y el paquete de origen para reproducir la vista izquierda se suministra primero al dispositivo de reproducción.
Cuando el flujo de vídeo de vista derecha se especifica como el flujo de vídeo de vista base, esta información da lugar a que el flujo de vídeo de vista derecha se introduzca en el descodificador de vídeo en primer lugar para obtener datos de imagen no comprimidos, incluso si la vista derecha se especifica por la información de subtrayectoria. Y sobre la base de los datos de imagen no comprimidos obtenidos al descodificar el flujo de vídeo de vista derecha, se lleva a cabo una compensación de movimiento. Esto hace a la selección de la vista base más flexible.
La figura 45A muestra una lista de reproducción de 3D generada al añadir un indicador de vista base a la lista de reproducción de 3D que se muestra en la figura 43A.
La figura 45B muestra cómo el indicador de vista base se describe en la estructura que define el elemento de reproducción, en un lenguaje de programación orientado a objetos. La figura 45B muestra un ejemplo de esta descripción. Tal como se muestra en las figuras 45A y 45B, cuando un valor inmediato “0” se establece en el indicador de vista base, el flujo de vídeo de vista izquierda se especifica como el flujo de vídeo de vista base; y cuando un valor inmediato “1” se establece en el indicador de vista base, el flujo de vídeo de vista derecha se especifica como el flujo de vídeo de vista base.
El indicador de vista base puede usarse cuando el flujo se envíe al dispositivo de presentación visual. El dispositivo de presentación visual usa el indicador de vista base para diferenciar los dos tipos de flujos. En un sistema en el cual se usan gafas con obturadores, las presentaciones visuales de las gafas y el dispositivo de presentación visual no se pueden sincronizar a menos que se reconozca cuál de la vista izquierda y la vista derecha es la imagen principal a la que se hace referencia por el elemento de reproducción. Una señal de cambio se envía a las gafas con obturadores de tal manera que la luz se transmita a través de la gafa para el ojo izquierdo cuando la vista izquierda se presente visualmente, y la luz se transmita a través de la gafa para el ojo derecho cuando la vista derecha se presente visualmente.
La información proporcionada por el indicador de vista base también se usa en métodos estereoscópicos para ver a simple vista, tal como el método lenticular, en el cual se incorpora un prisma en la pantalla del dispositivo de presentación visual. Esto se debe a que la diferenciación entre la vista izquierda y la vista derecha es necesaria también en estos métodos. Esto completa la descripción del indicador de vista base. El indicador de vista base se basa en la premisa de que cualquiera de la vista izquierda o la vista derecha, entre las imágenes de paralaje, puede reproducirse como el vídeo monoscópico.
La figura 46 es un diagrama de flujo que muestra el procedimiento de reproducción de elementos de reproducción.
En la etapa S41, se evalúa si el modo de salida actual es el modo de salida de 3D. Cuando el modo de salida actual es el modo de salida de 2D, se lleva a cabo un bucle constituido a partir de las etapas S43 a S48.
En la etapa S43, el archivo de flujo, el cual se identifica por: “xxxxx” descrito en Clip_information_file_name del elemento de reproducción actual y la extensión “m2ts”, se abre. En la etapa S44, el “In_time” y el “Out_time” del elemento de reproducción actual se convierten en “Start_SPN[i]” y “End_SPN[i]” usando la correlación de entradas que se corresponde con el ID de paquete del flujo de vídeo.
En la etapa S45, las Extensiones que pertenecen al intervalo de lectura [i] se identifican para leer el paquete de TS con PID[i] desde el Start_SPN[i] hasta el End_SPN[i]. En la etapa S46, se indica a la unidad del medio de grabación que lea continuamente las Extensiones que pertenezcan al intervalo de lectura [i].
Cuando el modo de salida actual es el modo de salida estereoscópico, se lleva a cabo un bucle constituido a partir de las etapas S50 a S60.
En la etapa S50, el archivo de flujo, el cual se identifica por: “xxxxx” descrito en el Clip_information_file_name del elemento de reproducción actual; y la extensión “ssif”, se abre. En la etapa S51, el flujo de vídeo o bien de vista izquierda o bien de vista derecha que se especifica por el indicador de vista base de la información de elementos de reproducción actual se establece como el flujo de vídeo de vista base. El flujo de vídeo de vista izquierda o vista derecha que no se establece como el flujo de vídeo de vista base se establece como el flujo de vista dependiente.
En la etapa S52, el “In_time” y el “Out_time” del elemento de reproducción actual se convierte en “Start_SPN[i]” y “End_SPN[i]” usando la correlación de entradas que se corresponde con el ID de paquete del flujo de vídeo de vista base.
15
25
35
45
55
65
E12174659
07-08-2014
En la etapa S53, se identifica el sub-elemento de reproducción que se corresponde con el flujo de vista dependiente. En la etapa S54, el “In_time” y el “Out_time” del sub-elemento de reproducción identificado se convierten en “Start_SPN[j]” y “End_SPN[j]” usando la correlación de entradas [j] que se corresponde con el ID de paquete [j] del flujo de vista dependiente.
Las Extensiones que pertenecen al intervalo de lectura [i] se identifican para leer el paquete de TS que tenga el ID de paquete [i] de “Start_SPN [i]” a “End_SPN[i]” (etapa S55). Las Extensiones que pertenecen al intervalo de lectura
[j] se identifican para leer el paquete de TS que tenga el ID de paquete [j] de “Start_SPN[j]” a “End_SPN[j]” (etapa S56). Después de esto, en la etapa S57, las Extensiones que pertenezcan a los intervalos de lectura [i] y [j] se clasifican en el orden ascendente. En la etapa S58, se indica a la unidad que lea continuamente las Extensiones que pertenezcan a los intervalos de lectura [i] y [j] usando las direcciones clasificadas. Después de esto, cuando se lee la secuencia de paquetes de origen, en la etapa S59, las secuencias de ATC de vista base y de vista dependiente se restablecen y se suministran a los filtros PID para la vista base y la vista dependiente.
Tal como se ha descrito en lo que antecede, de acuerdo con la presente realización, bloques de datos de vista base y de vista dependiente se almacenan en un archivo de flujo intercalado estereoscópico, y cuando se suministran al descodificador, las secuencias de ATC de vista base y de vista dependiente se restablecen. Con esta estructura, el descodificador puede tratar al archivo de flujo intercalado estereoscópico de la misma manera que un archivo de flujo regular. De este modo, el método de almacenamiento de los flujos de vídeo de vista base y de vista dependiente puede usarse positivamente para el almacenamiento del archivo de flujo intercalado estereoscópico.
(Ejemplo 3)
El presente ejemplo describe el archivo de información de clips con detalle.
Las figuras 47A a 47B muestran la estructura interna del archivo de información de clips.
La figura 47A muestra el archivo de información de clips para 2D. La figura 47B muestra el archivo de información de clips para 3D. Estos archivos de información de clips incluyen “información de clips”, “información de secuencias”, “información de programas” e “información de puntos característicos”.
La “información de clips” es información que indica, para cada secuencia de ATC, qué tipo de clip de AV es cada secuencia de paquetes de origen almacenada en el archivo de flujo. La información de clips incluye: tipo de aplicación que indica el tipo (tal como la película, la presentación de diapositivas) en el cual entra la aplicación constituida a partir del clip de AV en cuestión; tipo de flujo que indica el tipo de flujo en el cual entra el clip de AV en cuestión; siendo la velocidad de grabación de TS una velocidad de transferencia de paquetes de TS en el clip de AV en cuestión; siendo delta de ATC una diferencia en ATC de la secuencia de ATC que constituye el clip de AV anterior; y un identificador del método de codificación usado en la codificación.
La “información de secuencia” indica, para cada secuencia de ATC, información (información de secuencia de ATC) que indica qué tipo de secuencia de ATC son una o más de las secuencias de paquetes de origen almacenadas en el archivo de flujo. La información de secuencia de ATC incluye: información que indica, por el número de paquetes de origen, dónde existe el paquete de origen que es el punto de partida del ATC; desplazamientos entre los identificadores de secuencia de STC y los identificadores de secuencia de ATC; e información de secuencia de STC que se corresponde con cada una de la pluralidad de secuencias de STC. Cada fragmento de información de secuencia de STC incluye: un número de paquete de un paquete de origen que almacena el PCR de la secuencia de STC en cuestión; información que indica dónde existe en la secuencia de STC el paquete de origen que es el punto de partida de la secuencia de STC; y el tiempo de inicio de reproducción y el tiempo de fin de reproducción de la secuencia de STC.
La “información de programas” indica las estructuras de programa del TS principal y los sub-TS gestionados como “clips de AV” por el archivo de información de clips. La información de programas indica qué tipos de ES se multiplexan en el clip de AV. De manera más específica, la información de programa indica qué tipos de identificadores de paquete tienen los ES multiplexados en el clip de AV, e indica el método de codificación. De esta manera, la información de programa indica el método de codificación, tal como MPEG2-vídeo o MPEG4-AVC, que se usa para codificar por compresión el flujo de vídeo.
La “información de puntos característicos” es información que indica, para cada ES, dónde existen los puntos característicos de una pluralidad de ES multiplexados en el clip de AV. La información que indica el punto característico para cada ES se denomina “correlación de entradas”.
Lo que se vuelve el punto característico es diferente para cada tipo de flujo. En el caso de los flujos de vídeo de vista base y de vista dependiente, el punto característico es el delimitador de la unidad de acceso de la imagen I que se ubica al principio del GOP abierto y el GOP cerrado. En el caso de flujo de audio, el punto característico es el delimitador de unidad de acceso que indica las posiciones de inicio de las tramas de audio que existen a intervalos regulares, por ejemplo, cada segundo. En el caso de los flujos de PG y de IG, el punto característico es el
15
25
35
45
55
65
E12174659
07-08-2014
delimitador de unidad de acceso que indica las posiciones de inicio de los conjuntos de presentación visual (conjunto de presentación visual de inicio de época, conjunto de presentación visual de punto de adquisición) que están provistos con todos los segmentos funcionales necesarios para la presentación visual, entre los conjuntos de presentación visual de los flujos de gráficos.
La secuencia de ATC y la secuencia de STC difieren en cómo representan el punto característico. La secuencia de ATC representa el punto característico por el número de paquete de origen. La secuencia de STC representa el punto característico al usar la PTS que indique el punto de tiempo en el eje de tiempo de STC.
A la vista de las diferencias que se han descrito en lo que antecede, la correlación de entradas para cada ES está compuesto por una pluralidad de puntos de entrada. De manera más específica, en cada punto de entrada que constituye la correlación de entradas, un número de paquete de origen que indica la ubicación del punto característico en la secuencia de ATC es asociado con una PTS que indica la ubicación del punto característico en la secuencia de STC. Además, cada punto de entrada incluye un indicador (“is_angle_change”) que indica si un cambio de ángulo al punto característico está disponible. Debido a que un cambio de ángulo está disponible en el paquete de origen ubicado al principio de la unidad intercalada que constituye la sección de varios ángulos, el indicador “is_angle_change” en el punto de entrada que indica el paquete de origen de inicio de la unidad intercalada siempre está establecido en activo. Asimismo, el punto de entrada que indica el paquete de origen de inicio en la unidad de intercalación está asociado con In_Time en la información de elementos de reproducción por el punto de entrada.
La correlación de entradas para cada ES indica los números de paquete de origen de los puntos característicos para tipos de flujo respectivos en correspondencia con las PTS. En consecuencia, al hacer referencia a esta correlación de entradas, es posible obtener, de un punto de tiempo arbitrario en la secuencia de ATC, números de paquete de origen que indiquen ubicaciones de los puntos característicos para los ES que estén más cerca del punto de tiempo arbitrario.
Esto completa la explicación del archivo de información de clips para 2D. En lo sucesivo se da una explicación detallada del archivo de información de clips para 3D. La figura 47B muestra la estructura interna de archivo de información de clips para 3D. El archivo de información de clips para 3D incluye: “información dependiente de clips (información de gestión de vista dependiente)” que es información de clips para el dependiente de archivo; e “información de base de clips (información de gestión de vista base)” que es información de clips para la base de archivo, así como la “información de clips para archivo de 2D” que es información de clip regular (información de gestión). La razón es la siguiente. Tal como se describió en la realización 2, el archivo de flujo intercalado estereoscópico se almacena en un directorio que es diferente del directorio en el cual están almacenados los archivos de flujo regulares, para impedirles mezclarse unos con otros. En consecuencia, los archivos de información de clips no pueden ser asociados con el archivo de flujo intercalado estereoscópico. De esta manera, la información dependiente de clip y la información base de clip se almacenan en el archivo de información de clips para 2D.
La información dependiente de clips y la información de base de clips difieren del archivo de información de clips para 2D en que la información dependiente de clips y la información de base de clips incluyen metadatos que tienen la secuencia de puntos de inicio de extensión.
Tal como se muestra en la figura 47B, la información dependiente de clips incluye la secuencia de puntos de inicio de Extensión, y la información de base de clips incluye también la secuencia de puntos de inicio de Extensión. La secuencia de puntos de inicio de Extensión incluida en la información dependiente de clips está compuesta por una pluralidad de fragmentos de información de puntos de inicio de Extensión, y cada fragmento de información de puntos de inicio de Extensión indica el número de paquete de origen de cada paquete de origen que está al principio de cada una de una pluralidad de Extensiones que constituyen el dependiente de archivo.
De forma similar, la secuencia de puntos de inicio de Extensión incluida en la información de base de clip está compuesta por una pluralidad de fragmentos de información de puntos de inicio de extensión, y cada fragmento de información de puntos de inicio de extensión indica el número de paquete de origen de cada paquete de origen que está al principio de cada una de una pluralidad de extensiones que constituyen la base de archivo.
En lo sucesivo se describe el significado técnico de proporcionar la pluralidad de fragmentos de información de puntos de inicio de Extensión.
Los TS almacenados en los archivos de flujo son originalmente un TS con sólo una secuencia de ATC. En consecuencia, la ubicación del inicio de una porción que se crea al dividir la original no puede determinarse incluso si se hace referencia a la información de secuencia del archivo de información de clips. Por otro lado, el inicio de una porción divisional es un inicio de una Extensión, asimismo. De esta manera, es posible reconocer el inicio de una porción divisional al hacer referencia a la información del sistema de archivos tal como la entrada de archivo o el descriptor de Extensión. Sin embargo, debido a que la información del sistema de archivos se gestiona por el soporte lógico intermedio, es extremadamente difícil que la aplicación haga referencia a la información de la Extensión. A la vista de este problema, en el presente ejemplo, la información de punto de inicio de Extensión se usa
15
25
35
45
55
65
E12174659
07-08-2014
de tal manera que el número ordinal del paquete que se corresponde con la Extensión en cuestión se indique en la información de clips.
Las figuras 103A a 103D muestran un ejemplo de información de puntos de inicio de Extensión de la información de clips de vista base, y un ejemplo de la información de puntos de Extensión de la información de clips de vista dependiente. La figura 103A muestra la información de punto de inicio de Extensión de la información de clips de vista base, y la información de puntos de inicio de Extensión de la información de clips de vista dependiente.
La figura 103B muestra bloques de datos de vista base B[0], B[1], B[2], ..., B[n] que constituyen la secuencia de ATC 1 y bloques de datos de vista dependiente D[0], D[1], D[2], ..., D[n] que constituyen la secuencia de ATC 2. La figura 103C muestra el número de paquetes de origen de los bloques de datos de vista dependiente y el número de paquetes de origen de los bloques de datos de vista base.
La figura 103D muestra una pluralidad de bloques de datos incluida en el archivo de flujo intercalado estereoscópico.
Cuando, tal como se muestra en la figura 103B, la secuencia de ATC 2 está constituida a partir de bloques de datos de vista dependiente D[0], D[1], D[2], ..., D[n], entonces “0”, “b1”, “b2”, “b3”, “b4”, ..., “bn” que representan los números de paquete de origen relativos de los bloques de datos de vista dependiente D[0], D[1], D[2], ..., D[n] se escriben en “SPN_extent_start” en la información de puntos de inicio de Extensión del dependiente de archivo.
Cuando la secuencia de ATC 1 está constituida a partir de bloques de datos de vista base B[0], B[1], B[2], ..., B[n], entonces “0”, “a1”, “a2”, “a3”, “a4”, “an” que representa los números de paquete de origen relativos de los bloques de datos de vista base B[0], B[1], B[2], ..., B[n] se escriben en “SPN_extent_start” en la información de puntos de inicio de Extensión de la base de archivo.
La figura 103C muestra el número de paquetes de origen con respecto a un bloque de datos de vista dependiente arbitrario D[x] y un bloque de datos de vista base arbitrario B[x] en el archivo de flujo intercalado estereoscópico. Cuando el número de paquetes de origen de inicio de bloque de datos de vista dependiente D[x] es “bx”, y el número de paquete de origen de inicio del bloque de datos de vista dependiente D[x+1] es “bx+1”, el número de paquetes de origen que constituye el D[x] es “bx+1 -bx”.
De forma similar, cuando el número de paquetes de origen de inicio del bloque de datos de vista base B[x] es “ax”, y el número de paquetes de origen de inicio del bloque de datos de vista base B[x+1] es “ax+1”, el número de paquetes de origen que constituye el B[x] es “ax+1-ax”.
Cuando el número de paquetes de origen de inicio del último bloque de datos de vista base B[n] en el archivo de flujo intercalado estereoscópico es “an”, y el número de paquetes de origen en la secuencia de ATC 1 es number_of_source_packets1, el número de paquetes de origen que constituyen el bloque de datos de vista base B[n] es “number_of_source_packets1-an”.
Cuando el número de paquetes de origen de inicio del último bloque de datos de vista dependiente D[n] en el archivo de flujo intercalado estereoscópico es “bn”, y el número de paquetes de origen en la secuencia de ATC 2 es number_of_source_packets2, el número de paquetes de origen que constituyen el bloque de datos de vista dependiente D[n] es “number_of_source_packets2-bn”.
La figura 103D muestra los números de paquete de origen de inicio de los bloques de datos de vista dependiente y los números de paquetes de origen de inicio de los bloques de datos de vista base en el presente ejemplo.
En el archivo de flujo intercalado estereoscópico, el SPN de inicio D[0] es “0”, y el SPN de inicio de B[0] es “b1”.
El SPN de inicio de D[1] es la suma del número de paquetes de origen “b1” del D[0] precedente y el número de paquetes de origen “a1” de B[0] y, de esta manera, “b1 + a1”.
El SPN de inicio de B[1] es la suma del número de paquetes de origen “b1” del D[0] precedente, el número de paquetes de origen “a1” de B[0], y el número de paquetes de origen “b2 -b2” del D[1] precedente. De esta manera el SPN de inicio de B[1] es “b2+ a2 (= b1 + a1+ b2-b1)”.
El SPN de inicio de D[2] es la suma del número de paquetes de origen “b1” del D[0] precedente, el número de paquetes de origen “a1” de B[0], el número de paquetes de origen “b2 -b1” del D[1] precedente, y el número de paquetes de origen “a2 -a1” de B[1]. De esta manera el SPN de inicio de D[2] es “b2 + a2 (= b1 + a1 + b2 -b1 + a2 a1)”.
El SPN de inicio de B[2] es la suma del número de paquetes de origen “b1” del D[0] precedente, el número de paquetes de origen “a1” de B[0], el número de paquetes de origen “b2 -b1” del D[1] precedente, el número de paquetes de origen “a2 -a1” del B[1] precedente, y el número de paquetes de origen “b3 -b2” de D[2]. De esta manera el SPN de inicio de B[2] es “b3+ a2(= b1 + a1+ b2-b1+ a2-a1+ b3-b2)”.
15
25
35
45
55
65
E12174659
07-08-2014
Las figuras 104A a 104C se proporcionan para la explicación de los números de paquetes de origen de bloques de datos arbitrarios en las secuencias de ATC 1 y 2.
Se considera en el presente caso un caso para obtener números de paquete de origen en un archivo de flujo intercalado estereoscópico D[x] que existe en el número de paquete de origen “bx”, en la secuencia de ATC 2 que se muestra en la figura 104A. En este caso, el número de paquetes de origen de inicio de D[x] es una suma de los números de paquetes de inicio relativos de D[0], B[0], D[1], B[1], D[2], B[2], D[x-1], B[x-1]. De esta manera el número de paquetes de origen de D[x] es “bx + ax” tal como se muestra en la figura 104B.
También se considera en el presente caso un caso para obtener números de paquetes de origen en un archivo de flujo intercalado estereoscópico B[x] que existe en el número de paquetes de origen “ax”, en la secuencia ATC 1 que se muestra en la figura 104A. En este caso, el número de paquetes de origen de inicio de B[x] es una suma de los números de paquetes de origen de inicio relativos de D[0], B[0], D[1], B[1], D[2], B[2], ..., D[x-1], B[x-1], D[x]. De este modo, el número de paquetes de origen de inicio de B[x] es “bx+1 + ax” tal como se muestra en la figura 104B.
La figura 104C muestra una base de archivo cuyas extensiones son los bloques de datos de vista base que se han descrito en lo que antecede, y un dependiente de archivo cuyas extensiones son los bloques de datos de vista dependiente que se han descrito en lo que antecede.
El LBN de inicio de EXT1[x], el cual es una Extensión que se corresponde con B[x] de la base de archivo, y la longitud de continuación, se obtienen tal como sigue. Asimismo, el LBN de inicio de EXT2[x], el cual es una Extensión que se corresponde con D[x] del dependiente de archivo, y la longitud de continuación, se obtienen tal como sigue.
El LBN se obtiene a partir del número de paquetes de origen de inicio de D[x] al convertir el paquete de origen en el LBN mediante el cálculo de ((bx + ax) * 192 / 2048). De forma similar, el LBN se obtiene a partir del número de paquetes de origen de inicio de B[x] al convertir el paquete de origen en el LBN mediante un cálculo de ((bx+1 + ax) * 192 / 2048). En estos cálculos, “192” representa el número de bytes que es el tamaño de paquetes de origen. “2048” representa el número de bytes que es el tamaño de sector (tamaño de bloque lógico). El LBN de la Extensión del archivo de flujo intercalado estereoscópico que está más cerca de cada uno de estos LBN se calcula al asignar el LBN obtenido por la conversión que se ha descrito en lo que antecede en “file_offset” que es un argumento de la función SSIF_LBN(file_offset). La función SSIF_LBN es una función que traza descriptores de asignación de SSIF a partir del file_offset y devuelve un LBN que se corresponde con el file_offset.
A través de estos cálculos, el LBN de inicio de EXT2[x] se expresa como SSIF_LBN((bx + ax) * 192 / 2048), y el LBN de inicio de EXT1[x] se representa como SSIF_LBN((bx+1 + ax) * 192 / 2048).
Por otro lado, la longitud de continuación de EXT2[x] se representa como (SSIF_LBN((bx+1 + ax) * 192 / 2048) SSIF_LBN((bx + ax) * 192 / 2048)), y la longitud de continuación de EXT1[x] se representa como (SSIF_LBN((bx+1 + ax+1) * 192 / 2048) -SSIF_LBN((bx+1 + ax) * 192 / 2048)). Es posible obtener la base de archivo y el dependiente de archivo de manera virtual al generar, en la memoria, una entrada de archivo que indique estos LBN y longitudes de continuación.
La figura 48 muestra una sintaxis de la información de punto de inicio de Extensión. El “number_of_extent_units” indica el número de bloques de Extensiones cuyas secciones ATS son iguales.
La sentencia “for” cuya variable de control es “extent_id” define base/dependent_view_extent_start_address e interleaved_base/dependent_view_extent_start_address tantas veces como el número especificado por number_of_extents_units.
La base/dependent_view_extent_start_address[extent_id] indica la dirección de cada extensión en el formato de archivo separado LR. La interleaved_base/dependent_view_extent_start_address[extent_id] indica la dirección de inicio de cada Extensión en el formato de archivo de LR-en-uno. De estos, la base_view_extent_start_address[extent_id] indica una dirección relativa desde el inicio del archivo. La dirección relativa se indica en una unidad de 192 bytes (SPN), y puede soportar hasta 768 GB con 32 bits. Esto se debe a que la evaluación en las unidades de SPN es más fácil debido a que esta es una búsqueda para la dirección de inicio de reproducción usando EP_map. Esto puede ser una unidad de 6 KB debido a que cada Extensión es 6-KB-alineación. Debido a que 6 KB = 192 bytes * 32, es aplicable un desplazamiento de 5 bits. Se hace referencia a un elemento estructural de la información de punto de inicio de Extensión que representa la dirección de inicio de la Extensión por el número de paquetes de origen como “SPN_extent_start”.
Las figuras 49A y 49B muestran la información de punto de inició de Extensión y la tabla de correlaciones de entradas incluidas en el archivo de información de clips. La figura 49A muestra un contorno de la estructura de la tabla de correlaciones de entradas. La línea principal indica el acercamiento de la estructura interna de la tabla de correlaciones de entradas. Tal como se indica por la línea principal eh1, la tabla de correlaciones de entradas incluye
15
25
35
45
55
65
E12174659
07-08-2014
“información de encabezamientos de correlación de entradas”, “tipo de inicio de Extensión”, “correlación de entradas para PID = 0x1011”, “correlación de entradas para PID = 0x1012”, “correlación de entradas para PID = 0x1220” y “correlación de entradas para PID = 0x1221”.
La “información de encabezamientos de correlaciones de entradas” almacena información tal como los PID del flujo de vídeo indicado por las correlaciones de entradas, y valores de puntos de entrada.
El “tipo de inicio de Extensión” indica cuál de una Extensión que constituye el flujo de vídeo de vista izquierda y una Extensión que constituye el flujo de vídeo de vista derecha se dispone primero.
El “correlación de entradas para PID = 0x1011”, “correlación de entradas para PID = 0x1012”, “correlación de entradas para PID = 0x1220” y “correlación de entradas para PID = 0x1221” son correlaciones de entradas para cada flujo PES constituido a partir de una pluralidad de tipos de paquetes de origen. Cada correlación de entradas incluye “puntos de entrada”, cada uno de los cuales está compuesto por un par de valores PTS y SPN. Asimismo, un número de identificación del punto de entrada se denomina “ID de punto de entrada” (al que se hace referencia en lo sucesivo en el presente documento como EP_ID), donde el EP_ID del primer punto de entrada es “0”, y después de esto, el EP_ID para cada punto de entrada en el orden serie se incrementa en “1”. Al usar las correlaciones de entradas, el dispositivo de reproducción puede identificar una posición de paquete de origen que se corresponde con una posición arbitraria en el eje de tiempo del flujo de vídeo. Por ejemplo, cuando una reproducción especial tal como un avance rápido o rebobinado se va a llevar a cabo, imágenes I registradas en las correlaciones de entradas pueden identificarse, seleccionarse y reproducirse. Esto hace posible procesar de manera eficiente sin analizar el clip de AV. Asimismo, las correlaciones de entradas se crean para cada flujo de vídeo que se multiplexa en el clip de AV, y se gestionan por los PID.
La línea principal eh2 indica el acercamiento de la estructura interna de la correlación de entradas para PID = 0x1011. La correlación de entradas para PID = 0x1011 incluye puntos de entrada que se corresponden con EP_ID = 0, EP_ID = 1, EP_ID = 2 y EP_ID = 3. El punto de entrada que se corresponde con EP_ID = 0 indica una correspondencia entre el indicador “is_angle_change” que se ha establecido en “activo”, SPN = 3, y PTS = 80000. El punto de entrada que se corresponde con EP_ID = 1 indica una correspondencia entre el indicador “is_angle_change” que se ha establecido en “inactivo”, SPN = 1500 y PTS = 270000.
El punto de entrada que corresponde en EP_ID = 2 indica una correspondencia entre el indicador “is_angle_change” que se ha establecido en “inactivo”, SPN = 3200 y PTS = 360000. El punto de entrada que se corresponde con EP_ID = 3 indica una correspondencia entre el indicador “is_angle_change” que se ha establecido en “inactivo”, SPN = 4800 y PTS = 450000. En el presente caso, el indicador “is_angle_change” indica si es posible o no descodificar de manera independiente del propio punto de entrada. Cuando el flujo de vídeo se ha codificado por el MVC o MPEG-4AVC y existe una imagen IDR en el punto de entrada, este indicador se establece en “activo”. Cuando existe una imagen no IDR en el punto de entrada, este indicador se establece en “inactivo”.
La figura 49B muestra qué paquetes de origen se indican por los puntos de entrada incluidos en la correlación de entradas que se corresponde con el paquete de TS que tiene el PID = 0x1011 que se muestra en la figura 15A. El punto de entrada que se corresponde con el EP_ID = 0 indica SPN = 3, y este número de paquete de origen está asociado con PTS = 80000. El punto de entrada que se corresponde con EP_ID = 1 indica SPN = 1500, y este número de paquete de origen está asociado con PTS = 270000.
El punto de entrada que se corresponde con EP_ID = 2 indica SPN = 3200, y este número de paquete de origen está asociado con PTS = 360000. El punto de entrada que se corresponde con EP_ID = 4 indica SPN = 4800, y este número de paquete de origen está asociado con PTS = 450000.
La figura 50 muestra el atributo de flujo incluido en la información de programa.
La línea principal ah1 indica el acercamiento de la estructura interna del atributo de flujo.
Tal como se indica por la línea principal ah1, la información de atributo de flujo incluye: información de atributo de flujo del flujo de vídeo de vista izquierda constituida del paquete de TS que tiene el ID de paquete “0x1011”; información de atributo de flujo del flujo de vídeo de vista derecha constituida del paquete de TS que tiene el ID de paquete “0x1012”; información de atributo de flujo del flujo de audio constituido a partir de los paquetes de TS que tienen los ID de paquete “0x1100” y “0x1101”; e información de atributo de flujo del flujo de PG constituido a partir de los paquetes de TS que tienen los ID de paquete “0x1220” y “0x1221”. Tal como se entiende a partir de esto, la información de atributo de flujo indica qué atributos tienen los flujos PES, donde los flujos PES están constituidos a partir de una pluralidad de tipos de paquetes de origen. Tal como se indica por la línea principal ah1, información de atributos de cada flujo incluido en el clip de AV se registra para cada PID.
La figura 51 muestra cómo se registran puntos de entrada en una correlación de entradas. La primera fila de la figura 51 muestra el eje de tiempo definido por la secuencia de STC. La segunda fila muestra la correlación de entradas incluido en la información de clips. La tercera fila muestra la información de punto de inicio de Extensión en la
15
25
35
45
55
65
E12174659
07-08-2014
información dependiente de clip y la información de punto de inicio de Extensión en la información de base de clip. La cuarta fila muestra una secuencia de paquetes de origen que constituye la secuencia de ATC. Cuando la correlación de entradas especifica un paquete de origen que se corresponde con SPN = n1 entre la secuencia de ATC, la PTS de la correlación de entradas se establece en “PTS = t1” en el eje de tiempo de la secuencia de STC. Con esta disposición, es posible dar lugar a que el dispositivo de reproducción de reproducción lleve a cabo un acceso aleatorio al paquete de origen que se corresponde con SPN = n1 en la secuencia de ATC en el tiempo “PTS = t1”. Asimismo, cuando la correlación de entradas especifica un paquete de origen que se corresponde con SPN = n21 entre la secuencia de ATC, la PTS de la correlación de entradas se establece en “PTS = t21” en el eje de tiempo de la secuencia de STC. Con esta disposición, es posible dar lugar a que el dispositivo de reproducción lleve a cabo un acceso aleatorio al paquete de origen que se corresponde con SPN = n21 en la secuencia de ATC en el tiempo “PTS = t21”. Usando las correlaciones de entradas, el dispositivo de reproducción puede identificar el paquete de origen que se corresponde con una posición arbitraria en el eje de tiempo del flujo de vídeo. Por ejemplo, cuando una reproducción especial tal como un avance rápido o rebobinado se va a llevar a cabo, imágenes I registradas en las correlaciones de entradas pueden identificarse, seleccionarse y reproducirse. Esto hace posible procesar de manera eficiente sin analizar el clip de AV.
Asimismo, en la tercera fila, el punto de inicio de extensión [i] en la información dependiente de clip y punto de inicio de Extensión [j] en la información de base de clip indican los números de paquetes de origen de inicio de Extensiones que constituyen el flujo de vídeo de vista dependiente y el flujo de vídeo de vista base en la cuarta fila, respectivamente.
Con esta estructura, es posible extraer sólo la secuencia de paquetes de origen que constituye el flujo de vídeo de vista base, al leer el paquete de origen indicado por el punto de inicio de Extensión [i] en la información dependiente de clips a través de un paquete de origen inmediatamente antes del paquete de origen indicado por el punto de inicio de Extensión [j] en la información de base de clips.
También es posible extraer sólo la secuencia de paquetes de origen que constituye el flujo de vídeo de vista base, al leer el paquete de origen indicado por el punto de inicio de Extensión [j] en la información de base de clip a través del paquete de origen inmediatamente antes del paquete de origen indicado por el punto de inicio de Extensión [i + 1] en la información dependiente de clip.
Además, es posible restablecer la secuencia de ATC que constituye el flujo de vídeo de vista base al combinar los paquetes de origen que constituyen el flujo de vídeo de vista base; y es posible restablecer la secuencia de ATC que constituye el flujo de vídeo de vista dependiente al combinar los paquetes de origen que constituyen el flujo de vídeo de vista dependiente.
La figura 52 muestra cómo la secuencia de ATC se restablece a partir de los bloques de datos que constituyen el archivo de flujo intercalado estereoscópico.
La cuarta fila de la figura 52 muestra una pluralidad de bloques de datos que constituyen el archivo de flujo intercalado estereoscópico. La tercera fila muestra la secuencia de paquetes de origen multiplexada en el TS principal y el sub-TS.
La segunda fila muestra un conjunto de secuencia de STC 2 que constituye la vista dependiente, una correlación de entradas y secuencia de ATC 2 que constituye la vista dependiente. La primera fila muestra un conjunto de secuencia de STC 1 que constituye la vista dependiente, una correlación de entradas y secuencia de ATC 1 que constituye la vista dependiente. Las flechas que se extienden desde la tercera fila hasta la primera y segunda filas muestran de manera esquemática que las secuencias de ATC 1 y 2 se restablecen a partir de los bloques de datos de los dos TS (TS principal y sub-TS) intercalados en el archivo de flujo intercalado estereoscópico. Estas secuencias de ATC están asociadas con las secuencias de STC por la correlación de entradas en la información de clip.
Esto completa la descripción del medio de grabación en el presente ejemplo. En lo sucesivo se describe el dispositivo de reproducción con detalle.
El dispositivo de reproducción del presente ejemplo tiene una estructura en la cual la unidad de lectura recibe entradas de paquetes de origen desde dos medios de grabación. Para este propósito, la unidad de lectura incluye dos unidades y dos memorias de almacenamiento temporal de lectura. Las dos unidades se usan para acceder a los dos medios de grabación, respectivamente. Las dos memorias de almacenamiento temporal de lectura se usan para almacenar temporalmente los paquetes de origen introducidos desde las dos unidades y enviarlos al descodificador. Una unidad de restablecimiento de secuencias de ATC se proporciona entre las dos unidades y las dos memorias de almacenamiento temporal de lectura. La unidad de restablecimiento de secuencias de ATC separa la secuencia de ATC que constituye el flujo de vista base y la secuencia de ATC que constituye el flujo de vista dependiente de los paquetes de origen en el archivo de flujo intercalado leído de un medio de grabación, y escribe las dos secuencias de ATC en las dos memorias de almacenamiento temporal de lectura, respectivamente. Con esta estructura, el
15
25
35
45
55
65
E12174659
07-08-2014
dispositivo de reproducción puede procesar la secuencia de ATC que constituye el flujo de vídeo de vista base y la secuencia de ATC que constituye el flujo de vídeo de vista dependiente como si se hubieran leído a partir de diferentes medios de grabación, respectivamente. La figura 53A muestra la estructura interna de la unidad de lectura provista por la unidad de restablecimiento de secuencias de ATC. Tal como se ha descrito en lo que antecede, la unidad de restablecimiento de secuencias de ATC está provista entre las dos unidades y las dos memorias de almacenamiento temporal de lectura. La flecha B0 indica de manera simbólica la entrada del paquete de origen de una unidad. La flecha B1 indica de manera esquemática la escritura de la secuencia de ATC 1 que constituye el flujo de vídeo de vista base. La flecha D1 indica de manera esquemática la escritura de la secuencia de ATC 2 que constituye el flujo de vídeo de vista dependiente.
La figura 53B muestra cómo se tratan las dos secuencias de ATC obtenidas por la unidad de restablecimiento de secuencias de ATC. Los filtros PID provistos en la unidad de desmultiplexión se muestran en la parte media de la figura 53B. En el lado izquierdo de la figura, las dos secuencias de ATC obtenidas por la unidad de restablecimiento de secuencias de ATC se muestran. El lado derecho de la figura muestra el flujo de vídeo de vista base, el flujo de vídeo de vista dependiente, el flujo de PG de vista base, el flujo de PG de vista dependiente, el flujo de IG de vista base y el flujo de IG de vista dependiente, los cuales se obtienen al desmultiplexar las dos secuencias de ATC. La desmultiplexión llevada a cabo por las dos secuencias de ATC se basa en la tabla de selección flujos básicos y la tabla de selección de flujos de extensión descritas en la realización 1. La unidad de restablecimiento de secuencias de ATC se logra al crear un programa que da lugar a que el recurso de soporte físico lleve a cabo el proceso que se muestra en la figura 54. La figura 54 muestra el procedimiento para restablecer la secuencia de ATC.
En la etapa S91, la secuencia de ATC para vista base se establece como la secuencia de ATC 1, y la secuencia de ATC para vista dependiente se establece como la secuencia de ATC 2. En la etapa S92, la variable “x” se inicializa a “1”. La variable “x” especifica un bloque de datos de vista base y un bloque de datos de vista dependiente. Después de esto, el control entra en un bucle en el cual las etapas S94 a S96 se llevan a cabo repetidamente tal como sigue.
Se evalúa si un número de paquete de origen bx especificado por la variable “x” es o no igual a un número de paquete de origen bn especificado por el último numeral “n” del bloque de datos de vista base (etapa S93). Cuando el resultado de la evaluación está en la negativa (No en la etapa S93), los paquetes de origen desde el paquete de origen “bx + ax”, el cual se identifica por el número de paquete de origen “bx+1 + ax” hasta el paquete de origen inmediatamente antes del paquete de origen (bx+1 + ax) especificado por el número de paquete de origen “bx+1 + ax” se añaden a la secuencia de ATC 2 (etapa S94). En lo sucesivo, los paquetes de origen desde el paquete de origen (bx+1 + ax) hasta el paquete de origen inmediatamente antes del paquete de origen (bx+1 + ax+1) se añaden en la secuencia de ATC 1 (etapa S95). Y después la variable “x” se incrementa (etapa S96). Estas etapas se repiten hasta que se evalúe Sí en la etapa S93.
Cuando se evalúa Sí en la etapa S93, tantos paquetes de origen como el número especificado por “number_of_source_packet2-bn” comenzando a partir del número de paquete de origen “bn” se añaden a la secuencia de ATC 2 (etapa S97). Y tantos paquetes de origen como el número especificado por “number_of_source_packet1-bn” comenzando a partir del número de paquete de origen “an” se añaden a la secuencia de ATC 1 (etapa S98).
Después de que las secuencias de ATC 1 y 2 se restablecen a partir de las etapas que se han descrito en lo que antecede, la base de archivo se abre de manera virtual al generar, en la memoria, la entrada de archivo que indique el LBN de inicio del bloque de datos de vista base y la longitud de continuación (etapa S99). De manera similar, el dependiente de archivo se abre de manera virtual al generar, en la memoria, la entrada de archivo que indique el LBN de inicio del bloque de datos de vista dependiente y la longitud de continuación (etapa S100).
<Significado técnico de la apertura de la base de archivo>
Cuando un acceso aleatorio desde un punto de tiempo arbitrario se va a llevar a cabo, tiene que llevarse a cabo una búsqueda de sectores dentro de un archivo de flujo. La búsqueda de sectores es un proceso para identificar un número de paquetes de origen de un paquete de origen que se corresponde con el punto de tiempo arbitrario, y leer un archivo de un sector que contenga un paquete de origen del número de paquetes de origen.
Debido a que el tamaño de una extensión que constituye el archivo de flujo intercalado estereoscópico es grande, la búsqueda de sector requiere de una amplia gama de búsqueda. En ese caso, cuando un acceso aleatorio desde un punto de tiempo arbitrario se lleva a cabo, puede requerir mucho tiempo identificar el sector objetivo de lectura.
Esto se debe a que, en el archivo de flujo intercalado, bloques de datos que constituyen el flujo de vídeo de vista base y el flujo de vídeo de vista dependiente se disponen de la manera intercalada para constituir una extensión larga, y el descriptor de asignación de la entrada de archivo del archivo de flujo intercalado simplemente indica la dirección de inicio de la extensión larga.
Por el contrario, la base de archivo está compuesta por una pluralidad de Extensiones cortas, y la dirección de inicio de cada Extensión se escribe en el descriptor de asignación. Como resultado, la búsqueda de sector requiere de un
15
25
35
45
55
65
E12174659
07-08-2014
intervalo estrecho de búsqueda. De esta manera, cuando un acceso aleatorio desde un punto de tiempo arbitrario se lleva a cabo, el sector objetivo de lectura puede identificarse en un corto tiempo.
Es decir, debido a que los bloques de datos que constituyen el flujo de vídeo de vista base se gestionan como Extensiones de la base de archivo, y la dirección de inicio del bloque de datos se escribe en el descriptor de asignación en la entrada de archivo que se corresponde con la base de archivo, es posible alcanzar rápidamente el sector que incluye el paquete de origen en la posición de acceso aleatorio objetivo, al iniciar la búsqueda de sector a partir de la dirección de inicio de la Extensión que contenta la posición de acceso aleatorio objetivo.
Con la estructura que se ha descrito en lo que antecede en la cual los bloques de datos que constituyen el flujo de vídeo de vista base se gestionan como Extensiones de la base de archivo, y la dirección de inicio de cada Extensión y la longitud de continuación se escriben en el descriptor de asignación en la entrada de archivo que se corresponde con la base de archivo, es posible llevar a cabo un acceso aleatorio a partir de un punto de tiempo arbitrario en el flujo de vídeo de vista base a una alta velocidad.
De manera más específica, la búsqueda de sector se lleva a cabo tal como sigue. En primer lugar, la correlación de entradas que se corresponde con el flujo de vídeo de vista base se usa para detectar un número de paquete de origen que sea la posición de acceso aleatorio que se corresponde con el punto de tiempo arbitrario.
En lo sucesivo, la información de punto de inicio de Extensión en la información de clips que se corresponde con el flujo de vídeo de vista base se usa para detectar una Extensión que contenga el número de paquete de origen que sea la posición de acceso aleatorio.
Además, se hace referencia al descriptor de asignación en la entrada de archivo que se corresponde con la base de archivo para identificar la dirección de sector de inicio de la Extensión que contenga el número de paquete de origen que sea la posición de acceso aleatorio. Después una lectura de archivos se lleva a cabo al establecer un puntero de archivo a la dirección de sector de inicio, y un análisis de paquete se ejecuta en el paquete de origen leído para identificar el paquete de origen con el número de paquete de origen que sea la posición de acceso aleatorio. Después el paquete de origen identificado se lee. Con este procedimiento, el acceso aleatorio al TS principal se ejecuta de manera eficiente. Esto se aplica también al sub-TS.
Tal como se ha descrito en lo que antecede, de acuerdo con la presente realización, las Extensiones del flujo de vídeo de vista base y el flujo de vídeo de vista dependiente en el archivo de flujo intercalado se suministran a la unidad de desmultiplexión y al descodificador después de que son redispuestas sobre la base de la información de puntos de inicio de extensión. De esta manera el descodificador y programa pueden tratar, como los archivos que existen de manera virtual en el medio de grabación, la base de archivo que almacene el flujo de vídeo de vista base y el dependiente de archivo que almacene el flujo de vídeo de vista dependiente.
En esta estructura, el flujo de vídeo de vista base y el flujo de vídeo de vista dependiente para la visión estereoscópica se graban en el medio de grabación, mientras que puede accederse por separado al flujo de vídeo de vista base y el flujo de vídeo de vista dependiente. Con esta estructura, la eficiencia de procesamiento del dispositivo de reproducción se mejora.
Ha de observarse en el presente caso que, aunque la información de punto de inicio de Extensión puede indicar el inicio de Extensión en una unidad de byte, es preferible que el inicio de Extensión se indique en una unidad de una longitud fija cuando las Extensiones estén alineadas con bloques de lectura con una longitud fija tal como los bloques de ECC. Esto restringe la cantidad de información que se requiere para identificar las direcciones.
(Ejemplo 4)
El presente ejemplo da explicaciones acerca de la unidad de desmultiplexión, el descodificador y la escala de soporte físico de la memoria de planos.
La unidad de desmultiplexión del presente ejemplo incluye tantos pares de un desempaquetador de origen y un filtro PID como el número de líneas de entrada de flujos.
Las figuras 55A y 55B muestran las estructuras internas de la unidad de desmultiplexión y el descodificador de vídeo.
La figura 55A muestra el modelo de descodificador de la unidad de desmultiplexión. En el presente ejemplo, la unidad de desmultiplexión incluye dos pares de un desempaquetador de origen y un filtro PID. Esto se debe a que originalmente la unidad de desmultiplexión procesa dos líneas de entradas de flujos desde dos medios de grabación. En el modo de reproducción de 2D, la unidad de desmultiplexión procesa entradas de flujo provenientes de dos medios de grabación, y en el modo de reproducción de 3D, la unidad de desmultiplexión procesa dos líneas de entradas de flujo que son “L” y “R”, y “2D y “profundidad”.
15
25
35
45
55
65
E12174659
07-08-2014
Tal como se muestra en la figura 55A, la unidad de desmultiplexión incluye un desempaquetador de origen 22, un filtro PID 23, un desempaquetador de origen 27 y un filtro PID 28.
El desempaquetador de origen 22, en el estado en el que un paquete de origen se almacena en una memoria de almacenamiento temporal de lectura 2a, en el instante en el que el valor del ATC generado por el contador de ATC y el valor de la ATS del paquete de origen almacenado en la memoria de almacenamiento temporal de lectura 2a se vuelven idénticos, transfiere sólo el paquete de origen (paquete de TS) al filtro PID 23 de acuerdo con la velocidad de grabación del clip de AV. En la transferencia, el tiempo de entrada al descodificador se ajusta de acuerdo con la ATS de cada paquete de origen.
El filtro PID 23 envía, entre los paquetes de TS enviados desde el desempaquetador de origen 22, paquetes de TS cuyos PID coinciden con los PID requeridos para la reproducción, a los descodificadores de acuerdo con los PID.
El desempaquetador de origen 26, en el estado en el que un paquete de origen se almacena en una memoria de almacenamiento temporal de lectura 2b, en el instante en el que el valor del ATC generado por el contador de ATC y el valor de la ATS del paquete de origen almacenado en la memoria de almacenamiento temporal de lectura 2b se vuelven idénticos, transfiere sólo el paquete de origen (paquete de TS) al filtro PID 27 de acuerdo con la velocidad de sistema del clip de AV. En la transferencia, el tiempo de entrada al descodificador se ajusta de acuerdo con la ATS de cada paquete de origen.
El filtro PID 27 envía, entre los paquetes de TS enviados desde el desempaquetador de origen 26, paquetes de TS cuyos PID coinciden con los PID requeridos para la reproducción, los descodificadores de acuerdo con los PID.
En lo sucesivo se describirá la estructura interna de un descodificador de vídeo primario 31.
La figura 55B muestra la estructura interna del descodificador de vídeo primario 31. Tal como se muestra en la figura 55B, el filtro PID 23 incluye una TB 51, una MB 52, una EB 53, una TB 54, una MB 55, una EB 56, un núcleo descodificador 57, un conmutador de memoria de almacenamiento temporal 58, una DPB 59 y un conmutador de imágenes 60.
La Memoria de Almacenamiento Temporal de Transporte (TB) 51 es una memoria de almacenamiento temporal para almacenar temporalmente un paquete de TS que contenga el flujo de vídeo de vista izquierda, tal cual después de haberse enviado desde el filtro PID 23.
La Memoria de Almacenamiento Temporal Multiplexada (MB) 52 es una memoria de almacenamiento temporal para almacenar temporalmente un paquete de TS cuando el flujo de vídeo se envíe de la TB a la EB. Cuando los datos se transfieren de la TB a la MB, el encabezamiento TS se elimina del paquete de TS.
La Memoria de Almacenamiento Temporal Elemental (EB) 53 es una memoria de almacenamiento temporal para almacenar la unidad de acceso de vídeo en el estado codificado. Cuando los datos se transfieren de la MB a la EB, el encabezamiento PES se elimina.
La Memoria de Almacenamiento Temporal de Transporte (TB) 54 es una memoria de almacenamiento temporal para almacenar temporalmente un paquete de TS que contenga el flujo de vídeo de vista derecha, tal cual después de haberse enviado desde el filtro PID.
La Memoria de almacenamiento Temporal Multiplexada (MB) 55 es una memoria de almacenamiento temporal para almacenar temporalmente un paquete de PES cuando el flujo de vídeo se envíe de la TB a la EB. Cuando los datos se transfieren de la TB a la MB, el encabezamiento TS se elimina del paquete de TS.
La Memoria de Almacenamiento Temporal Elemental (EB) 56 es una memoria de almacenamiento temporal para almacenar la unidad de acceso de vídeo en el estado codificado. Cuando los datos se transfieren de la MB a la EB, se elimina el encabezamiento PES.
El núcleo descodificador 57 genera una imagen de campo / trama al descodificar cada unidad de acceso que constituye el flujo de vídeo en unos tiempos de descodificación predeterminados (DTS). Debido a que existe una pluralidad de métodos de codificación por compresión, tales como MPEG2, MPEG4, AVC y VC1, que se pueden usar para codificar por compresión el flujo de vídeo que va a multiplexarse en el clip de AV, el método de descodificación del núcleo descodificador 57 se selecciona de acuerdo con el atributo de flujo. Cuando descodifica los datos de imagen que constituyen el flujo de vídeo de vista base, el núcleo descodificador 57 lleva a cabo una compensación de movimiento usando los datos de imagen, los cuales existen en las direcciones de futuro y de pasado, como imágenes de referencia. Cuando descodifica cada dato de imagen que constituye el flujo de vídeo de vista dependiente, el núcleo descodificador 57 lleva a cabo una compensación de movimiento usando los datos de imagen, los cuales constituyen el flujo de vídeo de vista base, como imágenes de referencia. Después de que los datos de imagen se descodifican de esta manera, el núcleo descodificador 57 transfiere la imagen de trama / campo descodificada a la DPB 59, y transfiere la imagen de trama / campo correspondiente al conmutador de imágenes con
E12174659
07-08-2014
el sincronismo del tiempo de presentación visual (PTS).
El conmutador de memoria de almacenamiento temporal 58 determina de cuál de la EB 53 y la EB 56 ha de extraerse la siguiente unidad de acceso, al usar la información de cambio de descodificación que se obtuvo cuando 5 el núcleo descodificador 57 descodificó las unidades de acceso de vídeo, y transfiere una imagen ya sea de la EB 53
o la EB 56 al núcleo descodificador 57 con el sincronismo del tiempo de descodificación (DTS) asignado a la unidad de acceso de vídeo. Debido a que las DTS del flujo de vídeo de vista izquierda y el flujo de vídeo de vista derecha se establecen para llegar de manera alterna en unidades de imágenes en el eje de tiempo, es preferible que las unidades de acceso de vídeo se transfieran al núcleo descodificador 57 en unidades de imágenes cuando se lleve a
10 cabo la descodificación antes de lo programado sin tener en cuenta las DTS.
La Memoria de Almacenamiento Temporal de Imágenes Descodificadas (DPB) 59 es una memoria de almacenamiento temporal para almacenar temporalmente la imagen de trama / campo descodificada. La DPB 59 se usa por el descodificador de vídeo 57 para referirse a las imágenes descodificadas cuando el descodificador de
15 vídeo 57 descodifica una unidad de acceso de vídeo tal como la imagen P o la imagen B que se han codificado por la codificación de predicción entre imágenes.
El conmutador de imágenes 60, cuando la imagen de trama / campo descodificada transferida desde el descodificador de vídeo 57 va a escribirse en un plano de vídeo, cambia el destino de escritura entre el plano de
20 vídeo de vista izquierda y el plano de vídeo de vista derecha. Cuando el flujo de vista izquierda se selecciona, datos de imagen no comprimidos se escriben en el plano de vídeo de vista izquierda en un momento, y cuando el flujo de vista derecha se selecciona, datos de imagen no comprimidos se escriben en el plano de vídeo de vista derecha en un momento.
25 La operación del descodificador de vídeo en el cambio de modo se describe. En el método de LR, la imagen de 2D se presenta visualmente cuando el modo se cambia al modo en el cual sólo las imágenes de vista izquierda se envían. En el modo de profundidad, la imagen de 2D se presenta visualmente cuando el procesamiento de la información de profundidad se detiene y la información de profundidad no se añade. Ha de observarse que el método de LR y el método de profundidad requieren datos diferentes. De este modo, cuando el cambio entre ellos
30 se lleva a cabo, los flujos que se descodificarán tienen que volver a seleccionarse.
En lo sucesivo se describirá el tamaño del descodificador y la memoria de planos en el dispositivo de reproducción.
La determinación de si el dispositivo va a proveerse con un descodificador o dos descodificadores, o un plano o dos 35 planos, se hace sobre la base de la combinación del tipo de flujo y el método estereoscópico.
Cuando el método de 3D-LR se adopta y el objetivo de la reproducción es un flujo de vídeo de MVC, el dispositivo de reproducción está provisto con un descodificador y dos planos.
40 Cuando se adopta el método de profundidad de 3D, el dispositivo de reproducción está provisto con un descodificador y dos planos, y un generador de imagen de paralaje se requiere. Esto se aplica también al flujo de vídeo primario y al flujo de vídeo secundario.
La razón de que el dispositivo de reproducción tenga un descodificador cuando el flujo de vídeo de MVC se
45 reproduzca es que datos de imágenes de vista izquierda y de vista derecha no comprimidos se usan como imágenes de referencia para lograr la compensación de movimiento para los macrobloques de cada fragmento de datos de imagen comprimidos. Los datos de imágenes de vista izquierda y de vista derecha no comprimidos que van a usarse como imágenes de referencia se almacenan en una memoria de almacenamiento temporal de imágenes descodificadas.
50 Esto completa la descripción del descodificador de vídeo y el plano de vídeo.
Para el plano de PG: el dispositivo de reproducción está provisto con un descodificador y un plano cuando se adopta el método de “1 plano + desplazamiento”; y el dispositivo de reproducción está provisto con dos descodificadores y
55 dos planos cuando se adopta el método de 3D-LR o el método de profundidad de 3D.
Para el flujo de IG: el dispositivo de reproducción está provisto con un descodificador y un plano cuando se adopta el método de “1 plano + desplazamiento”; y el dispositivo de reproducción está provisto con dos descodificadores y dos planos cuando se adopta el método de 3D-LR.
60 Para el flujo de subtítulos de texto para el cual no se puede adoptar el método de 3D-LR: el dispositivo de reproducción está provisto con un descodificador y un plano cuando se adopta el método de “1 plano + desplazamiento”; y el dispositivo de reproducción está provisto con un descodificador y dos planos cuando se adopta el método de profundidad de 3D.
65
10
15
20
25
30
35
40
45
50
55
60
E12174659
07-08-2014
En lo sucesivo se describirá la estructura interna del flujo de PG, y la estructura interna del descodificador de PG para descodificar el flujo de PG.
Cada uno del flujo de PG de vista izquierda y el flujo de PG de vista derecha incluye una pluralidad de conjuntos de presentación visual. El conjunto de presentación visual es un conjunto de segmentos funcionales que constituye una presentación visual en pantalla. Los segmentos funcionales son unidades de procesamiento que se suministran al descodificador mientras están almacenadas en las cargas útiles de los paquetes de PES que tienen cada uno el tamaño de aproximadamente 2 KB, y se someten al control de reproducción con el uso de las DTS y las PTS.
El conjunto de presentación visual cae dentro de los siguientes tipos.
A. Conjunto de presentación visual de inicio de época
El conjunto de presentación visual de inicio de época es un conjunto de segmentos funcionales que comienzan la gestión de la memoria al restablecer la memoria de almacenamiento temporal de composición, la memoria de almacenamiento temporal de datos de codificación y el plano de gráficos en el descodificador de gráficos. El conjunto de presentación visual de inicio de época incluye todos los segmentos funcionales requeridos para la composición de la pantalla.
B. Conjunto de presentación visual de caso normal
El conjunto de presentación visual de caso normal es un conjunto de presentación visual que lleva a cabo la composición de la pantalla mientras continúa la gestión de memoria de la memoria de almacenamiento temporal de composición, la memoria de almacenamiento temporal de datos de codificación y el plano de gráficos en el descodificador de gráficos. El conjunto de presentación visual de caso normal incluye segmentos funcionales que son diferentes de los del conjunto de presentación visual precedente.
C. Conjunto de presentación visual de puntos de adquisición
El conjunto de presentación visual de puntos de adquisición es un conjunto de presentación visual que incluye todos los segmentos funcionales requeridos para la composición de la pantalla, pero no restablece la gestión de memoria de la memoria de almacenamiento temporal de composición, memoria de almacenamiento temporal de datos de código y plano de gráficos en el descodificador de gráficos. El conjunto de presentación visual de puntos de adquisición puede incluir segmentos funcionales que sean diferentes de los del conjunto de presentación visual previo.
D. Conjunto de presentación visual de continuación de época
El conjunto de presentación visual de continuación de época es un conjunto de presentación visual que continúa la gestión de memoria de la memoria de almacenamiento temporal de composición, la memoria de almacenamiento temporal de datos de codificación y el plano de gráficos en el dispositivo de reproducción tal cual cuando la conexión entre un elemento de reproducción que permite la reproducción del flujo de IG y un elemento de reproducción inmediatamente antes del elemento de reproducción es la “conexión sin interrupciones” (CC = 5) que evoluciona en una ruptura limpia. En este caso, los objetos de gráficos obtenidos en la memoria de almacenamiento temporal de objetos y el plano de gráficos se mantienen como presentes en la memoria de almacenamiento temporal de objetos y el plano de gráficos, sin que se descarten.
Ciertos puntos de tiempo en el eje de tiempo de reproducción de la secuencia de STC se asignan al punto de inicio y punto final de estos conjuntos de presentación visual, y los mismos tiempos se asignan a la vista izquierda y la vista derecha. Asimismo, para el flujo de PG de vista izquierda y el flujo de PG de vista derecha, los tipos de los conjuntos de presentación visual que están presentes en el mismo punto de tiempo en el eje de tiempo son iguales. Es decir, cuando el conjunto de presentación visual en el lado de vista izquierda es el conjunto de presentación visual de inicio de época, el conjunto de presentación visual en el lado de vista derecha que está en el mismo punto de tiempo en el eje de tiempo de la secuencia de STC es el conjunto de presentación visual de inicio de época.
Además, cuando el conjunto de presentación visual en el lado de vista izquierda es el conjunto de presentación visual de puntos de adquisición, el conjunto de presentación visual en el lado de vista derecha que es el mismo punto de tiempo en el eje de tiempo de la secuencia de STC es el conjunto de presentación visual de puntos de adquisición.
Cada conjunto de presentación visual incluye una pluralidad de segmentos funcionales. La pluralidad de segmentos funcionales incluye lo siguiente:
15
25
35
45
55
65
E12174659
07-08-2014
(1)
Segmento de definición de objetos
El segmento de definición de objetos es un segmento funcional para definir el objeto de gráficos. El segmento de definición de objetos define el objeto de gráficos usando un valor de código y una longitud de ejecución del valor de código.
(2)
Segmento de definición de paleta
El segmento de definición de paleta incluye unos datos de paleta que indican la correspondencia entre cada valor de código, brillo y diferencia de color rojo / diferencia de color azul. La misma correspondencia entre el valor de código, brillo y diferencia de color se establece tanto en el segmento de definición de paleta del flujo de gráficos de vista izquierda como en el segmento de definición de paleta del flujo de gráficos de vista derecha.
(3)
Segmento de definición de ventana
El segmento de definición de ventana es un segmento funcional para definir un cuadro rectangular que se denomina “ventana” y la memoria de planos que se usa para extender el objeto de gráficos no comprimido en la pantalla. El dibujo del objeto de gráficos está restringido al interior de la memoria de planos, y el dibujo del objeto de gráficos no se lleva a cabo fuera de la ventana.
Debido a que una parte de la memoria de planos se especifica como la ventana para presentar visualmente los gráficos, el dispositivo de reproducción no tiene que llevar a cabo el dibujo de los gráficos para el plano completo. Es decir, el dispositivo de reproducción sólo tiene que llevar a cabo el dibujo de gráficos sobre la ventana que tenga un tamaño limitado. El dibujo de la parte del plano para presentación visual que no sea la ventana puede ser omitido. Esto reduce la carga del soporte lógico del lado del dispositivo de reproducción.
(4)
Segmento de composición de pantalla
El segmento de composición de pantalla es un segmento funcional para definir la composición de pantalla usando el objeto de gráficos, e incluye una pluralidad de elementos de control para controlador de composición en el descodificador de gráficos. El segmento de composición de pantalla es un segmento funcional que define con detalle el conjunto de presentación visual del flujo de gráficos, y define la composición de pantalla usando el objeto de gráficos. La composición de la pantalla cae dentro de tipos tales como Corte hacia adentro / hacia afuera, Desvanecimiento hacia adentro / hacia afuera, Cambio de color, Desplazamiento y Limpieza hacia adentro / hacia afuera. Con el uso de la composición de pantalla definida por el segmento de composición de pantalla, es posible lograr efectos de presentación visual tales como borrar un subtítulo gradualmente, mientras se presenta visualmente el siguiente subtítulo.
(5)
Segmento final
El segmento final es un segmento funcional que está ubicado al final de una pluralidad de segmentos funcionales que pertenecen a un conjunto de presentación visual. El dispositivo de reproducción reconoce una serie de segmentos desde el segmento de composición de pantalla hasta el segmento final como los segmentos finales que constituyen un conjunto de presentación visual.
En el flujo de PG, el punto de tiempo de inicio del conjunto de presentación visual se identifica por la DTS del paquete de PES que almacena el segmento de composición de pantalla, y el punto de tiempo final del conjunto de presentación visual se identifica por la PTS del paquete de PES que almacena el segmento de composición de pantalla.
El flujo de gráficos de vista izquierda y el flujo de gráficos de vista derecha son flujos elementales empaquetados (PES). El segmento de composición de pantalla se almacena en el paquete de PES. La PTS del paquete de PES que almacena el segmento de composición de pantalla indica el momento en el que la presentación visual por el conjunto de presentación visual al cual pertenece el segmento de composición de pantalla ha de ejecutarse.
El valor de la PTS del paquete de PES que almacena el segmento de composición de pantalla es el mismo tanto para el flujo de vídeo de vista izquierda como para el flujo de vídeo de vista derecha.
-Modelos de descodificador de descodificador de PG
El descodificador de PG incluye: una “memoria de almacenamiento temporal de datos codificados” para almacenar segmentos funcionales leídos del flujo de PG; un “procesador de gráficos de flujo” para obtener un objeto de gráficos al descodificar el segmento de composición de pantalla; una “memoria de almacenamiento temporal de objetos” para almacenar el objeto de gráficos obtenido por la descodificación; una “memoria de almacenamiento temporal de composición” para almacenar el segmento de composición de pantalla y un “controlador de composición” para descodificar el segmento de composición de pantalla almacenado en la memoria de almacenamiento temporal de
15
25
35
45
55
65
E12174659
07-08-2014
composición, y llevar a cabo una composición de pantalla en el plano de gráficos usando el objeto de gráficos almacenado en la memoria de almacenamiento temporal de objetos, sobre la base de los elementos de control incluidos en el segmento de composición de pantalla.
Una “memoria de almacenamiento temporal de transporte” para ajustar la velocidad de entrada de los paquetes de TS que constituyen los segmentos funcionales se proporciona en un lugar antes del plano de gráficos.
Asimismo, en ubicaciones después del descodificador de gráficos, se proporcionan un “plano de gráficos”, una “unidad de CLUT” para convertir los códigos de píxel que constituyen el objeto de gráficos almacenados en el plano de gráficos en valores de diferencia de brillo / color sobre la base del segmento de definición de paleta, y una “unidad de desplazamiento” para el desplazamiento de planos.
La canalización en el flujo de PG hace posible ejecutar de manera simultánea los siguientes procesos: el proceso en el cual el descodificador de gráficos descodifica un segmento de definición de objeto que pertenece a cierto conjunto de presentación visual y escribe el objeto de gráficos en la memoria de almacenamiento temporal de gráficos; y el proceso en el cual un proceso de gráficos obtenido al descodificar un segmento de definición de objetos que pertenece a un conjunto de presentación visual anterior se escribe de la memoria de almacenamiento temporal de objetos a la memoria de planos.
Las figuras 56A y 56B muestran la estructura interna del descodificador de gráficos para el flujo de PG. La figura 56A muestra un modelo de descodificador para presentar visualmente datos en el modo de “1 plano + desplazamiento”. La figura 56B muestra un modelo de descodificador para presentar visualmente datos en el modo de LR.
En las figuras 56A y 56B, el propio descodificador de gráficos se representa por un cuadro dibujado por la línea continua, y una porción que sigue al descodificador de gráficos se representa por un cuadro dibujado por la línea discontinua.
La figura 56A muestra la estructura compuesta por un descodificador de gráficos y un plano de gráficos. Sin embargo, la salida del plano de gráficos se ramifica a la vista izquierda y la vista derecha. De este modo, dos unidades de desplazamiento se proporcionan en correspondencia con las salidas a la vista izquierda y la vista derecha, respectivamente.
La figura 56B muestra que dos series de “memoria de almacenamiento temporal de transporte” “descodificador de gráficos” “plano de gráficos” -“unidad de CLUT” se proporcionan de tal manera que el flujo de vista izquierda y el flujo de vista derecha puedan procesarse de manera independiente.
La secuencia de desplazamiento está contenida en el flujo de vídeo de vista dependiente. De este modo, en el formato de desplazamiento de planos, un descodificador de gráficos se proporciona, y la salida del descodificador de gráficos se suministra a la vista izquierda y la vista derecha al cambiar entre las mismas.
El descodificador de PG lleva a cabo lo siguiente para cambiar entre 2D y 3D.
1.
El cambio mutuo entre el modo de “1 plano + desplazamiento” y el modo de 2D se lleva a cabo sin interrupciones. Esto se logra al invalidar el “Desplazamiento”.
2.
Cuando el cambio entre el modo de 3D-LR y el modo de 2D se lleva a cabo, la presentación visual del subtítulo desaparece temporalmente debido a que el cambio entre modos requiere el cambio entre PID. Esto es lo mismo que el cambio entre flujos.
3.
Cuando el cambio entre el modo de 3D-LR y el modo de L se lleva a cabo, el cambio se hace a la presentación visual de sólo L (lado de vista base). El cambio sin interrupciones es posible, pero existe una posibilidad de que la posición de presentación visual pueda desplazarse.
Cuando el cambio entre el modo de profundidad de 3D y el modo de 2D se lleva a cabo, es posible cambiar entre objetos de gráficos sin interrupciones al generar, en el fondo mientras el 2D se está presentando visualmente, los objetos de gráficos de vista izquierda y de vista derecha por adelantado al descodificar la información de profundidad indicada por la escala de grises.
Cuando se ejecuta el cambio por el descodificador de PG, el cambio del modo de profundidad o el “1 plano + desplazamiento” al modo de 2D es fácil. Sin embargo, en el caso del método de 3D-LR, los objetos de gráficos para la visión estereoscópica y la 2D son diferentes unos de otros. De este modo, el flujo de PG que se procesa cuando el cambio va a realizarse tiene que cambiarse, y existe la posibilidad de que el objeto de gráficos no se presente visualmente hasta que se suministre el siguiente flujo de PG.
Para evitar la provisión de un periodo en el cual el objeto de gráficos no se ha presentado visualmente, el cambio sólo al objeto de gráficos de vista base, no al objeto de gráficos de 2D de vista frontal, está disponible. En este caso,
10
15
20
25
30
35
40
45
50
55
60
65
E12174659
07-08-2014
una imagen ligeramente desplazada a la izquierda puede presentarse visualmente. Asimismo, los datos de gestión pueden establecerse para indicar qué método ha de usarse cuando el PG estereoscópico se cambie al PG de 2D.
-Modelos de descodificador del descodificador de subtítulos de texto
El descodificador de subtítulos de texto está compuesto por una pluralidad de fragmentos de datos de descripción de subtítulo.
El descodificador de subtítulos de texto incluye: un “procesador de subtítulos” para separar el código de texto y la información de control de los datos de descripción de subtítulos; una “memoria de almacenamiento temporal de información de gestión” para almacenar el código de texto separado de los datos de descripción de subtítulos; un “productor de texto” para extender el código de texto en la memoria de almacenamiento temporal de información de gestión a la correlación de bits usando los datos de fuente; una “memoria de almacenamiento temporal de objetos” para almacenar la correlación de bits obtenida por la extensión y una “unidad de control de dibujo” para controlar la reproducción de subtítulos de texto a lo largo del eje de tiempo usando la información de control separada de los datos de descripción de subtítulos.
El descodificador de subtítulos de texto es precedido por: una “memoria de almacenamiento temporal de precarga de fuente” para precargar los datos de fuente; una “memoria de almacenamiento temporal de TS” para ajustar la velocidad de entrada de los paquetes de TS que constituyen el flujo de subtítulos de texto y una “memoria de almacenamiento temporal de precarga de subtítulos” para precargar el flujo de subtítulos de texto antes de la reproducción del elemento de reproducción.
El descodificador de gráficos va seguido por un “plano de gráficos”; una “unidad de CLUT” para convertir los códigos de píxel que constituyen el objeto de gráficos almacenado en el plano de gráficos en valores de diferencia de brillo y color sobre la base del segmento de definición de paleta; y una “unidad de desplazamiento” para el desplazamiento de planos.
Las figuras 57A y 57B muestran la estructura interna del descodificador de subtítulos de texto. La figura 57A muestra un modelo de descodificador del descodificador de subtítulos de texto en el modo de “1 plano + desplazamiento”. La figura 57B muestra un modelo de descodificador del descodificador de subtítulos de texto en el método de 3D-LR. En las figuras 57A y 57B, el propio descodificador de subtítulos de texto se representa por un cuadro dibujado por la línea continua, una porción que sigue al descodificador de subtítulos de texto se representa por un cuadro dibujado por la línea discontinua, y una porción que precede al descodificador de subtítulos de texto se representa por un cuadro dibujado por la línea de puntos.
La figura 57A muestra que la salida del plano de gráficos se ramifica a la vista izquierda y la vista derecha. De esta manera dos unidades de desplazamiento se proporcionan en correspondencia con las salidas a la vista izquierda y la vista derecha, respectivamente.
La figura 57B muestra que el plano de gráficos de vista izquierda y el plano de gráficos de vista derecha se proporcionan, y que la correlación de bits extendida por el descodificador de subtítulos de texto se escribe en los planos de gráficos. En el descodificador de subtítulos de texto del método de 3D-LR, la información de paleta de color se ha extendido, y tres colores se han añadido por motivos de “profundidad” además de los tres colores para los personajes, el fondo y el borde del subtítulo. El motor de renderización puede renderizar el subtítulo.
El flujo de subtítulos de texto difiere del flujo de PG tal como sigue. Es decir, los datos de fuente y el código de caracteres se envían, no los datos de gráficos se envían como la correlación de bits, de tal modo que el motor de renderización genera el subtítulo. De este modo, la visión estereoscópica del subtítulo se logra en el modo de “1 plano + desplazamiento”. Cuando, el subtítulo de texto se presenta visualmente en el modo de “1 plano + desplazamiento”, el cambio entre modos se hace al cambiar entre conjuntos de fuentes, o al cambiar entre métodos de renderización. También existe un método conocido para cambiar entre modos al definir el conjunto de fuentes L / R o el conjunto de fuentes de OpenGL. También es posible que el motor de renderización lleve a cabo la presentación visual de 3D.
En el modo de 3D-LR, la reproducción estereoscópica se logra el definir el conjunto de fuentes y el conjunto de fuentes de OpenGL para la vista base de manera independiente del conjunto de fuentes y el conjunto de fuentes de OpenGL para la vista dependiente. También es posible que el motor de renderización renderice la fuente 3D para lograr la reproducción estereoscópica.
En el modo de profundidad de 3D, las imágenes de profundidad se generan por el motor de renderización.
Esto completa la descripción del flujo de subtítulos de texto y el descodificador de subtítulos de texto. En lo sucesivo se describirá la estructura interna del flujo de IG y la estructura del descodificador de IG.
-Flujo de IG
Cada uno del flujo de IG de vista izquierda y el flujo de IG de vista derecha incluye una pluralidad de conjuntos de presentación visual. Cada conjunto de presentación visual incluye una pluralidad de segmentos funcionales. Como en el caso del flujo de PG, el conjunto de presentación visual cae dentro de los siguientes tipos: Conjunto de presentación visual de inicio de época, conjunto de presentación visual de caso normal, conjunto de presentación visual de punto de adquisición y conjunto de presentación visual de continuación de época. La pluralidad de segmentos funcionales que pertenecen a estos conjuntos de presentación visual incluyen los siguientes tipos.
(1)
Segmento de definición de objetos
El segmento de definición de objetos del flujo de IG es igual a aquél del flujo de PG. Sin embargo, el objeto de gráficos en el flujo de IG define el efecto interior y efecto exterior de páginas, los estados normal, seleccionado y activo de los miembros de botón. Los segmentos de definición de objeto se agrupan de aquellos que definen el mismo estado de los miembros de botón, y aquellos que constituyen la misma imagen de efecto. El grupo de segmentos de definición de objeto que definen el mismo estado se denomina “conjunto de datos de gráficos”.
(2)
Segmento de definición de paleta
El segmento de definición de paleta del flujo de IG es igual a aquél del flujo de PG.
(3)
Segmento de control interactivo
El segmento de control interactivo incluye una pluralidad de fragmentos de información de página. La información de página es información que define una composición de pantalla del menú de varias páginas. Cada fragmento de información de página incluye una secuencia de efectos, una pluralidad de fragmentos de información de botón y un valor de referencia de un identificador de paleta.
La información de botón es información que logra una composición de pantalla interactiva en cada página que constituye el menú de varias páginas al presentar visualmente el objeto de gráficos como un estado de un miembro de botón.
La secuencia de efectos constituye el efecto de entrada o el efecto de salida con el uso del objeto de gráficos, e incluye información de efecto, donde el efecto de entrada se reproduce antes de que una página que se corresponde con la información de página se presente visualmente, y el efecto de salida se reproduce después de que la página se presente visualmente.
La información de efecto es información que define cada composición de pantalla para reproducir el efecto de entrada o el efecto de salida. La información de efectos incluye: un objeto de composición de pantalla que define una composición de pantalla que se ejecutará en la ventaja (área parcial) definida por el segmento de definición de ventana en el plano de gráficos; e información de periodo de efecto que indica un intervalo de tiempo entre la pantalla actual y la siguiente pantalla en la misma área.
El objeto de composición de pantalla en la secuencia de efectos define un control que es similar al control definido por el segmento de composición de pantalla del flujo de PG. Entre la pluralidad de segmentos de definición de objetos, un segmento de definición de objetos que define el objeto de gráficos usado para el efecto de entrada está dispuesto en un lugar que precede a un segmento de definición de objeto que define el objeto de gráficos usado para el miembro del botón.
Cada fragmento de información de botón en la información de página es información de que una composición de pantalla interactiva en cada pantalla que constituye el menú de varias páginas al presentar visualmente el objeto de gráficos como un estado de un miembro de botón. La información de botón incluye un comando de página de botón de ajuste, cuando un miembro de botón correspondiente se vuelve activo, da lugar a que el dispositivo de reproducción lleve a cabo el proceso de establecer una página que no sea la primera página como la página actual.
Para hacer posible que el desplazamiento en el desplazamiento de planos se cambie para cada página durante una reproducción del flujo de IG, un comando de navegación para cambiar el desplazamiento se encuentra en la información de botón, y la “auto-activación” del comando de navegación se define en el fragmento correspondiente de información de botón, por adelantado. Esto hace posible cambiar de manera automática el valor o dirección del desplazamiento definido por la información de registro de flujo del flujo de IG.
(4) Segmento final
El segmento final es un segmento funcional que se ubica al final de una pluralidad de segmentos funcionales que pertenecen a un conjunto de presentación visual. Una serie de segmentos desde el segmento de control interactivo hasta el segmento final se reconocen como los segmentos funcionales que constituyen un conjunto de presentación visual.
Los siguientes son elementos de control del segmento de control interactivo que son iguales tanto para el flujo de gráficos de vista izquierda como para el flujo de gráficos de vista derecha: información de adyacencia de botón; marca de tiempo de expiración de selección; duración de expiración de usuario e información de expiración de composición.
1.
Información de adyacencia de botón
La información de adyacencia de botón es información que especifica un botón que se cambiará al estado seleccionado cuando una operación de tecla que especifique cualquiera de hacia arriba, hacia abajo, hacia la izquierda y hacia la derecha se lleve a cabo mientras cierto botón adyacente al botón especificado está en el estado seleccionado.
2.
Marca de tiempo de expiración de selección
La marca de tiempo de expiración de selección indica un tiempo de expiración que se requiere para activar de manera automática un miembro de botón en la página actual y dar lugar a que el dispositivo de reproducción ejecute el miembro de botón.
3.
Duración de expiración de usuario
La duración de expiración de usuario indica un tiempo de expiración que se requiere para devolver la página actual a la primera página de tal manera que sólo la primera página se presente visualmente.
4.
Información de expiración de composición
La información de expiración de composición indica un periodo de tiempo que se requiere para concluir una presentación visual de pantalla interactiva por el segmento de control interactivo. Con respecto al flujo de IG, el punto de tiempo de inicio del conjunto de presentación visual se identifica por la DTS del paquete de PES que almacena el segmento de control interactivo, y el punto de tiempo final del conjunto de presentación visual se identifica por el tiempo de expiración de composición del segmento de control interactivo. El mismo DTS y el mismo tiempo de expiración de composición se establecen tanto para la vista izquierda como para la vista derecha.
-Modelos de descodificador del descodificador de IG
El descodificador de IG incluye: Una “memoria de almacenamiento temporal de datos codificados” para almacenar segmentos funcionales leídos del flujo de IG; un “procesador de gráficos del flujo” para obtener un objeto de gráficos al descodificar el segmento de composición de pantalla; una “memoria de almacenamiento temporal de objetos” para almacenar el objeto de gráficos obtenido por la descodificación; una “memoria de almacenamiento temporal de composición” para almacenar el segmento de composición de pantalla y un “controlador de composición” para descodificar el segmento de composición de pantalla almacenado en la memoria de almacenamiento temporal de composición, y llevar a cabo una composición de pantalla en el plano de gráficos usando el objeto de gráficos almacenado en la memoria de almacenamiento temporal de objetos, sobre la base de los elementos de control incluidos en el segmento de composición de pantalla.
Una “memoria de almacenamiento temporal de transporte” para ajustar la velocidad de entrada de los paquetes de TS que constituyen los segmentos funcionales se proporciona en un lugar antes del plano de gráficos. Asimismo, en ubicaciones después del descodificador de gráficos, un “plano de gráficos”, una “unidad de CLUT” para convertir los códigos de píxel que constituyen el objeto de gráficos almacenado en el plano de gráficos en valores de diferencia de brillo / color sobre la base del segmento de definición de paleta, y una “unidad de desplazamiento” para el desplazamiento de plano se proporcionan.
Las figuras 58A y 58B muestran modelos de descodificador del descodificador de IG. En las figuras 58A y 58B, el propio descodificador de IG se representa por un cuadro dibujado por línea continua, una porción que sigue al descodificador de gráficos se representa por un cuadro dibujado por la línea discontinua, y una porción que precede al descodificador de IG se representa por un cuadro dibujado por la línea de puntos.
La figura 58A muestra un modelo de descodificador para presentar visualmente el flujo de IG en formato de 2D en el formato LR en el modo de “1 plano + desplazamiento”. La figura 58B muestra un modelo de descodificador del flujo de IG para presentar visualmente datos en formato LR.
Estos descodificadores incluyen un circuito para reflejar valores de parámetros de sistema en los desplazamientos de tal manera que el programa pueda controlar la información de profundidad de los gráficos de menú.
La figura 58B muestra un modelo de dos descodificadores que hace posible que los valores de desplazamiento se cambien con el uso de un comando. En consecuencia, en este modelo de descodificador, la información de profundidad del menú puede cambiarse por el comando. Ha de observarse que pueden establecerse valores de desplazamiento diferentes para la vista izquierda y la vista derecha. Por otro lado, en el método de profundidad, el desplazamiento es no válido.
El controlador de composición en el descodificador de gráficos logra la presentación visual inicial de la pantalla interactiva al presentar visualmente el botón actual, entre una pluralidad de miembros de botón en la pantalla interactiva, usando los datos de gráficos del conjunto de datos de gráficos que se corresponde con el estado seleccionado, y presentando visualmente los botones restantes usando el conjunto de datos de gráficos que se corresponde con el estado normal.
Cuando una operación de usuario que especifica cualquiera de hacia arriba, hacia abajo, hacia la izquierda y hacia la derecha se lleva a cabo, esta escribe, en el registro de números de botón, un número de un miembro de botón que está presente en la dirección especificada por la operación de usuario entre una pluralidad de miembros de botón en el estado normal y adyacentes al botón actual, la escritura da lugar a que el miembro de botón se vuelva de nuevo el botón actual a cambiar desde el estado normal hasta el estado seleccionado.
En la pantalla interactiva, cuando una operación de usuario para cambiar el miembro de botón del estado seleccionado al estado activo se lleva a cabo, la pantalla interactiva se actualiza al extraer los datos de gráficos que constituyen el estado activo del conjunto de datos de gráficos y presentar visualmente los datos de gráficos extraídos.
La actualización de la pantalla interactiva ha de ejecutarse en común con la vista izquierda y la vista derecha. De esta manera, es preferible que el descodificador de gráficos de vista izquierda y el descodificador de gráficos de vista derecha tengan en común un controlador de composición para el modelo de dos descodificadores.
En el caso que se ha descrito en lo que antecede, el intercambio se logra al usar el mismo comando de navegación tanto para la vista izquierda como para la vista derecha del flujo de IG estereoscópico, y estableciendo la misma estructura de botones tanto para el objeto de gráficos de 3D como para el objeto de gráficos de 2D.
Cuando se cambia entre el flujo de IG de 2D y el flujo de IG estereoscópico, es posible cambiar sólo el objeto de gráficos presentado visualmente cuando el atributo y número y similares del comando de navegación e información de botón sean iguales para ambos. El cambio del modo de 3D-LR a la presentación visual de sólo la imagen L puede hacerse sin recarga, pero existe la posibilidad de que la posición de presentación visual pueda desplazarse. Es preferible que el dispositivo de reproducción lleve a cabo el cambio sobre la base de un indicador establecido para indicar cual se adopta por el productor de título.
En lo sucesivo se dan notas sobre el cambio entre modos.
-La recarga no tiene lugar cuando el cambio entre el modo de “1 plano + desplazamiento” y el modo de 2D se lleva a cabo. Esto se debe a que el flujo de IG no tiene que recargarse, y sólo se requiere la invalidación del desplazamiento.
-Tiene lugar recarga cuando el cambio entre el modo de 3D-LR y el modo de 2D se lleva a cabo. Esto se debe a que los flujos son diferentes.
-No tiene lugar recarga cuando se lleva a cabo el cambio entre el modo de profundidad de 3D y el modo de 2D si la descodificación de la información de profundidad se ha completado en la precarga.
-La reproducción sin interrupciones no puede garantizarse si la recarga del flujo de IG tiene lugar en relación con el cambio entre el modo de 2D y el modo de 3D, incluso si el modelo de precarga, el cual lee el flujo de IG en la memoria antes del inicio de la reproducción de AV, se ha adoptado.
Esto completa la descripción del flujo de IG y el descodificador de IG. En lo sucesivo se describirá con detalle la memoria de planos.
En lo sucesivo se describe la estructura de la memoria de planos en el método de modo de “1 plano + desplazamiento”.
La superposición de capas en la memoria de planos se logra al ejecutar un proceso de superposición en todas las combinaciones de las capas en el modelo de capas. En el proceso de superposición, valores de píxel de datos de píxel almacenados en las memorias de planos de las dos capas se superponen. La superposición de capas por la unidad de superposición de capas 208 se logra al ejecutar un proceso de superposición en todas las combinaciones de dos capas entre las capas en el modelo de capas. En el proceso de superposición, valores de píxel de datos de píxel almacenados en las memorias de planos de las dos capas se superponen en el modelo de capas de la memoria de planos.
La superposición entre capas se lleva a cabo tal como sigue. Una transmitancia α como una ponderación se multiplica por un valor de píxel en unidad de una línea en la memoria de planos de cierta capa, y una ponderación de (1 -transmitancia α) se multiplica por un valor de píxel en unidad de una línea en la memoria de planos de una capa debajo de cierta capa. Los valores de píxel con estas ponderaciones de brillo se suman entre sí. El valor de píxel resultante se establece como un valor de píxel en unidad de una línea en la capa. La superposición de capa se logra al repetir esta superposición entre capas para cada par de píxeles correspondientes en una unidad de una línea en capas adyacentes en el modelo de capas.
Una unidad de multiplicación para multiplicar cada valor de píxel por la transmitancia para lograr la superposición de capas, una unidad de suma para sumar los píxeles, y una unidad de cambio de escala / colocación para llevar a cabo el cambio de escala y la colocación del vídeo secundario se proporcionan en lugares después de la memoria de planos, así como la unidad de CLUT y la unidad de desplazamiento que se han descrito en lo que antecede y similares. La figura 59 muestra una estructura de circuitos para superponer las salidas de estos modelos de descodificador y enviar el resultado en el modo de 3D-LR. En la figura 59, los modelos de capas compuestos por el plano de vídeo primario, el plano de vídeo secundario, el plano de PG y el plano de IG se representan por las tramas dibujadas por la línea continua; y porciones que siguen a las memorias de planos se representan por las tramas dibujadas por la línea discontinua. Tal como se muestra en la figura 56, hay dos modelos de capas que se han descrito en lo que antecede. Asimismo, hay dos porciones que siguen a las memorias de planos.
Con la estructura de memoria de planos para el método de 3D-LR que está provisto con dos pares de un modelo de capas y una porción que sigue la memoria de planos, dos pares del plano de vídeo primario, plano de vídeo secundario, plano de PG, y plano de IG se proporcionan para la vista izquierda y la vista derecha, y las salidas de cada memoria de planos se superponen, como la superposición de capas, por separado de la vista izquierda y la vista derecha.
El plano de vídeo secundario, como es el caso con el plano de vídeo primario, puede presentarse visualmente en el modo de 3D-LR o en el modo de profundidad de 3D. Asimismo, con el flujo de PG, es posible presentar visualmente una imagen monoscópica para que emerja delante del fondo, al asignar un desplazamiento la imagen de 2D.
La figura 60 muestra una estructura de circuitos para superponer las salidas de los modelos de descodificador y enviar el resultado en el modo de “1 plano + desplazamiento”.
En la figura 57, el modelo de capas compuesto por el plano de vídeo primario para la vista izquierda, el plano de vídeo primario para la vista derecha, el plano de vídeo secundario, el plano de PG y el plano de IG se representa por un cuadro dibujado por la línea continua, y una porción que sigue la memoria de planos se representa por un cuadro dibujado por la línea discontinua. Tal como se muestra en la figura 57, sólo hay un modelo de capas que se ha descrito en lo que antecede. Asimismo, hay dos porciones que siguen a la memoria de planos.
En el método de modo de “1 plano + desplazamiento”, los planos de vídeo primarios se proporcionan, uno para cada una de la vista izquierda y la vista derecha. El plano de vídeo secundario, el plano de PG y el plano de IG se proporcionan, uno tanto para la vista izquierda como para la vista derecha. Sólo hay una memoria de planos tanto para la vista izquierda como para la vista derecha. Con esta estructura, la superposición de capas que se ha descrito en lo que antecede se lleva a cabo en las salidas de vista izquierda y de vista derecha.
El dispositivo de reproducción básicamente tiene la estructura de soporte físico que incluye dos descodificadores y dos planos debido a que se requiere para soportar tanto el modo de presentación de B-D como el modo de “1 plano
+ desplazamiento”. Cuando el modo cambia al modo de “1 plano + desplazamiento” o el modo de reproducción de 2D, el dispositivo de reproducción tiene la estructura de “1 descodificador + 1 plano”, invalidando uno de los dos pares de “1 descodificador + 1 plano”.
Cuando el modo cambia del modo de reproducción de 3D al modo de reproducción de 2D, y la estructura del dispositivo de reproducción cambia de la estructura de “2 descodificadores + 2 planos” a la estructura de “1 descodificador + 1 plano”, el objetivo de la desmultiplexión se vuelve sólo los paquetes de TS que constituyen la imagen L. Y el usuario que haya estado viendo tanto las imágenes L como R por medio de las gafas de 3D llega a ver sólo la imagen L tan pronto como el modo cambia del modo de reproducción de 3D al modo de reproducción de 2D.
Este cambio de la visión por los dos ojos a la visión por un ojo incrementa la carga del ojo, y el usuario puede sentir escalofríos. A la vista de esto, en la presente realización, cuando este cambio tiene lugar, el objetivo del filtro PID se cambia de los paquetes de TS que constituyen las imágenes L y R a los paquetes de TS que constituyen la imagen L, y la gestión de memoria en el descodificador de gráficos se restablece. En este cambio, el subtítulo se borra temporalmente para evitar que el usuario sienta escalofríos.
Tal como se ha descrito en lo que antecede, de acuerdo con la presente realización, el subtítulo en la memoria de planos se restablece temporalmente cuando la estructura de descodificación se cambia de la estructura de 2 descodificadores a la estructura de 1 descodificador. Esto reduce la carga del ojo que se produce cuando la visión del usuario cambia de la visión por los dos ojos a la visión por un ojo.
(Realización 5)
La presente realización describe la producción de los medios de grabación descritos en las realizaciones y ejemplos hasta el momento, en particular, el acto de producción del medio de grabación.
Cada uno de los medios de grabación descrito en las realizaciones y ejemplos hasta el momento puede producirse como un disco BD-ROM que sea un disco óptico de múltiples capas, un disco BD-RE que tenga compatibilidad con el disco BD-ROM, un disco BD-R o un medio AVC-HD.
La figura 61 muestra una estructura interna de un disco óptico de múltiples capas.
La primera fila de la figura 61 muestra un BD-ROM que es un disco óptico de múltiples capas. La segunda fila muestra pistas en el formato extendido en sentido horizontal aunque están en realidad formadas en espiral en las capas de grabación. Estas pistas en espiral en las capas de grabación se tratan como un área de volumen continuo. El área de volumen está compuesta por un área de entrada, capas de grabación de capas de grabación 1 a 3, y un área de salida, donde el área de entrada se ubica en la circunferencia interior, el área de salida se ubica en la circunferencia exterior y las capas de grabación de capas de grabación 1 a 3 se ubican entre el área de entrada y el área de salida. Las capas de grabación de las capas de grabación 1 a 3 constituyen un espacio de dirección lógica consecutivo.
El área de volumen se divide en unidades en las cuales puede accederse al disco óptico, y se asignan números de serie a las unidades de acceso. Los números de serie se denominan direcciones lógicas. Una lectura de datos del disco óptico se lleva a cabo al especificar una dirección lógica. En el presente caso, en el caso de un disco de sólo lectura tal como el BD-ROM, básicamente, sectores con direcciones lógicas consecutivas también son consecutivos en la disposición física en el disco óptico. Es decir, datos almacenados en los sectores con direcciones lógicas consecutivas pueden leerse sin llevar a cabo una operación de búsqueda. Sin embargo, en los límites entre capas de grabación, la lectura de datos consecutivos no es posible incluso si las direcciones lógicas son consecutivas. Se supone por lo tanto que las direcciones lógicas de los límites entre capas de grabación se registran en el dispositivo de grabación de manera preliminar.
En el área de volumen, la información de gestión de sistemas de archivos se graba inmediatamente después del área de entrada. Después de esto, existe un área de división gestionada por la información de gestión de sistemas de archivos. El sistema de archivos es un sistema que expresa datos en el disco en unidades que se denominan directorios y archivos. En el caso del BD-ROM, el sistema de archivos es un UDF (Universal Disk Format, Formato de Disco Universal). Incluso en el caso de un PC (ordenador personal) de uso cotidiano, cuando se graban datos con un sistema de archivos que se denomina FAT o NTFS, los datos grabados en el disco duro bajo directorios y archivos pueden usarse en el ordenador, mejorando de este modo la susceptibilidad de uso. El sistema de archivos hace posible leer datos lógicos de la misma manera que en un PC ordinario, usando una estructura de directorios y archivos.
La cuarta fila muestra cómo las áreas en el área de sistema de archivos gestionada por el sistema de archivos se asignan. Tal como se muestra en la cuarta fila, un área de grabación de datos no de AV existe en el lado de circunferencia más interior en el área de sistema de archivos; y un área de grabación de datos de AV existe inmediatamente después del área de grabación de datos no de AV. La quinta fila muestra los contenidos grabados en el área de grabación de datos no de AV y en el área de grabación de datos de AV. Tal como se muestra en la quinta fila, extensiones que constituyen los archivos de AV se graban en el área de grabación de datos de AV; y extensiones que constituyen archivos no de AV, los cuales son archivos que no sean los archivos de AV, se graban en el área de grabación de datos no de AV.
La figura 62 muestra el formato de aplicación del disco óptico sobre la base del sistema de archivos.
El directorio BDMV es un directorio en el cual datos tales como un contenido de AV e información de gestión usada en el BD-ROM se graban. Cinco subdirectorios que se denominan “directorio PLAYLIST”, “directorio CLIPINF”, “directorio STREAM”, “directorio BDJO”, “directorio JAR” y “directorio META” existen debajo del directorio BDMV. Asimismo, dos tipos de archivos (es decir, index.bdmv y MovieObject.bdmv) están dispuestos bajo el directorio BDMV.
Un archivo “index.bdmv” (el nombre de archivo “index.bdmv” es fijo) almacena una tabla de índices.
Un archivo “MovieObject.bdmv” (el nombre de archivo “MovieObject.bdmv” es fijo) almacena uno o más objetos de película. El objeto de película es un archivo de programa que define un procedimiento de control que se llevará a cabo por el dispositivo de reproducción en el modo de funcionamiento (modo de HDMV) en el cual el objeto de control es un intérprete de comandos. El objeto de película incluye uno o más comandos y un indicador de máscara, donde el indicador de máscara define si se enmascara o no una invocación de menú o una invocación de título cuando la invocación se lleve a cabo por el usuario en la GUI.
Un archivo de programa (XXXXX.bdjo”---”XXXXX” es variable, y la extensión “bdjo” es fija) al cual se le da una extensión “bdjo” existe en el directorio BDJO. El archivo de programa almacena un objeto de BD-J que define un procedimiento de control que se llevará a cabo por el dispositivo de reproducción en el modo de BD-J. El objeto de BD-J incluye una “tabla de gestión de aplicaciones”. La “tabla de gestión de aplicaciones” en el objeto de BD-J es una tabla que se usa para dar lugar a que el dispositivo de reproducción lleve a cabo una señalización de aplicación, con el título siendo considerado como el ciclo de vida. La tabla de gestión de aplicaciones incluye un “identificador de aplicación” y un “código de control”, donde el “identificador de aplicación” indica una aplicación que se ejecutará cuando un título que se corresponde con el objeto de BD-J se vuelva un título actual. Aplicaciones de BD-J cuyos ciclos de vida se definen por la tabla de gestión de aplicaciones se denominan especialmente “aplicaciones de BD-J”. El código de control, cuando se establece en AutoRun, indica que la aplicación ha de cargarse en la memoria de pila y activarse de manera automática; y cuando se establece en Present, indica que la aplicación ha de cargarse en la memoria de pila y activarse después de que se recibe una invocación de otra aplicación. Por otro lado, algunas aplicaciones de BD-J no concluyen sus operaciones incluso si el título concluye. Estas aplicaciones de BD-J se denominan “aplicaciones sin límite de título”.
Una sustancia de esta aplicación Java™ es una carpeta de archivos Java™ (YYYYY.jar) almacenada en el directorio JAR bajo el directorio BDMV.
Una aplicación puede ser, por ejemplo, una aplicación Java™ que esté compuesta por uno o más programas xlet que se hayan cargado en una memoria de pila (que también se denomina memoria de trabajo) de una máquina virtual. La aplicación está constituida a partir de los programas xlet que se han cargado en la memoria de trabajo, y datos.
En el “directorio PLAYLIST”, existe un archivo de información de listas de reproducción (“xxxxx.mpls”---”XXXXX” es variable, y la extensión “mpls” es fija) al cual se le da una extensión “mpls”.
En el “directorio CLIPINF”, existe un archivo de información de clips (“xxxxx.clpi”---”XXXXX” es variable, y la extensión “clpi” es fija) al cual se le da una extensión “clpi”
Las extensiones que constituyen los archivos que existen en los directorios explicados hasta el momento se graban en el área de datos no de AV.
El “directorio STREAM” es un directorio que almacena un archivo de flujo de transporte. En el “directorio STREAM”, existe un archivo de flujo de transporte (“xxxx.m2ts”---”XXXXX” es variable, y la extensión “m2ts” es fija) al cual se le da una extensión “m2ts”.
Los archivos que se han descrito en lo que antecede se forman en una pluralidad de sectores que son físicamente continuos en el área de división. El área de división es un área a la que se accede por el sistema de archivos e incluye una “área en la cual se graba el descriptor de conjunto de archivos”, “área en la cual se graba descriptor final”, “área de directorio ROOT”, “área de directorio BDMV”, “área de directorio JAR”, “área de directorio BDJO”, “área de directorio PLAYLIST”, “área de directorio CLIPINF” y “área de directorio STREAM”. En lo sucesivo se explican estas áreas.
El “descriptor de conjuntos de archivos” incluye un número de bloque lógico (LBN) que indica un sector en el cual se graba la entrada de archivo del directorio ROOT, entre áreas de directorios. El “descriptor de fin” indica un fin del descriptor del conjunto de archivos.
En lo sucesivo se da una descripción detallada de las áreas de directorios. Las áreas de directorios que se han descrito en lo que antecede tienen una estructura interna en común. Es decir, cada una de las “áreas de directorios” está compuesta por una “entrada de archivo”, “archivo de directorio” y “área de grabación de archivo de archivo inferior”.
La “entrada de archivo” incluye una “etiqueta de descriptor”, “etiqueta de ICB” y “descriptor de asignación”.
La “etiqueta de descriptor” es una etiqueta que indica que la entidad que tiene la etiqueta de descriptor es una entrada de archivo.
La “etiqueta de ICB” indica información de atributo que hace referencia a la propia entrada de archivo.
El “descriptor de asignación” incluye un número de bloque lógico (LBN) que indica una posición de grabación del archivo de directorio. Hasta ahora, se ha descrito la entrada de archivo. En lo sucesivo se da una descripción detallada del archivo de directorios.
El “archivo de directorios” incluye un “descriptor de identificación de archivo de directorio inferior” y “descriptor de identificación de archivo de archivo inferior”.
El “descriptor de identificación de archivo de directorio inferior” es información a la que se hace referencia para acceder a un directorio inferior que pertenezca al propio archivo de directorio, y está compuesto por información de identificación del directorio inferior, la longitud del nombre de directorio del directorio inferior, una dirección de entrada de archivo que indica el número de bloque lógico del bloque en el cual está grabada la entrada de archivo del directorio inferior, y el nombre de directorio del directorio inferior.
El “descriptor de identificación de archivo de archivo inferior” es información a la que se hace referencia para acceder a un archivo que pertenezca al propio archivo de directorio, y está compuesto por información de identificación de un archivo inferior, la longitud del nombre de archivo inferior, una dirección de entrada de archivo que indique el número de bloque lógico del bloque en el cual se graba la entrada de archivo del archivo inferior, y el nombre de archivo del archivo inferior.
Los descriptores de identificación de archivo de los archivos de directorio de los directorios indican los bloques lógicos en los cuales se graban las entradas de archivo del directorio inferior y el archivo inferior. Al rastrear los descriptores de identificación de archivos, por lo tanto es posible llegar de la entrada de archivo del directorio ROOT a la entrada de archivo del directorio BDMV, y llegar de la entrada de archivo del directorio BDMV a la entrada de archivo del directorio PLAYLIST. De forma similar, es posible llegar a las entradas de archivo del directorio JAR, directorio BDJO, directorio CLIPINF y directorio STREAM.
El “área de grabación de archivos de archivos inferiores” es un área en la cual se graba la sustancia del archivo inferior que pertenece a un directorio. Una “entrada de archivo” de la entrada inferior y una o más “extensiones” se graban en el “área de grabación de archivos de archivo inferior”.
El archivo de flujo que constituye la característica principal de la presente solicitud es un área de grabación de archivos que existe en el área de directorio del directorio al cual pertenece el archivo. Es posible acceder al archivo de flujo de transporte al rastrear los descriptores de identificación de archivo de los archivos de directorio, y los descriptores de asignación de las entradas de archivo.
Hasta el momento se ha descrito la estructura interna del medio de grabación. En lo sucesivo se describe cómo generar el medio de grabación que se muestra en las figuras 58 y 59, particularmente una forma de un método de grabación.
El método de grabación de la presente realización incluye no sólo la grabación en tiempo real que se ha descrito en lo que antecede en la cual archivos de AV y archivos no de AV se generan en tiempo real, y se escriben en el área de grabación de datos de AV y el área de grabación de datos no de AV, sino también una grabación de pre-formato en la cual flujos de bits que serán grabados en el área de volumen se genera por adelantado, se genera un disco maestro sobre la base de los flujos de bits, y el disco maestro se prensa, haciendo posible de esta manera una producción en masa del disco óptico. El método de grabación de la presente realización es aplicable ya sea a grabación en tiempo real o a grabación de pre-formato.
Cuando el método de grabación se va a lograr mediante tecnología de grabación en tiempo real, el dispositivo de grabación para llevar a cabo el método de grabación crea un clip de AV en tiempo real, y almacena el clip de AV en el BD-RE, BD-R, disco duro o tarjeta de memoria de semiconductores.
En este caso, el clip de AV puede ser un flujo de transporte que se obtenga como al codificar el dispositivo de grabación una señal de entrada analógica en tiempo real, o un flujo de transporte que se obtenga al parcializar el dispositivo de grabación un flujo de transporte de entrada digital. El dispositivo de grabación para llevar a cabo la grabación en tiempo real incluye: un codificador de vídeo para obtener un flujo de vídeo al codificar una señal de vídeo; un codificador de audio para obtener un flujo de audio al codificar una señal de audio; un multiplexor para obtener un flujo digital en el formato MPEG2-TS al multiplexar el flujo de vídeo, el flujo de audio y similar; y un empaquetador de origen para convertir paquetes de TS que constituyen el flujo digital en el formato MPEG2-TS en paquetes de origen. El dispositivo de grabación almacena un flujo digital MPEG2 que se ha convertido en el formato de paquete de origen, en un archivo de clips de AV, y escribe el archivo de clips de AV en el BD-RE, BD-R, o similar. Cuando el flujo digital se escribe, la unidad de control del dispositivo de grabación lleva a cabo un proceso de generar la información de clip y la información de listas de reproducción en la memoria. De manera más específica, cuando el usuario solicita un proceso de grabación, la unidad de control crea un archivo de clips de AV y un archivo de información de clips de AV en el BD-RE o el BD-R.
Después de esto, cuando la posición de partida de GOP en el flujo de vídeo se detecta a partir del flujo de transporte que se introduce desde afuera del dispositivo, o cuando el GOP del flujo de vídeo se crea por el codificador, la unidad de control del dispositivo de grabación obtiene (i) la PTS de la intra imagen que se coloca al principio del GOP y (ii) el número de paquete del paquete de origen que almacena la porción de inicio del GOP, y escribe además el par de PTS y el número de paquete en la correlación de entradas del archivo de información de clips, como un par de entrada EP_PTS y EP_SPN. Después de esto, cada vez que un GOP se genera, un par de entrada EP_PTS y entrada EP_SPN se escribe adicionalmente en la correlación de entradas del archivo de información de clips. Al hacer esto, cuando la porción de inicio de un GOP es una imagen IDR, un indicador “is_angle_change” se ha establecido en “activo” se añade a un par de entrada EP_PTS y entrada EP_SPN. Asimismo, cuando la porción de inicio de un GOP no es una imagen IDR, un indicador “is_angle_change” que se ha establecido en “inactivo” se añade a un par de entrada EP_PTS y entrada EP_SPN.
Además, la información de atributo de un flujo en el archivo de información de clips se establece de acuerdo con el atributo del flujo que será grabado. Después de que el clip y la información de clip se generan y escriben en el BD-RE o el BD-R, la información de listas de reproducción que define una trayectoria de reproducción por medio de la correlación de entradas en la información de clip se genera y se escribe en el BD-RE o el BD-R. Cuando se ejecuta este proceso con la tecnología de grabación en tiempo real, una estructura jerárquica compuesta por el clip de AV, información de clip e información de listas de reproducción se obtiene en el BD-RE o el BD-R.
Esto completa la descripción del dispositivo de grabación para llevar a cabo el método de grabación mediante la grabación en tiempo real. En lo sucesivo se da una descripción del dispositivo de grabación para llevar a cabo el método de grabación mediante la grabación de pre-formato.
El método de grabación mediante la grabación de pre-formato se logra con un método de fabricación del disco óptico que incluye un procedimiento de creación.
Las figuras 63A y 63B muestran el método de fabricación de un disco óptico. La figura 63A es un diagrama de flujo del método de grabación mediante la grabación pre-formato y muestra el procedimiento del método de fabricación de discos ópticos. El método de fabricación de discos ópticos incluye la etapa de creación, etapa de firma, etapa de obtención de clave de medio, etapa de cifrado de clave de medio, etapa de formato físico, etapa de inserción de identificador, una etapa de masterización y una etapa de replicación.
En la etapa de creación S201, un flujo de bits que representa el área de volumen completa del disco óptico se genera.
En la etapa de firma S202, una solicitud de firma se hace a la AACS LA para fabricar el disco óptico. De manera más específica, se extrae una porción del flujo de bits se envía a la AACS LA. Ha de observarse que la AACS LA es una organización para gestionar la licencia de las tecnologías de protección de trabajos de derecho de autor para los aparatos electrodomésticos digitales de siguiente generación. Los sitios de creación y sitios de masterización son licenciados por la AACS LA, donde los sitios de creación llevan a cabo la creación de discos ópticos al usar dispositivos de creación, y los sitios de masterización ejecutan la masterización al usar dispositivos de masterización. La AACS LA también gestiona las claves de medio e información de invalidación. La AACS LA firma y devuelve la porción del flujo de bits.
En la etapa de obtención de clave de medio S203, se obtiene una clave de medio de la AACS LA. La clave de medio proporcionada por la AACS LA no es fija. La clave de medio se actualiza por una nueva cuando el número de discos ópticos fabricados alcanza cierto número. La actualización de la clave de medio hace posible excluir ciertos fabricantes o dispositivos, e invalidar una clave de cifrado usada por la información de invalidación incluso si la clave de cifrado se vulnera.
En la etapa de cifrado de clave de medio S204, una clave usada para cifrar un flujo de bits se cifra usando la clave de medio obtenida en la etapa de obtención de clave de medio.
En la etapa de formato físico S205, el formateo físico del flujo de bits se lleva a cabo.
En la etapa de inserción de identificador S206, se inserta un identificador, el cual es único y no puede ser detectado por dispositivos ordinarios, tal como una marca de agua electrónica, en el flujo de bits que será grabado en el disco óptico. Esto impide la producción en masa de copias pirata por masterización no autorizada.
En la etapa de masterización S207, un disco maestro del disco óptico se genera. En primer lugar, una capa fotorresistente se forma sobre el sustrato de vidrio, irradia un rayo láser sobre la capa de fotorresistencia en correspondencia con ranuras o cavidades deseadas y, a continuación, la capa de fotorresistencia se somete al proceso de exposición y al proceso de revelado. Las ranuras de cavidades representan valores de los bits que constituyen el flujo de bits que se ha sometido a la modulación de ocho a dieciséis. Después de esto, el disco maestro del disco maestro se genera sobre la base de la fotorresistencia cuya superficie se ha hecho no uniforme por el corte con láser en correspondencia con las ranuras o cavidades.
En la etapa de replicación S208, se producen copias del disco óptico mediante una producción en masa usando el disco maestro del disco óptico.
La figura 63B muestra el procedimiento del método de grabación mediante la grabación pre-formato cuando un usuario general graba cualquiera de los diferentes archivos descritos en la realización hasta el momento en un medio de grabación tal como un BD-R o BD-RE usando un ordenador personal, no cuando el disco óptico se produce en masa. En comparación con la figura 63A, en el método de grabación que se muestra en la figura 63B, la etapa de formato físico S205 y la etapa de masterización S207 se han omitido, y cada etapa de escritura de archivo S209 se ha añadido.
En lo sucesivo se explica la etapa de creación.
La figura 64 es un diagrama de flujo que muestra el procedimiento de la etapa de creación.
En la etapa S101, se definen los conjuntos de bobinas del TS principal y el sub-TS. Una “bobina” es un archivo que almacena los datos de material de un flujo elemental. En la etapa de creación, la bobina existe en una unidad en una red local. Las bobinas son datos que representan, por ejemplo, imágenes L y R filmadas por una cámara de 3D, audio grabado en la filmación, audio grabado después de la filmación, subtítulos para cada idioma y menús. Un “conjunto de bobinas” es un grupo de enlaces a los archivos de material, que representan un conjunto de flujos elementales que se multiplexará en un flujo de transporte. En el presente ejemplo, un conjunto de bobinas se define para cada uno del TS principal y el sub-TS.
En la etapa S102, los prototipos de elemento de reproducción y sub-elemento de reproducción se definen, y los prototipos de la trayectoria principal y sub-trayectoria se definen al definir un orden de reproducción de elementos de reproducción y sub-elementos de reproducción. El prototipo del elemento de reproducción puede definirse al recibir, por medio de una GUI, una especificación de una bobina que se permita que se reproduzca por un elemento de reproducción seleccionado en el modo de reproducción monoscópica, y una especificación de In_Time y Out_Time. El prototipo del sub-elemento de reproducción puede definirse al recibir, por medio de una GUI, una especificación de una bobina que se permita que se reproduzca por un elemento de reproducción que se corresponde con un subelemento de reproducción seleccionado en el modo de reproducción estereoscópica, y una especificación de In_Time y Out_Time.
Para la especificación de que una bobina se permita que se reproduzca, se proporciona una GUI para hacer posible verificar un recuadro de verificación que se corresponda con, entre los enlaces a archivos de material en el conjunto de bobinas, un enlace a un archivo de material que se permita que se reproduzca. Con esta GUI, columnas de entrada numérica se representan visualmente en correspondencia con las bobinas. Con el uso de las columnas de entrada numérica, se recibe la prioridad de cada bobina, y sobre la base de esto, se determinan las prioridades de los bobinas. Con el establecimiento de las bobinas que se permite que se reproduzcan y el establecimiento de las prioridades, la tabla de selección de flujos y la tabla de selección de flujos de extensión se generan.
La especificación de In_Time y Out_Time se lleva a cabo cuando el dispositivo de grabación ejecuta el proceso en el cual el eje de tiempo del flujo de vídeo de vista base o el flujo de vídeo de vista dependiente se presenta visualmente como un gráfico en la GUI, una barra de deslizamiento es movida en el gráfico del eje de tiempo, y la especificación de un ajuste de posición de la barra deslizadora se recibe del usuario.
La definición, del orden de reproducción del elemento de reproducción y el sub-elemento de reproducción se logra por el siguiente proceso: una imagen In_Time del elemento de reproducción se presenta visualmente como una viñeta en la GUI, y el dispositivo de grabación recibe del usuario una operación hecha en la viñeta para establecer el orden de reproducción.
En la etapa S103, una pluralidad de flujos elementales se obtienen al codificar los archivos de material especificados por los conjuntos de bobinas. La pluralidad de flujos elementales incluye el flujo de vídeo de vista base y el flujo de vídeo de vista dependiente, y el flujo de audio, el flujo de PG y el flujo de IG que van a multiplexarse con el flujo de vídeo de vista base y el flujo de vídeo de vista dependiente.
En la etapa S104, un TS principal se obtiene al multiplexar en el mismo el flujo de vídeo de vista base y un flujo elemental que, entre los flujos elementales obtenidos por la codificación, pertenezca a un mismo conjunto de bobinas que el flujo de vídeo de vista base.
En la etapa S105, un sub-TS se obtiene al multiplexar en el mismo el flujo de vídeo de vista dependiente y un flujo elemental que, entre los flujos elementales obtenidos por la codificación, pertenezca al mismo conjunto de bobinas que el flujo de vídeo de vista dependiente.
En la etapa S106, el prototipo del archivo de información de clips se crea sobre la base de los parámetros que se han establecido durante la codificación y multiplexión.
En la etapa S107, la información de listas de reproducción se define al generar la información de elementos de reproducción y la información de sub-elementos de reproducción sobre la base del prototipo del elemento de reproducción y, a continuación, generar la información de trayectoria principal y la información de sub-trayectoria al definir el orden de reproducción sobre la base de la información de elementos de reproducción y la información de sub-elementos de reproducción.
En la generación de la información de elementos de reproducción, la tabla de selección de flujos se genera en la información de elementos de reproducción de tal manera que, entre los flujos elementales multiplexados en el TS principal, flujos elementales que sean definidos, en la estructura básica del elemento de reproducción, que se reproducirán en el modo de reproducción monoscópico se establezcan en “reproducibles”. Asimismo, para definir la sección de reproducción en el flujo de vídeo de vista base, el In_Time y Out_Time que se han definido por la edición que se ha descrito en lo que antecede se escriben en la información de elementos de reproducción.
En la generación de la información de sub-elementos de reproducción, la tabla de selección de flujos de extensión se genera en los datos de extensión de la información de listas de reproducción de tal manera que, entre los flujos elementales multiplexados en el sub-TS principal, flujos elementales que sean definidos, en la estructura básica del elemento de reproducción, que se reproducirá en el modo de reproducción estereoscópica se establezcan en “reproducibles”. La información de elementos de reproducción y la información de sub-elementos de reproducción se definen sobre la base de información en el archivo de información de clips y, de esta manera, se establecen sobre la base del prototipo del prototipo del archivo de información de clips.
En la etapa S108, el TS principal, sub-TS, prototipo del archivo de información de clips, y prototipo de la información de listas de reproducción se convierten en un grupo de archivos de directorio en un formato de aplicación predeterminado.
A través de los procesos que se han descrito en lo que antecede, el TS principal, sub-TS, información de clip, información de elementos de reproducción e información de sub-elementos de reproducción se generan. A continuación, el TS principal y el sub-TS se convierten en archivos de flujo independientes respectivos, la información de clips se convierte en el archivo de información de clips, y la información de elementos de reproducción y la información de sub-elementos de reproducción se convierten en el archivo de información de listas de reproducción. De esta manera, se obtiene un conjunto de archivos que serán grabados en el medio de grabación.
Cuando las profundidades van a calcularse para cada trama usando la expresión funcional de la función lineal o la función parabólica, una función para obtener una profundidad para cada tiempo de trama a partir del tiempo de trama del flujo de vídeo se define en la interfaz de programas de aplicación del dispositivo de grabación. Después el tiempo de trama del flujo de vídeo de vista base se da a la función, y la profundidad para cada tiempo de trama se calcula. Las profundidades calculadas de esta manera se convierten en el valor de desplazamiento de planos y la información de dirección de desplazamiento.
Después de esto, cuando se ejecuta la etapa de codificación de flujos de vídeo, el valor de desplazamiento de planos y la información de dirección de desplazamiento obtenidas en la conversión que se ha descrito en lo que antecede se escriben en los metadatos de cada GOP. De esta manera, la secuencia de desplazamiento puede generarse en el proceso de codificación.
La figura 65 es un diagrama de flujo que muestra el procedimiento para escribir el archivo de AV. Los archivos de AV se escriben de acuerdo con este diagrama de flujo cuando el método de grabación por la grabación en tiempo real o el método de grabación incluyendo la masterización o replicación se implementa.
En la etapa S401, el dispositivo de grabación genera la entrada de archivo en la memoria del dispositivo de grabación al crear “xxxxx.ssif”. En la etapa S402, se evalúa si las áreas de sector libre continuas se han asegurado. Cuando las áreas de sector libre continuas se han asegurado, el control avanza a la etapa S403 en la cual el dispositivo de grabación escribe la secuencia de paquetes de origen que constituyen el bloque de datos de vista dependiente en las áreas de sector libres continuas tantas como EXT2[i]. Después de esto, se ejecutan las etapas S404 a S408. Cuando se evalúa en la etapa S402 que las áreas de sector libre continuas no se han asegurado, el control avanza a la etapa S409 en la cual el proceso excepcional se lleva a cabo, y después el proceso concluye.
Las etapas S404 a S408 constituyen un bucle en el cual el proceso de las etapas S404 -S406 y S408 se repite hasta que se evalúe “NO” en la etapa S407.
En la etapa S405, el dispositivo de grabación escribe la secuencia de paquetes de origen que constituye el bloque de datos de vista base en las áreas de sector libre continuas tanto como EXT1[i]. En la etapa S406, añade, en la entrada de archivo, el descriptor de asignación que indica la dirección de inicio de la secuencia de paquetes de origen y longitud de continuación, y lo registra como una extensión. En relación con esto, escribe, en la información de clips, la información de punto de inicio de extensión que indica el número de paquete de origen de inicio del mismo.
La etapa S407 define la condición para concluir el bucle. En la etapa S407, se evalúa si hay o no un paquete de origen no escrito en los bloques de datos de vista base y de vista dependiente. Cuando se evalúa que hay un paquete de origen no escrito, el control avanza a la etapa S408 para continuar el bucle. Cuando se evalúa que no
hay paquete de origen no escrito, el control avanza a la etapa S410.
En la etapa S408, se evalúa si hay o no áreas de sector continuas. Cuando se evalúa que hay áreas de sector continuas, el control avanza a la etapa S403. Cuando se evalúa que no hay áreas de sector continuas, el control vuelve a la etapa S402.
En la etapa S410, “xxxxx.ssif” se cierra y la entrada de archivo se escribe en el medio de grabación. En la etapa S411, “xxxxx.m2ts” se crea y la entrada de archivo de “xxxxx.m2ts” se genera en la memoria. En la etapa S412, el descriptor de asignación que indica la longitud de continuación y la dirección de inicio de Extensión del bloque de datos de vista base único para el archivo de 2D se añade a la entrada de archivo de “xxxxx.m2ts”. En la etapa S413, “xxxxx.m2ts” se cierra, y la entrada de archivo se escribe.
En la etapa S404, se evalúa si hay o no un punto de ocurrencia de salto largo en el intervalo de “EXTss + EXT2D”. En el presente ejemplo, se supone que el punto de ocurrencia de salto largo es un límite entre capas. Cuando se evalúa que hay un punto de ocurrencia de salto largo en el intervalo de “EXTss + EXT2D”, el control avanza a la etapa S420 en la cual una copia del bloque de datos de vista base se crea, y bloques de datos de vista base B[i]ss y B[i]2D se escriben en el área inmediatamente antes del punto de ocurrencia de salto largo y, a continuación, el control avanza a la etapa S406. Estas se vuelven Extensiones del archivo de 2D y Extensiones de la base de archivo.
En lo sucesivo se da una descripción del dispositivo de grabación que va a usarse para el trabajo en la etapa de creación. El dispositivo de grabación descrito en el presente caso se usa por el personal de creación en un estudio de producción para distribuir contenidos cinematográficos. La forma de uso del dispositivo de grabación de la presente invención es la siguiente: un flujo digital y un escenario se generan de acuerdo con la operación por el personal de creación, cuando el flujo digital representa un título cinematográfico y se genera al codificar por compresión cumpliendo con la norma MPEG, y el escenario describe cómo el título cinematográfico ha de reproducirse, un flujo de bits de volumen para BD-ROM incluyendo estos datos se genera, y el flujo de bits de volumen se graba en un medio de grabación que va a ser entregado al sitio de masterización.
La figura 66 muestra la estructura interna del dispositivo de grabación. Tal como se muestra en la figura 66, el dispositivo de grabación incluye un codificador de vídeo 501, una unidad de producción de material 502, una unidad de generación de escenarios 503, una unidad de producción de programas de BD 504, una unidad de procesamiento de multiplexión 505 y una unidad de procesamiento de formato 506.
El codificador de vídeo 501 genera flujos de vídeo de vista izquierda y de vista derecha al codificar imágenes de correlaciones de bits no comprimidas de vista izquierda y de vista derecha de acuerdo con un método de compresión tal como el MPEG4-AVC o el MPEG2. Al hacer esto, el flujo de vídeo de vista derecha se genera al codificar tramas que se corresponden con el flujo de vídeo de vista izquierda, por el método de codificación por predicción entre imágenes. En el proceso de la codificación por predicción entre imágenes, la información de profundidad para imágenes de 3D es extraída de los vectores de movimiento de las imágenes de vista izquierda y de vista derecha, y la información de profundidad se almacena en una unidad de almacenamiento de información de profundidad de tramas 501a. El codificador de vídeo 501 lleva a cabo una compresión de imagen usando las características relativas entre imágenes al extraer los vectores de movimiento en unidades de macrobloques de 8x8
o 16x16.
En el proceso de extraer los vectores de movimiento en unidades de macrobloques, una imagen en movimiento cuyo frente sea un ser humano y fondo sea una casa se determina como un objetivo para extraer el vector de movimiento. En este caso, se lleva a cabo una predicción entre imágenes entre una imagen de ojo izquierdo y una imagen de ojo derecho. Con este proceso, ningún vector de movimiento se detecta de la porción de la imagen que se corresponde con la “casa”, pero se detecta un vector de movimiento de la porción de la imagen que se corresponde con el “ser humano”.
El vector de movimiento detectado es extraído, y la información de profundidad se genera en unidades de tramas cuando se presenta visualmente la imagen de 3D. La información de profundidad es, por ejemplo, una imagen que tiene la misma resolución que la trama que tiene la profundidad de 8 bits.
La unidad de producción de material 502 genera flujos tales como un flujo de audio, un flujo de gráficos interactivos y un flujo de gráficos de presentación, y escribe los flujos generados en una unidad de almacenamiento de flujos de audio 502a, una unidad de almacenamiento de flujos de gráficos interactivos 502b y una unidad de almacenamiento de flujos de gráficos de presentación 502c.
Cuando se genera un flujo de audio, la unidad de producción de material 502 genera el flujo de audio al codificar un audio lineal PCM no comprimido mediante un método de compresión tal como AC3. Aparte de esto, la unidad de producción de material 502 genera un flujo de gráficos de presentación en un formato que es conforme a la norma de BD-ROM, sobre la base del archivo de información de subtítulos que incluye una imagen de subtítulo, un sincronismo de presentación visual y efectos de subtítulo tales como desvanecimiento hacia adentro y desvanecimiento hacia afuera. Asimismo, la unidad de producción de material 502 genera un flujo de gráficos interactivos en un formato para la pantalla de menú que es conforme a la norma de BD-ROM, sobre la base del archivo de menú que describe imágenes de correlaciones de bits, transición de los botones dispuestos en el menú y los efectos de presentación visual.
La unidad de generación de escenarios 503 genera un escenario en el formato de BD-ROM, de acuerdo con la información de cada flujo generado por la unidad de producción de material 502 y la operación introducida por el personal de creación por medio de la GUI. En el presente caso, el escenario significa un archivo tal como un archivo de índice, un archivo de objetos de película o un archivo de listas de reproducción. Asimismo, la unidad de generación de escenarios 503 genera un archivo de parámetros que describe de qué flujo está constituido cada clip de AV para lograr el proceso de multiplexión. El archivo generado en el presente caso tal como un archivo de índices, un archivo de objetos de película o un archivo de listas de reproducción, tiene la estructura de datos descrita en la realización 1 y en el ejemplo 2.
La unidad de producción de programas de BD 504 genera un código de origen para un archivo de programa de BD y genera un programa de BD de acuerdo con una solicitud proveniente de un usuario que se recibe por medio de una interfaz de usuario tal como la GUI. Al hacer esto, el programa del archivo de programa de BD puede usar la información de profundidad enviada desde el codificador de vídeo 501 para establecer la profundidad del plano de GFX.
La unidad de procesamiento de multiplexión 505 genera un clip de AV en el formato MPEG2-TS al multiplexar una pluralidad de flujos descritos en los datos de escenario de BD-ROM, tales como el flujo de vídeo de vista izquierda, el flujo de vídeo de vista derecha, vídeo, audio, subtítulos y botón. Cuando se genera esto, la unidad de procesamiento de multiplexión 505 genera también el archivo de información de clips que hace un par con el clip de AV.
La unidad de procesamiento de multiplexión 505 genera el archivo de información de clip al asociar, como un par, (i) la correlación de entradas generada por la propia unidad de procesamiento de multiplexión 505 y (ii), información de atributo que indica un atributo de audio, atributo de imagen y similares para cada flujo incluido en el clip de AV. El archivo de información de clips tiene la estructura que se ha descrito en cada realización y ejemplos hasta el momento.
La unidad de procesamiento de formato 506 genera una imagen de disco en el formato UDF al disponer, en un formato que es conforme a la norma de BD-ROM, los datos de escenario BD-ROM generados por la unidad de generación de escenario 503, el archivo de programa de BD producido por la unidad de producción de programas de BD 504, el clip de AV y archivo de información de clips generado por la unidad de procesamiento de multiplexión 505, y directorios y archivos en un formato que es conforme a la norma de BD-ROM, donde el formato UDF es un sistema de archivos que es conforme a la norma de BD-ROM. La unidad de procesamiento de formatos 506 escribe el flujo de bits que representa la imagen de disco en la unidad de almacenamiento de flujos de bits BD-ROM.
Al hacer esto, la unidad de procesamiento de formatos 506 genera los metadatos de 3D para el flujo de PG, el flujo de IG y el flujo de vídeo secundario usando la información de profundidad enviada desde el codificador de vídeo
501. Asimismo, la unidad de procesamiento de formatos 506 establece de manera automática la disposición de una imagen en la pantalla con el fin de no superponerla con un objeto en la imagen de 3D, y ajusta el valor de desplazamiento de tal manera que las profundidades no se traslapen unas con otras. La disposición de archivos de la imagen de disco generada de esta manera se establece para obtener la estructura de datos de la disposición de archivos que ya se ha descrito. La imagen de disco generada se convierte en los datos para prensa de BD-ROM, y el proceso de prensa se lleva a cabo en los datos. El BD-ROM se produce de esta manera.
(Realización 6)
La presente realización describe la estructura interna de un dispositivo de reproducción de 2D / 3D que tiene integradas funciones de los dispositivos de reproducción que se han descrito en las realizaciones y ejemplos hasta el momento.
La figura 67 muestra la estructura de un dispositivo de reproducción de 2D / 3D. El dispositivo de reproducción de 2D / 3D incluye una unidad de BD-ROM 1, una memoria de almacenamiento temporal de lectura 2a, una memoria de almacenamiento temporal de lectura 2b, un conmutador 3, un descodificador de objetivos de sistema 4, un conjunto de memorias de plano 5a, una unidad de superposición de planos 5b, una unidad de transmisión / recepción de HDMI 6, una unidad de control de reproducción 7, una memoria de información de gestión 9, un conjunto de registros 10, una unidad de ejecución de programas 11, una memoria de programas 12, un módulo de HDMV 13, una plataforma de BD-J 14, un soporte lógico intermedio 15, un módulo de gestión de modos 16, una unidad de procesamiento de eventos de usuario 17, un almacenamiento local 18 y una memoria no volátil 19.
La unidad de BD-ROM 1, al igual que un dispositivo de reproducción de 2D, lee datos de un disco BD-ROM sobre la base de una solicitud proveniente de la unidad de control de reproducción 7. Clips de AV leídos del disco BD-ROM se transfieren a la memoria de almacenamiento temporal de lectura 2a o 2b.
Cuando una imagen de 3D va a reproducirse, la unidad de control de reproducción 7 envía una solicitud de lectura que indica que se lea el bloque de datos de vista base y el bloque de datos de vista dependiente de manera alterna en unidades de Extensiones. La unidad de BD-ROM 1 lee las Extensiones que constituyen el bloque de datos de vista base en la memoria de almacenamiento temporal de lectura 2a, y lee las Extensiones que constituyen el bloque de datos de vista dependiente en la memoria de almacenamiento temporal de lectura 2b. Cuando se va a reproducir una imagen de 3D, la unidad de BD-ROM 1 ha de tener una velocidad de lectura más alta que la unidad de BD-ROM para un dispositivo de reproducción de 2D, debido a que es necesario leer tanto el bloque de datos de vista base como el bloque de datos de vista dependiente de manera simultánea.
La memoria de almacenamiento temporal de lectura 2a es una memoria que puede lograrse, por ejemplo, por una memoria de doble puerto y almacena los datos de los bloques de datos de vista base leídos por la unidad de BD-ROM 1.
La memoria de almacenamiento temporal de lectura 2b es una memoria que puede lograrse, por ejemplo, por una memoria de doble puerto, y almacena los datos de los bloques de datos de vista dependiente leídos por la unidad de BD-ROM 1.
El conmutador 5 se usa para cambiar el origen de datos que se introducirán en las memorias de almacenamiento temporal de lectura, entre la unidad de BD-ROM 1 y el almacenamiento local 18.
El descodificador de objetivos de sistema 4 descodifica los flujos al llevar a cabo el proceso de desmultiplexión en los paquetes de origen leídos en la memoria de almacenamiento temporal de lectura 2a y la memoria de almacenamiento temporal de lectura 2b.
El conjunto de memorias de plano 5a está compuesto por una pluralidad de memorias de planos. Las memorias de planos incluyen aquellas para almacenar un plano de vídeo de vista izquierda, un plano de vídeo de vista derecha, un plano de vídeo secundario, un plano de gráficos interactivos (plano de GI), y un plano de gráficos de presentación (plano de PG).
La unidad de superposición de planos 5b lleva a cabo la superposición de planos explicada por las realizaciones y ejemplos hasta el momento. Cuando la imagen va a enviarse a la televisión o similar, la salida es conforme al sistema 3D. Cuando es necesario reproducir la imagen de vista izquierda y la imagen de vista derecha de manera alterna usando las gafas obturadoras, la imagen se envía tal cual. Cuando la imagen va a enviarse a, por ejemplo, la televisión lenticular, se prepara una memoria de almacenamiento temporal, la imagen de vista izquierda es primero transferida a la memoria de almacenamiento temporal, y la imagen de vista izquierda y la imagen de vista derecha se envían de manera simultánea después de que se transfiere la imagen de vista derecha.
La unidad de transmisión / recepción de HDMI 6 ejecuta la fase de autenticación y la fase de negociación descritas en la realización 1 de acuerdo con, por ejemplo, la norma HDMI, donde HDMI quiere decir Interfaz Multimedia de Alta Definición. En la fase de negociación, la unidad de transmisión / recepción de HDMI 6 puede recibir, de la televisión, (i) información que indique si soporta o no una presentación visual estereoscópica, (ii) información que haga referencia a la resolución para una presentación visual monoscópica, y (iii) información que haga referencia a la resolución para una presentación visual estereoscópica.
La unidad de control de reproducción 7 incluye un motor de reproducción 7a y un motor de control de reproducción 7b. Cuando se le indica desde la unidad de ejecución de programas 11 o similar que reproduzca una lista de reproducción de 3D, la unidad de control de reproducción 7 identifica un bloque de datos de vista base de un elemento de reproducción que es el objetivo de la reproducción entre la lista de reproducción de 3D, e identifica un bloque de datos de vista dependiente de un sub-elemento de reproducción en la sub-trayectoria 3D que ha de reproducirse en sincronización con el elemento de reproducción. Después de esto, la unidad de control de reproducción 7 interpreta la correlación de entradas del archivo de información de clips correspondiente, y solicita a la unidad de BD-ROM 1 leer de manera alterna la Extensión del bloque de datos de vista base y la Extensión del bloque de datos de vista dependiente, comenzando con el punto de partida de reproducción, sobre la base del tipo de inicio de Extensión que indica cuál de una Extensión que constituye el flujo de vídeo de vista base y una Extensión que constituye el flujo de vídeo de vista dependiente se dispone primero. Cuando se inicia la reproducción, la primera Extensión se lee en la memoria de almacenamiento temporal de lectura 2a o la memoria de almacenamiento temporal de lectura 2b, completamente y, a continuación, la transferencia de la memoria de almacenamiento temporal de lectura 2a y la memoria de almacenamiento temporal de lectura 2b al descodificador de objetivos de sistema 4 se inicia.
El motor de reproducción 7a ejecuta funciones de reproducción de AV. Las funciones de reproducción de AV en el dispositivo de reproducción son un grupo de funciones tradicionales producidas de reproductores de CD y DVD. Las funciones de reproducción de AV incluyen: Reproducir, Detener, Pausa, Quitar Pausa, Quitar Toma Fija, Reproducción Hacia Adelante (con especificación de la velocidad de reproducción por un valor inmediato), Reproducción Hacia Atrás (con especificación de la velocidad de reproducción por un valor inmediato), Cambio de Audio, Cambio de Datos de Imagen para Vídeo Secundario y Cambio de Ángulo.
El motor de control de reproducción 7b lleva a cabo funciones de reproducción de listas de reproducción. Las funciones de reproducción de listas de reproducción significan que, entre las funciones de reproducción de AV que se han descrito en lo que antecede, las funciones de Reproducir y Detener se llevan a cabo de acuerdo con la información de listas de reproducción actual y la información de clips actual, donde la información de listas de reproducción actual constituye la lista de reproducción actual.
La memoria de información de gestión 9 es una memoria para almacenar la información de listas de reproducción actual y la información de clips actual. La información de listas de reproducción actual es un fragmento de información de listas de reproducción que es actualmente un objetivo del procesamiento, entre una pluralidad de fragmentos de información de listas de reproducción a las que puede accederse desde el BD-ROM, unidad de medio integrada o unidad de medio amovible. La información de clips actual es un fragmento de información de clips que es actualmente un objetivo del procesamiento, entre una pluralidad de fragmentos de información de clips a las que puede accederse desde el BD-ROM, unidad de medio integrada o unidad de medio amovible.
El conjunto de registros 10 es un conjunto de registros de estado / ajuste de reproductor que es un conjunto de registros que incluye un registro de propósitos generales para almacenar información arbitraria que se va a usar por contenidos, así como el registro de estado de reproducción y el registro de ajustes de reproducción que se han descrito en las realizaciones y ejemplos hasta el momento.
La unidad de ejecución de programas 11 es un procesador para ejecutar un programa almacenado en un archivo de programa de BD. Operando de acuerdo con el programa almacenado, la unidad de ejecución de programas 11 lleva a cabo los siguientes controles: (1) indica a la unidad de control de reproducción 7 que reproduzca una lista de reproducción y (2) transfiere, al descodificador de objetivos de sistema, PNG / JPEG que representa un menú o gráficos para un juego de tal manera que se represente visualmente en la pantalla. Estos controles pueden llevarse a cabo libremente de acuerdo con la construcción del programa, y cómo los controles se llevan a cabo se determina por el proceso de programación de la aplicación de BD-J en el proceso de creación.
La memoria de programas 12 almacena un escenario dinámico actual que se proporciona al intérprete de comandos que es un operador en el modo de HDMV, y a la plataforma de Java™ que es un operador en el modo de BD-J. El escenario dinámico actual es un objetivo de ejecución actual que es uno de Index.bdmv, objeto de BD-J y objeto de película grabado en el BD-ROM. La memoria de programas 12 incluye una memoria de pila.
La memoria de pila es una región de pila para almacenar códigos de byte de la aplicación de sistema, códigos de byte para la aplicación de BD-J, parámetros de sistema usados por la aplicación de sistema y parámetros de aplicación usados por la aplicación de BD-J. El módulo de HDMV 13 es un reproductor virtual de DVD que es un operador en el modo de HDMV, y es un ejecutor en el modo de HDMV. El módulo de HDMV 13 tiene un intérprete de comandos, y lleva a cabo el control en el modo de HDMV al interpretar y ejecutar el comando de navegación que constituye el objeto de película. El comando de navegación se describe en una sintaxis que simula una sintaxis usada en el DVD-vídeo. En consecuencia, es posible lograr un control de reproducción tipo DVD-vídeo al ejecutar el comando de navegación.
La plataforma de BD-J 14 es una plataforma de Java™ que es un operador en el modo de BD-J, y se implementa completamente con Java2Micro_Edition (J2ME) Personal Basis Profile (PBP 1.0), y la especificación MHP -Globalmente Ejecutable (GEMI 0.2) para objetivos de medios de paquetes. La plataforma de BD-J 14 está compuesta por un cargador de clase, un intérprete de códigos de byte y un gestor de aplicaciones.
El cargador de clase es una de las aplicaciones de sistema, y carga una aplicación de BD-J al leer códigos de byte del archivo de clases que exista en el archivo de carpetas JAR, y almacena los códigos de byte en la memoria de pila.
El intérprete de códigos de byte es lo que se llama una máquina virtual Java™. El intérprete de códigos de byte convierte (i) los códigos de byte que constituyen la aplicación de BD-J almacenada en la memoria de pila y (ii) los códigos de byte que constituyen la aplicación de sistema, en códigos nativos, y da lugar a que la MPU ejecute los códigos nativos.
El gestor de aplicaciones es uno de aplicaciones de sistema, y lleva a cabo señalización de aplicaciones para la aplicación de BD-J sobre la base de la tabla de gestión de aplicaciones en el objeto de BD-J, tal como inicio o conclusión de una aplicación de BD-J. Esto completa la estructura interna de la plataforma de BD-J.
El soporte lógico intermedio 15 es un sistema operativo para el soporte lógico integrado, y está compuesto por un núcleo y un controlador de dispositivo. El núcleo proporciona a la aplicación de BD-J una función única para el dispositivo de reproducción, en respuesta a una invocación para la Interfaz de Programación de Aplicaciones (API) desde la aplicación de BD-J. El soporte lógico intermedio 15 logra también el control del soporte físico, tal como inicio del manejador de interrupción al enviar una señal de interrupción.
El módulo de gestión de modos 16 contiene Index.bdmv que se leyó del BD-ROM, unidad de medio integrada o unidad de medio amovible, y lleva a cabo una gestión de modo y un control de ramificación. La gestión por la gestión de modo es una asignación de módulo para dar lugar a que, ya sea la plataforma de BD-J o el módulo de HDMV, ejecute el escenario dinámico.
La unidad de procesamientos de eventos de usuario 17 recibe una operación de usuario por medio de un control remoto, y da lugar a que la unidad de ejecución de programas 11 o la unidad de control de reproducción 7 lleve a cabo un proceso como el indicado por la operación de usuario recibida. Por ejemplo, cuando el usuario oprime un botón en el control remoto, la unidad de procesamiento de eventos de usuario 17 indica a la unidad de ejecución de programas 11 que ejecute un comando incluido en el botón. Por ejemplo, cuando el usuario oprime un botón de avance rápido / rebobinado en el control remoto, la unidad de procesamiento de eventos de usuario 17 indica a la unidad de control de reproducción 7 que ejecute el proceso de avance rápido / rebobinado en el clip de AV de la lista de reproducción actualmente reproducida.
El almacenamiento local 18 incluye la unidad de medio integrada para acceder a un disco duro, y la unidad de medio amovible para acceder a una tarjeta de memoria de semiconductores, y almacena contenidos adicionales descargados, datos que serán usados por aplicaciones y otros datos. Un área para almacenar los contenidos adicionales se divide en tantas áreas pequeñas como BD-ROM. Asimismo, un área para almacenar datos usados por aplicaciones se divide en tantas áreas pequeñas como las aplicaciones.
La memoria no volátil 19 es un medio de grabación que es, por ejemplo, una memoria legible / grabable, y es un medio tal como una memoria flash o FeRAM que puede conservar los datos grabados incluso si no se suministra energía a la misma. La memoria no volátil 19 se usa para almacenar un respaldo del conjunto de registros 10.
En lo sucesivo se describirá la estructura interna del descodificador de objetivos de sistema 4 y el conjunto de memorias de planos 5a. La figura 68 muestra la estructura interna del descodificador de objetivos de sistema 4 y el conjunto de memorias de planos 5a. Tal como se muestra en la figura 65, el descodificador de objetivos de sistema 4 y el conjunto de memorias de planos 5a incluyen un contador ATC 21, un desempaquetador de origen 22, un filtro PID 23, un contador STC 24, un contador ATC 25, un desempaquetador de origen 26, un filtro PID 27, un descodificador de vídeo primario 31, un plano de vídeo de vista izquierda 32, un plano de vídeo de vista derecha 33, un descodificador de vídeo secundario 34, un plano de vídeo secundario 35, un descodificador de PG 36, un plano de PG 37, un descodificador de IG 38, un plano de IG 39, un descodificador de audio primario 40, un descodificador de audio secundario 41, un mezclador 42, un motor de renderización 43, un plano de GFX 44, y una memoria de renderización 45.
El descodificador de vídeo primario 31 descodifica el flujo de vídeo de vista izquierda, y escribe el resultado de descodificación, en particular, una trama de vídeo no comprimida, en el plano de vídeo de vista izquierda 32.
El plano de vídeo de vista izquierda 32 es una memoria de planos que puede almacenar datos de imagen con una resolución de, por ejemplo, 1920x2160 (1280x1440).
El plano de vídeo de vista derecha 33 es una memoria de planos que puede almacenar datos de imagen con una resolución de, por ejemplo, 1920x2160 (1280x1440).
El descodificador de vídeo secundario 34, que tiene la misma estructura que el plano de vídeo primario, lleva a cabo la descodificación de un flujo de vídeo secundario introducido, y escribe las imágenes resultantes en el plano de vídeo secundario de acuerdo con tiempos de presentación visual respectivos (PTS).
El plano de vídeo secundario 35 almacena datos de imagen para el vídeo secundario que se envía del descodificador de objetivos de sistema 4 como resultado de la descodificación del flujo de vídeo secundario.
El descodificador de PG 36 extrae y descodifica un flujo de gráficos de presentación de los paquetes de TS introducidos desde el desempaquetador de origen, y escribe los datos de gráficos no comprimidos resultantes en el plano de PG de acuerdo con los tiempos de presentación visual respectivos (PTS).
El plano de PG 37 almacena objetos de gráficos no comprimidos que se obtienen al descodificar el flujo de gráficos de presentación.
El descodificador de IG 38 extrae y descodifica un flujo de gráficos interactivos de los paquetes de TS introducidos del desempaquetador de origen, y escribe el objeto de gráficos no comprimido resultante en el plano de IG de acuerdo con los tiempos de presentación visual respectivos (PTS).
El plano de IG 39 almacena objeto de gráficos no comprimido que se obtiene al descodificar el flujo de gráficos interactivos.
El descodificador de audio 40 descodifica el flujo de audio primario.
El descodificador de audio secundario 41 descodifica el flujo de audio secundario.
El mezclador 42 mezcla el resultado de descodificación del descodificador de audio primario 40 con el resultado de descodificación del descodificador de audio secundario 41.
El motor de renderización 43, provisto con soporte lógico de infraestructura tal como Java2D u OPEN-GL, descodifica datos de JPEG / datos de PNG de acuerdo con una solicitud proveniente de la aplicación de BD-J. El motor de renderización 43 obtiene también una imagen o un artilugio, y lo escribe en el plano de IG o el plano de gráficos de fondo. Los datos de imagen obtenidos al descodificar los datos de JPEG se usan como el papel tapiz de la GUI, y se escriben en el plano de gráficos de fondo. Los datos de imagen obtenidos al descodificar los datos de PNG se escriben en el plano de IG que va a usarse para lograr una presentación visual de botón acompañada con animación. Estas imágenes y / o artilugios obtenidos al descodificar los datos de JPEG / PNG se usan por la aplicación de BD-J para presentar visualmente un menú para recibir la selección de un título, subtítulo o audio, o para constituir una parte de GUI para un juego que funcione en conjunto con una reproducción de flujo cuando el juego sea jugado. Las imágenes y / o artilugios también se usan para constituir una pantalla de navegación en un sitio WWW cuando la aplicación de BD-J acceda al sitio WWW.
El plano de GFX 44 es una memoria de planos en la cual datos de gráficos tales como JPEG o PNG se escriben después de que se descodifican.
La memoria de renderización 45 es una memoria en la cual los datos de JPEG y los datos de PNG que se descodificarán por el motor de renderización se leen. Un área caché se asigna a esta memoria de imágenes cuando la aplicación de BD-J ejecuta un modo de reproducción en vivo. El modo de reproducción en vivo se logra al combinar la pantalla de navegación en el sitio WWW con la reproducción de flujo por el BD-ROM. El área caché es una memoria caché para almacenar las pantallas de navegación actuales y precedentes en el modo de reproducción en vivo, y almacena datos de PNG no comprimidos o datos de JPEG no comprimidos que constituyen la pantalla de navegación.
Tal como se ha descrito en lo que antecede, de acuerdo con la presente realización, un medio de grabación que incluye las características descritas en las realizaciones y ejemplos hasta el momento como un todo puede lograrse como un BD-ROM, y un dispositivo de reproducción que incluya las características descritas en las realizaciones y ejemplos hasta el momento como un todo puede lograrse como un dispositivo de reproducción de BD-ROM.
(Ejemplo 7)
El presente ejemplo describe el conjunto de registros con detalle.
El conjunto de registros está compuesto por una pluralidad de registros de estados de reproductor y una pluralidad de registros de ajuste de reproductor. Cada uno de los registros de estados de reproductor y registros de ajustes de reproductor es un registro de 32 bits y se le asigna un número de registro de tal manera que un registro al que se acceda se identifique por el número de registro.
Las posiciones de bit de los bits (32 bits) que constituyen cada registro se representan como “b0” a “b31”. Entre estas, el bit “b31” representa el bit de más alto orden, y el bit “b0” representa el bit de más bajo orden. Entre los 32 bits, una secuencia de bits del bit “bx” al bit “by” se representa por [bx:by].
El valor de un intervalo de bits arbitrario [bx:by] en una secuencia de 32 bits almacenada en el registro de ajustes de reproductor / registro de estado de reproductor de cierto número de registro se trata como una variable ambiental (que también se denomina “parámetro de sistema” o “variable de reproductor”) que es una variable de un sistema de operación en el cual se ejecuta el programa. El programa que controla la reproducción puede obtener un parámetro de sistema por medio de la propiedad de sistema o la interfaz de programación de aplicaciones (API, application programming interface). Asimismo, a menos que se especifique lo contrario, el programa puede reescribir los valores del registro de ajustes de reproductor y el registro de estados de reproductor. Con respecto a la aplicación de BD-J, se requiere que la autoridad para obtener o reescribir parámetros de sistema sea concedida por la tabla de gestión de permisos en la carpeta de archivos JAR.
El registro de estados de reproductor es un recurso de soporte físico para almacenar valores que vayan a usarse como operandos cuando la MPU del dispositivo de reproducción lleve a cabo una operación aritmética o una operación de bits. El registro de estados de reproductor es también reiniciado a valores iniciales cuando un disco óptico se carga, y la validez de los valores almacenados es verificada. Los valores que pueden almacenarse en el registro de estados de reproducción son el número de título actual, número de lista de reproducción actual, número de elemento de reproducción actual, número de flujo actual, número de capítulo actual y así sucesivamente. Los valores almacenados en el registro de estados de reproductor son valores temporales debido a que el registro de estados de reproductor se reinicia a valores iniciales cada vez que un disco óptico se carga. Los valores almacenados en el registro de estados de reproductor se vuelven no válidos cuando el disco óptico es expulsado, o cuando el dispositivo de reproducción está inactivo.
El registro de ajustes de reproductor difiere del registro de estados de reproductor en que está provisto con medidas de manejo de energía. Con las medidas de manejo de energía, los valores almacenados en el registro de ajustes de reproductor se guardan en una memoria no volátil cuando el dispositivo de reproducción está inactivo, y los valores se restablecen cuando el dispositivo de reproducción está activo. Los valores que pueden establecerse en el registro de ajustes de reproductor incluyen: varias configuraciones del dispositivo de reproducción que se determinan por el fabricante del dispositivo de reproducción cuando el dispositivo de reproducción es transportado; varias configuraciones que se establecen por el usuario de acuerdo con el procedimiento de ajuste; y capacidades de un dispositivo asociado que se detecten a través de la negociación con el dispositivo asociado cuando el dispositivo sea conectado al dispositivo asociado.
La figura 69 muestra las estructuras internas del conjunto de registros 10 y el motor de control de reproducción 7b.
El lado izquierdo de la figura 69 muestra las estructuras internas del conjunto de registros 10, y el lado derecho muestra las estructuras internas del motor de control de reproducción 7b.
En lo sucesivo se describen los registros de estados de reproductor y los registros de ajustes de reproductor asignados con números de registros respectivos.
PSR1 es un registro de números de flujo para el flujo de audio, y almacena un número de flujo de audio actual.
PSR2 es un registro de números de flujo para el flujo de PG, y almacena un número de flujos de PG actual.
PSR4 se establece a un valor en la escala de “1” a “100” para indicar un número de título actual.
PSR5 se establece a un valor en la escala de “1” a “999” para indicar un número de capítulo actual; y se establece a un valor “0xFFFF” para indicar que el número de capítulo es no válido en el dispositivo de reproducción.
PSR6 se establece a un valor en la escala de “0” a “999” para indicar un número de listas de reproducción actual.
PSR7 se establece a un valor en la escala de “0” a “255” para indicar un número de elementos de reproducción actual.
PSR8 se establece a un valor en la escala de “0” a “0xFFFFFFFF” para indicar un punto de tiempo de reproducción actual (PTM actual) con la precisión de tiempo de 45 KHz.
PSR10 es un registro de números de flujo para el flujo de IG, y almacena un número de flujos de IG.
PSR21 indica si el usuario intenta o no llevar a cabo la reproducción estereoscópica.
PSR22 indica un valor de modo de salida.
PSR23 se usa para el establecimiento de “Capacidad de Presentación visual para Vídeo”. Esto indica si un dispositivo de presentación visual conectado al dispositivo de reproducción tiene o no la capacidad de llevar a cabo la reproducción estereoscópica.
PSR24 se usa para el establecimiento de “Capacidad de Reproductor para 3D”. Esto indica si el dispositivo de reproducción tiene una capacidad de llevar a cabo la reproducción estereoscópica.
Por otro lado, el motor de control de reproducción 7b incluye una unidad de ejecución de procedimientos 8 para determinar el modo de salida de la lista de reproducción actual de manera única haciendo referencia a los PSR4, PSR6, PSR21, PSR23 y PSR24, y la tabla de selección de flujos de la información de listas de reproducción actual en la memoria de información de gestión 9. La “Capacidad de Reproductor para 3D” almacenada en PSR24 significa la capacidad del dispositivo de reproducción con respecto a la reproducción de 3D como un todo. De este modo se puede indicar simplemente como “capacidad 3D”.
PSR23 define el modo de salida, y el modelo de selección de la transición de estado se define tal como se muestra en la figura 70.
La figura 70 muestra la transición de estado del modelo de selección del modo de salida. Existen dos estados generales en este modelo de selección. Los dos estados generales se representan por “no válido” y “válido” en los óvalos. El “no válido” indica que el modo de salida es no válido, y el “válido” indica que el modo de salida es válido.
El estado general se mantiene a menos que tenga lugar una transición de estados. La transición de estados se produce por un inicio de reproducción de listas de reproducción, un comando de navegación, un cambio de modo de salida solicitado por una aplicación de BD-J, o un salto a un título de BD-J. Cuando tiene lugar una transición de estados, se ejecuta un procedimiento para obtener un modo de salida preferible.
Las flechas jm1, jm2, jm3,... que se muestran en la figura 31 representan eventos que desencadenan transiciones de estado. Las transiciones de estado en la figura 31 incluyen las siguientes.
El “Cargar un disco” significa un estado en el cual el BD-ROM se ha cargado.
El “Iniciar presentación” significa “empezar la reproducción de listas de reproducción” en el modo de HDMV. En el modo de BD-J, significa ramificarse a un título de BD-J. Esto se debe a que, en el modo de BD-J, la ramificación a un título de BD-J no necesariamente significa que una lista de reproducción empiece a reproducirse.
El “Salto a título de BD-J” significa ramificarse un título de BD-J. De manera más específica, indica que un título (título de BD-J), el cual está asociado con una aplicación de BD-J en la tabla de índices, se vuelve un título actual.
El “Iniciar Reproducción de Listas de Reproducción” significa que un número de lista de reproducción que identifica una lista de reproducción se establece en un PSR, y la información de listas de reproducción se lee en la memoria como la información de listas de reproducción actual.
El “Cambio de Modo de Salida” significa que el modo de salida se cambia cuando la aplicación de BD-J invoca la API.
El “Terminar Presentación”, en el modo de HDMV, significa que una reproducción de una lista de reproducción se completa; y en el modo de BD-J, significa que un título de BD-J salta a un título (título de HDMV) que está asociado con un objeto de película en la tabla de índices.
Cuando se carga un disco, el estado del modo de salida transita a un estado temporal “inicialización”. Después de esto, el estado del modo de salida transita al estado no válido.
El estado de selección de modo de salida se mantiene como “no válido” hasta que el inicio de reproducción (Empezar Presentación) se haga activo. El “Empezar Presentación”, en el modo de HDMV, significa que una lista de reproducción se ha empezado a reproducir; y en el modo de BD-J, significa que un título de BD-J ha empezado a reproducirse, y alguna operación de una aplicación de BD-J se ha iniciado. No necesariamente significa que se ha empezado a reproducir una lista de reproducción.
Cuando Iniciar Presentación se activa, el estado del modo de salida transita a un estado temporal “Procedimiento cuando se cambia la condición de reproducción”.
El modo de salida transita a “Válido” dependiendo del resultado de “Procedimiento cuando condición de reproducción se cambia”. El modo de salida transita a “No válido” cuando el modo de salida es efectivo y Empezar Presentación se completa.
El comando de navegación en el objeto de película ha de ejecutarse antes de que una lista de reproducción empiece a reproducirse debido a que el proveedor de contenido establece un modo de salida preferible con el comando. Cuando el comando de navegación en el objeto de película se ejecuta, el estado transita a “No válido” en este modelo.
La figura 71 es un diagrama de flujo que muestra el procedimiento para el proceso de inicialización.
En la etapa S501, se evalúa si una aplicación de BD-J no unida a disco está o no ejecutándose. En la etapa S502, se evalúa si la información de capacidad de presentación visual estereoscópica en PSR23 indica o no “hay capacidad” y la información de initial_output_mode en Index.bdmv indica el “modo de salida estereoscópica”.
Cuando se evalúa como Sí en la etapa S501, la salida actual se mantiene en la etapa S503. Cuando se evalúa como No en la etapa S I y Sí en la etapa S502, el modo de salida en PSR22 se establece en el modo de salida estereoscópico en la etapa S504. Cuando se evalúa como No en la etapa S501 y NO en la etapa S502, el modo de salida en PSR22 se establece en el modo de salida de 2D en la etapa S505.
La figura 72 muestra el “Procedimiento cuando se cambia la condición de reproducción”. En la etapa S511, se evalúa si el modo de salida en PSR22 es o no el modo de salida de 2D. En la etapa S513, se evalúa si la información de capacidad de presentación visual estereoscópica en PSR23 indica o no “1” y la tabla de selección de flujo de extensión existe en la lista de reproducción.
Cuando se evalúa como Sí en la etapa S511, el modo de salida actual no se cambia en la etapa S512. Cuando se evalúa como No en la etapa S512 y Sí en la etapa S513, el modo de salida actual no se cambia (etapa S512). Cuando se evalúa como No en la etapa S511 y No en la etapa S513, el modo de salida actual se establece en el modo de salida de 2D (etapa S514).
Lo que se ha de tener en cuenta cuando una lista de reproducción empieza a reproducirse es que flujos PES que pueden reproducirse en elementos de reproducción respectivos se definen en las tablas de selección de flujo de los elementos de reproducción respectivos. Por esta razón, cuando el elemento de reproducción actual empieza a reproducirse, en primer lugar, es necesario seleccionar un óptimo para una reproducción de entre flujos PES que se les permite que se reproduzcan en la tabla de selección de flujos del elemento de reproducción actual. El procedimiento para esta selección se denomina “procedimiento de selección de flujo”.
En lo sucesivo se describe la asignación de bits en el registro de ajustes de reproductor para lograr el modo de reproducción de 3D. Los registros que van a usarse para lograr el modo de reproducción de 3D son PSR21, PSR22, PSR23 y PSR24. Las figuras 73A a 73D muestran la asignación de bits en el registro de ajustes de reproductor para lograr el modo de reproducción de 3D.
La figura 73A muestra la asignación de bits en PSR21. En el ejemplo que se muestra en la figura 73A, el bit de más bajo orden “b0” representa la preferencia de modo de salida. Cuando el bit “0” se establece en “0b”, indica el modo de salida de 2D, y cuando el bit “b0” se establece en “1b”, indica el modo de salida estereoscópica. El comando de navegación o la aplicación de BD-J no puede reescribir el valor establecido en PSR21.
La figura 73B muestra la asignación de bits en PSR22.
El bit de orden más bajo “b0” en PSR22 representa el modo de salida actual. Cuando el modo de salida se cambia, la salida de vídeo del dispositivo de reproducción ha de cambiarse en correspondencia con esto el valor del modo de salida es controlado por el modelo de selección.
La figura 73C muestra la asignación de bits en PSR23. Tal como se muestra en la figura 73C, el bit de más bajo orden “b0” en PSR23 representa la capacidad de presentación visual estereoscópica del sistema de TV conectado. De manera más específica, cuando el bit “b0” se establece en “0b”, indica que el sistema de TV conectado es “no capaz de presentación estereoscópica”; y cuando el bit “b0” se establece en “1b”, indica que el sistema de TV conectado es “capaz de presentación estereoscópica”.
Estos valores se establecen de manera automática antes de que se inicie una reproducción, cuando el dispositivo de reproducción soporta una interfaz que negocia con el dispositivo de presentación visual. Cuando estos valores no se establecen de manera automática, serán establecidos por el usuario.
La figura 73D muestra la asignación de bits en PSR24. Tal como se muestra en la figura 73D, e bit de orden más bajo “b0” en PSR24 representa la capacidad de presentación visual estereoscópica del dispositivo de reproducción. De manera más específica, cuando el bit “b0” se establece en “0b”, indica que la presentación estereoscópica es no capaz; y cuando el bit “b0” se establece en “1b”, indica que la presentación estereoscópica es capaz.
Tal como se ha descrito en lo que antecede, de acuerdo con el presente ejemplo, la validez del modo de salida puede mantenerse incluso si se cambia el estado de la reproducción, o una solicitud de cambio entre flujos se recibe a partir del usuario.
(Ejemplo 8)
En la realización 1, información que define el control de desplazamiento se integra en los metadatos del flujo de vídeo de vista secundaria, mientras que en el presente ejemplo, se inserta una información de control que define el control de desplazamiento en los metadatos del flujo de gráficos, el control de desplazamiento que aplica los desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en el plano de gráficos y superpone los planos de gráficos resultantes con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria en los cuales se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria.
En lo sucesivo se describen parámetros para usarse en el control de desplazamiento y datos para interpolar los parámetros.
Las figuras 74A a 74E muestran relaciones entre las profundidades de los macrobloques y los parámetros para el control de desplazamiento.
Se supone en el presente caso que los datos de imagen que representan la imagen L y los datos de imagen que representan la imagen. R que se muestran en la figura 2 están constituidos a partir de los macrobloques que se muestran en la figura 74A y 74B, respectivamente. En estas figuras, cada recuadro rectangular representa un macrobloque. Entre los macrobloques que constituyen las imágenes L y R, los macrobloques con líneas diagonales constituyen el objeto tridimensional.
La figura 74C muestra el objeto tridimensional representado por las imágenes L y R, igual que el que se muestra en la figura 2. La figura 74D muestra el objeto tridimensional representado por los macrobloques que se muestran en las figuras 74A y 74B. Los macrobloques que se muestran en las figuras 74A y 74B tienen profundidades determinadas sobre la base de las correlaciones entre la imagen L y la imagen R. En consecuencia, cuando los macrobloques se disponen en la dirección de eje Z sobre la base de estas profundidades, los macrobloques aparecerán tal como se muestra en la figura 74D. Los macrobloques tienen profundidades de la cabeza, el cuerpo, las extremidades y la cola de un dinosaurio que es el objeto tridimensional. De este modo, las profundidades que van a usarse en el control de desplazamiento se definen tal como se muestra en la figura 74E. Es decir, las profundidades que van a usarse en el control de desplazamiento se obtienen al desviar las profundidades de los macrobloques correspondientes para la imagen estereoscópica, por a en la dirección del eje Z. De esta manera, las cuatro profundidades respectivas para presentar visualmente los gráficos inmediatamente antes de la cabeza, el cuerpo, las extremidades y la cola pueden definirse.
Las cuatro profundidades pueden definirse como cuatro secuencias de desplazamiento de tal forma que la profundidad de cualquiera de la cabeza, el cuerpo, las extremidades y la cola del dinosaurio puedan seleccionarse de manera adecuada para usarse como la profundidad de los gráficos presentados visualmente en el modo de “1 plano + desplazamiento”.
En el MPEG4-MVC, debido a que la codificación se lleva a cabo usando las correlaciones entre las imágenes L y R, vectores de movimiento de los macrobloques que constituyen la imagen L y de los macrobloques que constituyen la imagen R se generan. Con el uso de los vectores de movimiento, las profundidades de los macrobloques pueden ser detectadas, y a partir de las profundidades de los macrobloques, se pueden obtener parámetros de control de desplazamiento que se correspondan con los macrobloques respectivos.
La generación de los parámetros de control de desplazamiento se logra al ejecutar el procedimiento para definir la secuencia de desplazamiento en paralelo con la codificación del flujo de vídeo. La figura 75 es un diagrama de flujo que muestra el procedimiento para definir la secuencia de desplazamiento que se ejecuta en paralelo con la codificación del flujo de vídeo.
En la etapa S110, se evalúa si se ha iniciado o no la codificación del GOP. Cuando se evalúa en la etapa S110 que se ha iniciado la codificación de GOP, el control se mueve a la etapa S111 en la cual secuencias de desplazamiento que se corresponden con cada macrobloque que constituye el objeto en movimiento en la imagen de la unidad de acceso de vídeo de inicio se generan en el mensaje de SEI de anidación escalonable de MVC de la unidad de acceso de vídeo de inicio en el GOP. Esto se debe a que los parámetros de control para usarse en el modo de “1 plano + desplazamiento”, tales como la anchura de desplazamiento en la dirección de eje X y la anchura de desplazamiento en la dirección de eje Z, se generan en correspondencia con cada macrobloque que constituye los datos de imagen de la unidad de acceso de vídeo de inicio.
En la etapa S112, se evalúa si vectores de movimiento del objeto de movimiento en la pantalla se han calculado, o no, en unidades de macrobloques, donde esta evaluación se hace cada vez que las imágenes L y R que pertenecen al GOP se codifican. Cuando se evalúe que los vectores de movimiento se han calculado, la información de profundidad se calcula. En el presente ejemplo, la información de profundidad se calcula en un proceso simple de la etapa S113 en la cual el valor escalar horizontal del vector de movimiento de cada macrobloque se convierte en la anchura de desplazamiento, y un componente horizontal en la dirección de movimiento de cada macrobloque se convierte en la dirección de desplazamiento. En este proceso, se obtienen valores aproximados de la anchura de desplazamiento y dirección de desplazamiento para cada periodo de trama.
En la etapa S114, la cantidad de desviación se añade a la anchura de desplazamiento obtenido para cada macrobloque en el periodo de trama. Los valores escalares en la dirección horizontal, los cuales son el origen de la conversión, indican las profundidades del propio objeto tridimensional en las porciones que se corresponden con los macrobloques. De esta manera, el proceso de la etapa S114 se lleva a cabo para indicar las profundidades inmediatamente antes del objeto tridimensional como las anchuras de desplazamiento en el modo de “1 plano + desplazamiento”, al añadir la cantidad de desviación.
En la etapa S115, el bloque de desplazamiento y dirección de desplazamiento de cada macrobloque en el periodo de trama añadido con los valores de interpolación se escriben adicionalmente, como un nuevo Plane_offset_value y una Plane_offset_direction, en la secuencia de desplazamiento para cada macrobloque.
En la etapa S116, se evalúa si la codificación de GOP en el flujo de vídeo va a continuar o no. Cuando se evalúe que la codificación de GOP en el flujo de vídeo va a continuar, el control vuelve a la etapa S112. En la medida en la que se evalúa que la codificación de GOP en el flujo de vídeo va a continuar, Plane_offset_value y Plane_offset_direction continúan siendo añadidos a la secuencia de desplazamiento.
Cuando concluye la codificación de GOP, la generación de los metadatos de desplazamiento en la unidad de acceso de vídeo para el GOP concluye, y el control vuelve a la etapa S110.
Ha de observarse que cuando se realiza una filmación con el uso de una cámara de 3D o el flujo de vídeo de vista base y el flujo de vídeo de vista dependiente se codifican, la anchura de desplazamiento y dirección de desplazamiento de cada macrobloque pueden almacenarse como una base de datos para cada GOP, después la anchura de desplazamiento y dirección de desplazamiento pueden someterse a una conversión adecuada, y los resultados de la conversión pueden almacenarse en el mensaje de SEI de anidación escalonable de MVC en la unidad de acceso al principio del GOP. Esto hace posible definir una pluralidad de secuencias de desplazamiento que definen una pluralidad de profundidades. Ha de observarse que cuando la cámara de 3D está provista con el códec para el MPEG4-MVC, la definición que se ha descrito en lo que antecede de la secuencia de desplazamiento ha de ejecutarse por la cámara de 3D.
Esto completa la descripción de cómo los parámetros para el control de desplazamiento en el modo de “1 plano + desplazamiento” se generan. En lo sucesivo se describen parámetros de interpolación para interpolar los parámetros de control generados tal como se ha descrito en lo que antecede. Los parámetros de interpolación existen en los metadatos dentro del flujo de subtítulos.
Las figuras 76A y 76B muestran el segmento de definición de ventana y la información de control en el flujo de subtítulos.
El “segmento de definición de ventana” es un segmento funcional para definir el área rectangular en el plano de gráficos. Tal como se describió anteriormente, en la Época, la continuidad se genera en la gestión de memoria sólo cuando la limpieza y el redibujo se llevan a cabo en cierta área rectangular en el plano de gráficos. El área rectangular en el plano de gráficos se denomina “ventana”, y se define por el segmento de definición de ventana. La figura 76A muestra la estructura de datos del segmento de definición de ventana. Tal como se muestra en la figura 76A, el segmento de definición de ventana incluye: “window_id” que identifica de manera única una ventana en el plano de gráficos; “window_horizontal_position” que indica la posición horizontal de un píxel izquierdo superior en el plano de gráficos; “window_vertical_position” que indica la posición vertical del píxel izquierdo superior en el plano de gráficos; “window_width” que indica la anchura horizontal de la ventana en el plano de gráficos y “window_height” que indica la anchura vertical de la ventana en el plano de gráficos.
En lo sucesivo se explican los valores que pueden tomar los “window_horizontal_position”, “window_vertical_position”, “window_width” y “window_height”. El sistema de coordenadas en el cual estos valores se representan es un área interna del plano de gráficos. En el área interna del plano de gráficos, la ventana tiene un tamaño bidimensional de una longitud vertical “video_height” y una longitud horizontal “video_width”.
La “window_horizontal_position” es una dirección horizontal del píxel izquierdo superior en el plano de gráficos, y adopta un valor en la escala de “0” a “video_width -1”. La “window_vertical_position” es una dirección vertical del píxel izquierdo superior en el plano de gráficos, y adopta un valor en la escala de “0” a “video_height -1”.
El “window_width” es una anchura horizontal de la ventana en el plano de gráficos, y adopta un valor “0” a “video_width -window_horizontal_position -1”. La “window_height” es una anchura vertical del plano de gráficos, y adopta un valor en la escala de “0” a “video_height -window_vertical_position -1”.
Con las “window_horizontal_position”, “window_vertical_position”, “window_width” y “window_height” del segmento de definición de ventana, es posible definir, para cada Época, la ubicación de la ventana en el plano de gráficos y el tamaño de la ventana. Esto hace posible hacer un ajuste durante la creación al dar lugar, por ejemplo, a que la ventana aparezca por encima de una imagen que pertenezca a una Época de tal manera que una ventana no altere la presentación visual de la imagen mientras la imagen está siendo presentada visualmente. Esto hace fácil de ver la presentación visual del subtítulo de gráficos. Debido a que el segmento de definición de ventana puede definirse para cada Época, incluso si un patrón de imagen en la imagen cambia con el tiempo, los gráficos pueden hacerse fáciles de ver en correspondencia con el cambio. Como resultado de esto, es posible incrementar la calidad de la película al mismo nivel que el caso en el que el subtítulo está insertado en el cuerpo principal de la película.
La figura 76B muestra la estructura del PCS (Segmento de Composición de Presentación) con campos adicionales para el modo de “1 plano + desplazamiento”.
Tal como se muestra en la figura 76B, el PCS incluye “segment_type”, “segment_length”, “composition_number”, “composition_state”, “pallet_update_flag”, “pallet_id_ref”, “number_of_composition_object” y “composition_object(1)” a “composition_object(m)”.
El “composition_number” identifica la actualización de gráficos en el conjunto de presentación visual, por un número que varía de “0” a “65535”. Identifica la actualización de gráficos tal como sigue. El “composition_number” se establece para satisfacer la regla de que, cuando hay actualizaciones de gráficos entre el inicio de Época y el PCS actual, el “composition_number” se incrementa cada vez que una de las actualizaciones de gráficos es pasada.
El “composition_state” indica cuál de Caso Normal, Punto de Adquisición e Inicio de Época, es el Conjunto de Presentación visual comenzando con el presente PCS.
El “pallet_update_flag” indica si la Actualización de Presentación visual de Sólo Paleta se ha llevado a cabo en el PCS presente. Ha de observarse que la Actualización de Presentación visual Sólo de Paleta es una actualización que se hace al cambiar sólo la paleta previa por una nueva. Cuando se lleva a cabo una actualización en el presente PCS, el PCS presente se establece en “1”.
La “3d_graphics_offset_direction” y “3d_graphics_offset” que sigue a estos son metadatos en el flujo de gráficos.
La “3d_graphics_offset_direction” es un campo para establecer una dirección a la izquierda o a la derecha en la cual se vaya a hacer un desplazamiento por el Offset.
El “3d_graphics_offset” es un campo para establecer específicamente qué tanto del objetivo ha de moverse en la dirección a la izquierda o a la derecha.
La “pallet_id_ref” indica una paleta que va a usarse para la Actualización de Presentación visual Sólo de Paleta.
Los “composition_object(1)” a “composition_object(n)” son información que indica cómo controlar el Objeto que se presentará visualmente en el Conjunto de Presentación visual al cual pertenece el PCS presente. La línea delantera “col” indica un acercamiento de la estructura interna de un “composition_object(i)” arbitrario. Como lo indica la línea delantera “col”, el “composition_object(i)” incluye “object_id_ref”, “window_id_ref”, “object_cropped_flag”, “forced_on_flag”, “object_horizontal_position”, “object_vertical_position”, “cropping_rectangle information (1), (2), ...,
(n) “.
El “object_id_ref” indica un identificador de un ODS que se corresponde con el “composition_object(i)” y al que ha de hacerse referencia.
La “window_id_ref” indica una ventana que será asignada al objeto de gráficos. Hasta dos objetos de gráficos pueden asignarse a una ventana.
El “object_cropped_flag” es un indicador para cambiar entre presentación visual de un objeto de gráficos que se ha recortado en la memoria de almacenamiento temporal de objetos y presentar visualmente un objeto de gráficos no recortado. Cuando el “object_cropped_flag” está establecido en “1”, un objeto de gráficos que se haya recortado en la memoria de almacenamiento temporal de objetos se presenta visualmente; y cuando el “object_cropped_flag” se establece en “0”, se presenta visualmente un objeto de gráficos no recortado. El “forced_on_flag”, cuando está establecido en “1”, indica que el objeto de gráficos indica un subtítulo que va a presentarse visualmente de manera forzada incluso si el título se ha establecido en “inactivo” en el ajuste del reproductor.
La “object_horizontal_position” indica la posición horizontal del píxel izquierdo superior en el objeto de gráficos en el plano de gráficos.
La “object_vertical_position” indica la posición vertical del píxel izquierdo superior en el plano de gráficos.
La “cropping_rectangle information (1), (2), ..., (n)” son elementos de información que son válidos mientras el “object_cropped_flag” está establecido en “1”. La línea delantera “wd2” indica un acercamiento de la estructura interna de una “cropping_rectangle information (i)” arbitraria. Como lo indica la línea delantera “wd2”, la “cropping_rectangle information (i)” incluye “object_cropping_horizontal_position”, “object_cropping_vertical_address”, “object_cropping_width” y “object_cropping_height”.
La “object_cropping_horizontal_position” indica una posición horizontal de un píxel izquierdo superior en el rectángulo de recorte en el plano de gráficos. Ha de observarse que el rectángulo de recorte es un cuadro que se usa para recortar una parte del objeto de gráficos, y se corresponde con “Región” definida en la norma ETSI EN 300
743.
La “object_cropping_vertical_address” indica una posición vertical del píxel izquierdo superior en el rectángulo de recorte en el plano de gráficos.
El “object_cropping_width” indica una anchura horizontal del rectángulo de recorte en el plano de gráficos.
La “object_cropping_height” indica una anchura vertical del rectángulo de recorte en el plano de gráficos.
Esto completa la explicación de la estructura de datos del PCS.
La unidad del valor indicado en la “3D_graphics_offset” puede definirse como una cantidad de desplazamiento que se hace en una unidad de un píxel en la pantalla, o puede definirse como una cantidad de desplazamiento que se hace en una unidad de, por ejemplo, dos píxeles por motivos de reducción en el número de bits que van a usarse para definir el “3D_graphics_offset”.
Por ejemplo, la “3D_graphics_offset_direction” se puede estructurar como un campo de un bit de tal manera que cuando el campo esté establecido en “0”, el desplazamiento se aplique en la dirección en la cual el subtítulo emerja por delante de la presentación visual (en particular, antes de que el plano de gráficos sea superpuesto con el plano de vídeo de ojo izquierdo, el plano de gráficos se desplaza a la derecha por el desplazamiento), cuando el campo se establece en “1”, el desplazamiento se aplica en la dirección en la cual el subtítulo se aleja por detrás de la presentación visual en la dirección de profundidad. Asimismo, el “3D_graphics_offset” puede tener seis bits de tal manera que desplazamientos a la izquierda y a la derecha que serán aplicados al plano de gráficos para que sea superpuesto con el plano de vídeo puedan cada uno tener 64 píxeles (cuando el desplazamiento indique la cantidad de movimiento en unidad de un píxel).
En este caso, debido a que los desplazamientos a la izquierda y a la derecha, cada uno de 64 píxeles, no proporcionan un subtítulo de 3D (emergencia) suficiente, el valor de este campo se usa como un valor de interpolación para la secuencia de desplazamiento en el flujo de vista dependiente. De manera más específica, el desplazamiento indicado en el “composition_object” es un valor de interpolación que se usa en combinación con la secuencia de desplazamiento en el flujo de vista dependiente, e indica una cantidad de interpolación en apoyo del desplazamiento indicado por la secuencia de desplazamiento en el flujo de vista dependiente.
En lo sucesivo se explicará cómo se describe cada PCS. Las figuras 77A a 77C muestran ejemplos de descripciones en el segmento de definición de ventana y PCS que pertenece a un conjunto de presentación visual. La figura 77A muestra un ejemplo de descripción en el PCS en el DS1.
En la figura 77A, la “window_horizontal_position” y la “window_vertical_position” en el segmento de definición de ventana indican una coordenada de izquierda superior LP1 de la ventana en el plano de gráficos, y el “window_width” y la “window_height” indican las anchuras horizontal y vertical de la trama de presentación visual de la ventana.
En la figura 77A, la “object_cropping_horizontal_position” y la “object_cropping_vertical_position” en la información de recorte indican un punto convencional ST1 del intervalo de recorte en el sistema de coordenadas cuyo origen es una coordenada izquierda superior del objeto de gráficos en la memoria de almacenamiento temporal de objetos. Un intervalo de “object_cropping_width” y “object_cropping_height” a partir del punto convencional (el intervalo encerrado por un cuadro de línea gruesa en la figura) se denomina “intervalo de recorte”. El objeto de gráficos recortado se establece en un intervalo “cpl” encerrado por una línea de puntos cuyo punto convencional (un punto izquierdo superior) es la “object_horizontal_position” y la “object_vertical_position” en el sistema de coordenadas del plano de gráficos. Con esta disposición, “Actually” se escribe en la ventana en el plano de gráficos, y el subtítulo “Actually” se superpone con la imagen de vídeo y una imagen superpuesta resultante se presenta visualmente.
La figura 77B muestra un ejemplo de descripción en el PCS en el DS2. Las descripciones en el segmento de definición de ventana en la figura 77B son similares a las de la figura 77A, y la explicación de la misma se omite. Las descripciones en la información de recorte es diferente de la figura 77A. En la figura 77B, la “object_cropping_horizontal_position” y la “object_cropping_vertical_position” en la información de recorte indican una coordenada izquierda superior de “I was hiding” en el subtítulo “Actually, I was hiding my feelings” en la memoria de almacenamiento temporal de objetos. El “object_cropping_width” y “object_cropping_height” indican la anchura horizontal y la anchura vertical de “I was hiding”. Con esta disposición, “I was hiding” se escribe en la ventana en el plano de gráficos y el subtítulo “I was hiding” se superpone con la imagen de vídeo y una imagen superpuesta resultante se presenta visualmente.
La figura 77C muestra un ejemplo de descripción en el PCS en el DS3. Las descripciones en el segmento de definición de ventana en la figura 77B son similares a aquellas en la figura 77A, y su explicación se omite. Las descripciones en la información de recorte son diferentes de la figura 77A. En la figura 77C, la “object_cropping_horizontal_position” y la “object_cropping_vertical_position” en la información de recorte indican una coordenada izquierda superior de “my feelings” en el subtítulo “Actually, I was hiding my feelings” en la memoria de almacenamiento temporal de objetos. El “object_cropping_width” y “object_cropping_height” indican la anchura horizontal y la anchura vertical de “my feelings”. Con esta disposición, “my feelings” se escribe en la ventana en el plano de gráficos, y el subtítulo “my feelings” se superpone con la imagen de vídeo y una imagen superpuesta resultante se presenta visualmente.
De esta manera, un efecto de presentación visual predeterminado del subtítulo puede lograrse al describir los PCS en los DS1, DS2 y DS3 tal como se ha explicado en lo que antecede.
La figura 78 muestra cómo cambia el desplazamiento con el tiempo en el caso de que una interpolación se lleve a cabo usando “3d_graphics_offset” en “composition_object” y en el caso de que no se lleve a cabo interpolación alguna. La línea continua indica cómo cambia el desplazamiento con el tiempo en el caso en el que una interpolación se lleva a cabo usando “3d_graphics_offset” en “composition_object”, y la línea de puntos indica cómo cambia el desplazamiento con el tiempo en el caso en el que la interpolación usando “3d_graphics_offset” en “composition_object” no se lleva a cabo.
Puede haber un caso en el que haya dos áreas de dibujo en el plano de gráficos, y un área de dibujo se desee para presentar visualmente un texto hablado, deseada la otra para presentar visualmente un comentario del director de la película y se desea además que el comentario parezca haberse establecido más lejos del texto hablado de tal modo que el subtítulo tenga un efecto estereoscópico. En tal caso, es posible incrementar la profundidad del comentario al ajustar el valor de interpolación para la segunda área de dibujo.
El desplazamiento de planos se lleva a cabo en unidades de líneas. De esta manera se ha de aplicar una regla para prohibir una pluralidad de áreas de dibujo que sean definidas por línea, o para dar lugar a que desplazamientos de áreas de dibujo se establezcan al mismo valor cuando una pluralidad de dibujos se definan para una línea.
(Ejemplo 9)
El presente ejemplo se refiere a una mejora de que la información de desplazamiento de vídeo tiene valores de desplazamiento que se corresponden con áreas respectivas obtenidas al dividir la pantalla.
La figura 79 muestra una secuencia de desplazamiento compuesta por desplazamientos que se corresponden con áreas respectivas obtenidas al dividir la pantalla. El lado izquierdo de la figura 79 muestra una secuencia de desplazamiento compuesta por nueve desplazamientos. El lado derecho de la figura 79 muestra la correspondencia entre los desplazamientos que constituyen la secuencia de desplazamiento y las nueve áreas obtenidas al dividir la pantalla. Tal como se muestra en la figura 79, Offset_1 indica el valor de desplazamiento de un área izquierda superior, Offset_1 indica el valor de desplazamiento de un área izquierda superior, offset_2 indica el valor de desplazamiento de un área media izquierda, offset_3 indica el valor de desplazamiento de un área izquierda inferior, Offset_4 indica el valor de desplazamiento de un área media superior, offset_5 indica el valor de desplazamiento de un área central, Offset_6 indica el valor de desplazamiento de un área media inferior, offset_7 indica el valor de desplazamiento de un área derecha superior, offset_8 indica el valor de desplazamiento de un área media derecha y offset_9 indica el valor de desplazamiento de un área derecha inferior. Estos valores de desplazamiento se determinan sobre la base de la información de profundidad de cada trama de vídeo en el flujo de vídeo.
La figura 80 muestra la correspondencia entre las profundidades de objetos en la pantalla y los desplazamientos. El lado izquierdo de la figura 80 muestra un ejemplo de datos de imagen. El lado derecho de la figura 80 muestra los desplazamientos de las áreas respectivas que constituye la pantalla. En el lado izquierdo de la figura 80, se supone que el objeto elíptico parece estar por detrás de la pantalla, y el objeto triangular parece emerger por delante de la pantalla.
En este caso, Offset 1 que se corresponde con el área que contiene el objeto elíptico tiene un valor pequeño.
Los desplazamientos 5, 6, 8 y 9 que se corresponden con las áreas que mantienen el objeto triangular tienen valores grandes. De esta manera, la información de desplazamiento se genera sobre la base de las profundidades de los objetos incluidos en las escenas de cada trama.
En lo sucesivo se explicará el dispositivo de reproducción de 3D. La parte básica de la estructura del dispositivo de reproducción de 3D es igual a la estructura de los dispositivos de reproducción de 3D que se han explicado en las realizaciones y ejemplos hasta el momento. De esta manera, la explicación se centrará en la extensión o las porciones diferentes.
La figura 81 muestra el descodificador de vídeo, el plano de vista izquierda, el plano de vista derecha y el plano de PG / IG, entre los componentes del dispositivo de reproducción.
El descodificador de vídeo de 3D, con el mismo sincronismo que una trama de imagen descodificada se escribe en el plano de imagen de 2D / ojo izquierdo con el sincronismo de PTS, notifica a la unidad de superposición de planos de la información de desplazamiento de vídeo contenido en la trama.
Asimismo, el SPEM (25), entre los registros que almacenan variables de reproductor, almacena información que indica cuál de entre los nueve desplazamientos incluidos en la información de desplazamiento de vídeo son desplazamientos a partir de los cuales se toma el valor más grande para usarlo en el desplazamiento de planos. El SPEM (25) indica cuál de entre Offset_1, offset_2, offset_3, offset_4, Offset_5, Offset_6, offset_7, offset_8 y offset_9 tiene valores a partir de los cuales se toma el valor más grande.
El SPEM (25) se establece por un comando o API cuando el programa del archivo de programa de BD se ejecuta. El SPM (25) tiene, por ejemplo, información de 9 bits, cada uno de los nueve bits indica válido / no válido de cada valor de desplazamiento.
La unidad de superposición de planos determina, como el valor mediante el cual el plano va a desplazarse, el valor más grande del valor de desplazamiento sobre la base de la información de desplazamiento de vídeo transferida desde el descodificador de vídeo de 3D y sobre la base de los valores del SPRM(25). La unidad de superposición de planos lleva a cabo después la superposición con el plano almacenado en la memoria de planos al llevar a cabo el desplazamiento de planos y proceso de recorte.
En el ejemplo que se muestra en la figura 81, los desplazamientos tienen los siguientes valores: offset_1 = -3, Offset_2 = -3, Offset_3 = -1, Offset_4 = -2, Offset_5 = 3, Offset_6 = 5, Offset_7 = 1, Offset_8 = 4 y Offset_9 = 5. El SPRM(25) se establece para indicar qué Offset_1, offset_4 y offset_7 son válidos, y los valores más grandes de estos desplazamientos se usan en el desplazamiento de planos.
La unidad de desplazamiento determina el valor más grande (en el presente ejemplo, MAX (-3, -2, 1) = 1) entre los valores de Offset_1, offset_4 y offset_7 que se indican como válidos por el SPRM(25) en la información de desplazamiento de vídeo, y ejecuta el desplazamiento de planos y el proceso de recorte, y lleva a cabo la superposición con plano de imagen.
Con la estructura que se ha indicado en lo que antecede, es posible reducir el tamaño de la memoria provisto en el dispositivo de reproducción de 3D, al incluir la información de desplazamiento de vídeo en el flujo de vídeo.
<Aplicación de desplazamiento>
El SPEM (25) puede incluir no sólo la información que indique desplazamientos que tengan valores válidos entre los desplazamientos de las nueve áreas, sino también un valor de desplazamiento base. La unidad de superposición de planos, después de determinar el valor más grande entre los valores válidos de los desplazamientos, puede añadir el valor de desplazamiento base al valor más grande. Por ejemplo, cuando el valor más grande entre los valores válidos de los desplazamientos es “3” y el valor de desplazamiento base es “2”, el valor de desplazamiento usado en el desplazamiento de planos es “5” (3 + 2 = 5).
<Aplicación de ventana>
En el presente ejemplo, el SPRM(25) se usa para indicar desplazamientos válidos entre aquellos que se correspondan con las nueve áreas que constituyen la pantalla. Sin embargo, no limitado a esto, los desplazamientos válidos pueden determinarse sobre la base de un área rectangular de gráficos en el plano de gráficos.
La figura 82 muestra la correspondencia entre los contenidos del plano de gráficos y los desplazamientos.
Supóngase en el presente caso que la imagen de gráficos que se presentará visualmente sea la elipse que se muestra en la fila inferior de la figura 82. En este caso, los desplazamientos válidos son Offset_5, Offset_6, Offset_8 y Offset_9. Esto se aplica también al caso en el que una información, tal como los subtítulos, se reproduce de forma tridimensional, así como al caso en el que los gráficos tales como IG/PG se presentan visualmente.
<Posición de información de desplazamiento>
La información de desplazamiento de vídeo puede almacenarse sólo al principio de un GOP, no en cada trama contenida en el GOP. Asimismo, tantos fragmentos de información de desplazamiento de vídeo como tramas contenidas en el GOP pueden almacenarse al principio del GOP.
La información de desplazamiento de vídeo puede calcularse sobre la base de la diferencia entre los vectores de movimiento de las imágenes de ojo izquierdo y ojo derecho durante la codificación de vídeo.
<Modificaciones>
Cuando la información de desplazamiento de vídeo se calcula a partir de las profundidades de los objetos incluidos en las escenas de cada trama, las profundidades de los gráficos cambian en gran medida si las profundidades de la información de profundidad cambian en gran medida. A la vista de esto, los valores pueden establecerse al dar lugar a que los valores pasen a través de un filtro de paso bajo entre tramas.
<Aplicación de memoria de planos>
En el presente ejemplo, la información de desplazamiento de vídeo se establece para tener valores que se correspondan con las nueve áreas que constituyen la pantalla. Sin embargo, no limitado a esto, la información de desplazamiento de vídeo puede tener valores de desplazamiento para cada plano. En este caso, la unidad de superposición de planos cambia los valores de desplazamiento dependiendo del plano, y lleva a cabo el desplazamiento de planos y recorte.
<Posición de almacenamiento
En el presente ejemplo, los valores de desplazamiento se almacenan en el flujo de vídeo de 2D / ojo izquierdo. Sin embargo, no limitado a esto, los valores de desplazamiento pueden almacenarse en el flujo de vídeo de ojo derecho.
(Ejemplo 10)
En el presente ejemplo, se introduce el método de profundidad de 3D, así como el método de 3D-LR que logra el efecto de visión estereoscópica usando las imágenes L y R. En el método de profundidad de 3D, el efecto de visión estereoscópica se logra al usar la imagen de 2D y la información de profundidad.
El método de profundidad de 3D se logra al incorporar un generador de imágenes de paralaje en la última mitad del descodificador de vídeo, y en el método de profundidad de 3D, los datos de imagen de vista izquierda y los datos de imagen de vista derecha se generan a partir de (i) cada fragmento de datos de imagen en el flujo de vídeo y (ii) la información de profundidad de cada píxel que constituye los datos de imagen.
La información de profundidad puede hacerse de datos de imagen en la escala de grises (conocidos también como datos de imagen de información de profundidad) que representen la profundidad de píxeles por una escala de grises.
Las figuras 83A a 83D muestran un ejemplo del método de profundidad de 3D. La figura 83A muestra una imagen de 2D, y la figura 83B muestra una escala de grises generada para la imagen de 2D que se muestra en la figura 83A. La escala de grises se representa por píxeles que están compuestos sólo del elemento de brillo. Entre más brillantes sean los píxeles de la escala de grises (más blancos), menos profundos son; y entre más oscuros sean los píxeles en la escala de grises, son más profundos. Las figuras 83C y 83D muestran la imagen de ojo izquierdo y la imagen de ojo derecho que se generan con el uso de la escala de grises, respectivamente. La figura 84 muestra una imagen estereoscópica generada en el modo de profundidad de 3D. Tal como se muestra en la figura 84, al generar la imagen de ojo izquierdo y la imagen de ojo derecho para cada trama de imágenes de 2D, el usuario puede disfrutar la visión estereoscópica al ver la imagen de ojo izquierdo y la imagen de ojo derecho a través de la gafa.
En el método de profundidad de 3D, un flujo de vídeo que puede reproducirse de nuevo como una imagen de 2D se vuelve el flujo de vídeo de vista base; y un flujo de vídeo que está compuesto por datos de imagen en la escala de grises se vuelve el flujo de vídeo de vista dependiente.
El flujo de vídeo de vista base puede compartirse por el modo de profundidad de 3D y el modo de 3D-LR. Por lo tanto, es posible generar imágenes para el modo de profundidad de 3D e imágenes para el modo de 3D-LR al combinar el flujo de vídeo de vista base y un flujo de vídeo para el modo de profundidad de 3D o un flujo de vídeo para el modo de 3D-LR. La estructura de gestión de datos se estructura para soportar estas combinaciones de tal manera que el método de presentación visual se cambie de acuerdo con las propiedades del reproductor y el televisor conectado al mismo. Para lograr el modo de profundidad de 3D, el dispositivo de reproducción tiene que proveerse con soporte físico dedicado. Como resultado, se supone en la presente solicitud, excepto cuando se mencione lo contrario, que el medio de grabación y el dispositivo de reproducción no soportan el modo de profundidad de 3D.
Las figuras 85A y 85B muestran un ejemplo de la estructura del medio de grabación para lograr el modo de profundidad de 3D. La figura 85A muestra directorios y archivos para el modo de profundidad de 3D.
Los archivos de flujo que incluyen bloques de datos del flujo de vídeo de vista base para una reproducción de 3D se almacenan en el sub-directorio BASE el cual se crea bajo el directorio STREAM de tal manera que los archivos de flujo para una reproducción de 3D se distingan de los archivos de flujo para una reproducción de 2D.
Los archivos de flujo que incluyen bloques de datos del flujo de vídeo de vista dependiente del formato LR para una reproducción de 3D se almacenan en el subdirectorio LR el cual se crea bajo el directorio STREAM de tal manera que los archivos de flujo para una reproducción de 3D se distingan de los archivos de flujo para una reproducción de 2D.
Los archivos de flujo que incluyen bloques de datos del flujo de vídeo de vista base del formato de profundidad para una reproducción de 3D se almacenan en el subdirectorio DEPTH que se crea bajo el directorio STREAM de tal manera que los archivos de flujo para una reproducción de 3D se distingan de los archivos de flujo para una reproducción de 2D,
De manera similar, la información de gestión de flujos para gestionar archivos de flujo para una reproducción en el formato LR se almacena en el subdirectorio LR que se crea bajo el directorio CLIPINF de tal manera que la gestión para una reproducción de 3D se distinga de la gestión para una reproducción de 2D.
La información de gestión de flujos para gestionar archivos de flujo para una reproducción en el formato de profundidad se almacena en el subdirectorio DEPTH el cual se crea bajo el directorio CLIPINF de tal manera que la gestión para una reproducción de 3D se distinga de la gestión para una reproducción de 2D. La extensión también se cambia de acuerdo con el formato del archivo.
A un archivo de flujo que, por sí mismo únicamente, pueda lograr una reproducción, se asigna la misma extensión asignada al archivo de flujo correspondiente para una reproducción de 2D.
A un archivo de flujo, el cual no incluye un bloque de datos del flujo de vídeo de vista base, no puede lograr una reproducción (no puede descodificar el vídeo) por sí solo únicamente, y puede descodificar el vídeo sólo cuando se ejecute junto con un archivo de flujo que incluye un bloque de datos del flujo de vídeo de vista base, se asigna una extensión tal como “.3dts”, para la distinción.
A un archivo de flujo, en el cual bloques de datos del flujo de vídeo de vista base y el flujo de vídeo de vista dependiente están dispuestos de la manera intercalada y, de esta manera, no se puede lograr una reproducción si los contenidos del archivo se leen en secuencia a partir del inicio de los mismos, se asigna una extensión tal como “.ilts” (la cual quiere decir “TS intercalado”), para distinción.
La figura 85B muestra una sintaxis para escribir la tabla de selección de flujos de extensión para el soporte del modo de profundidad de 3D. En la sintaxis que se muestra en la figura 85B, un tipo “type = 4” se ha añadido a “stream_entry()”. Cuando el tipo se establece en “type = 4”, “ref_to_stream_PID_of_3DClip” que especifica un archivo para 3D es incluido.
“LR_dependent_view_ES_availability”, “LR_interleaved_file_availability”, “Depth_dependent_view_ES_availability” y “Depth_interleaved_file_availability” son indicadores para indicar que los archivos en el formato intercalado no son necesarios cuando el flujo de vídeo de vista dependiente usando “Out-of-MUX” se suministra.
El “3D_base_view_block()” es un bloque que existe sin fallos. Cuando va a hacerse referencia a diferentes Extensiones para 2D y 3D, este hace referencia a “STREAM/BASExxxxx.m2ts” por la entrada de flujo de “type = 4”.
Cuando va a hacerse referencia a la misma Extensión para 2D y 3D, este hace referencia a “STREAM/xxxxx.m2ts” por la entrada de flujo de “type = 1”.
Cuando “LR_dependent_view_ES_availability” se ha establecido en activo, especifica “STREAM/LR/xxxxx.3dts” al usar la entrada de flujo de “type = 4”. Cuando el archivo de intercalación LR se usa, se especifica “STREAM/LR/xxxxx.ilts”.
Cuando “Depth_dependent_view_ES_availability” se ha establecido en activo y va a hacerse referencia a diferentes Extensiones para 2D y 3D, especifica “STREAM/DEPTH/xxxxx.3dts” usando la entrada de flujo de “type = 4”. Cuando el archivo de intercalación de profundidad se usa, se especifica “STREAM/DEPTH/xxxxx.ilts”.
La figura 86 muestra la correspondencia entre el elemento de reproducción y los flujos. La primera columna del lado izquierdo de la figura 86 muestra el elemento de reproducción que incluye la tabla de selección de flujos de extensión escrita por la sintaxis de la figura 85B. La segunda columna adyacente a la primera columna muestra los flujos de transporte almacenados en los archivos de flujo que se muestran en la figura 85A. La tercera columna muestra varios tipos de dispositivos de reproducción. La cuarta columna muestra archivos de información de clips a los que se hace referencia por los dispositivos de reproducción.
El elemento de reproducción que se muestra en el lado izquierdo de la figura 86 incluye nombre de archivo de información de clip (Clip_filename), tabla de selección de flujos (STN_table) y tabla de selección de flujos de extensión (STN_table_extension) que se corresponden con el método de profundidad de 3D. Los recuadros pequeños incluidos en la tabla de selección de flujos y la tabla de selección de flujos de Extensión indican los tipos de las entradas de flujo de la información de registro de flujo en estas tablas. Tal como se muestra en la figura 86, la entrada de flujos en la tabla de selección de flujos es tipo 1 (type = 1).
Por el contrario, en la tabla de selección de flujos de extensión, las entradas de flujo de: el flujo de vídeo de vista base (flujo de vista base); el flujo de vídeo de vista dependiente en el formato de 3D-LR (flujo de vista dependiente LR); el flujo intercalado estereoscópico en el formato de 3D-LR (flujo intercalado LR); el flujo de vídeo de vista dependiente en el formato profundidad de 3D (flujo de vista dependiente de profundidad) y el flujo intercalado estereoscópico en el formato profundidad de 3D (flujo intercalado de profundidad) son cada uno tipo 4 (type = 4).
La fila superior de la segunda columna muestra la estructura interna del archivo” de flujos intercalados estereoscópicos (00001.ssif). Los signos “D”, “R”, “L” y “L2D” en los recuadros pequeños indican: Extensión del flujo de vídeo de vista base en el formato de profundidad; Extensión del flujo de vídeo de vista derecha; Extensión del flujo de vídeo de vista izquierda y Extensión para 2D entre Extensiones en el flujo de vídeo de vista izquierda, respectivamente.
Cuando va a hacerse referencia al archivo de flujo por un reproductor de 2D por trayectoria de reproducción de archivo STREAM/00001.m2ts del nombre de archivo de información de clip en la información de elementos de reproducción, se hace referencia a las Extensiones “L” y “L2D” entre las Extensiones que se han descrito en lo que antecede del archivo de flujo intercalado estereoscópico por el reproductor de 2D.
Cuando va a hacerse referencia al archivo de flujo por un reproductor de 3D en el modo de 3D-LR por la trayectoria de archivo STREAM/BASE/00001.m2ts a partir del nombre de archivo de información de clip en la información de elementos de reproducción, se hace referencia a las Extensiones “L” y “L3D” entre las Extensiones que se han descrito en lo que antecede del archivo de flujo intercalado estereoscópico por el reproductor de 3D.
Cuando va a hacerse referencia al archivo de flujo v por un reproductor de 3D en el modo de 3D-LR por la trayectoria de archivo STREAM/LR/00001.3dts a partir del nombre de archivo de información de clip en la información de elementos de reproducción, se hace referencia a las Extensiones “R”, “R” y “R” entre las Extensiones que se han descrito en lo que antecede del archivo de flujo intercalado estereoscópico por el reproductor de 3D.
Cuando va a hacerse referencia al archivo de flujo por un reproductor de 3D en el modo de 3D-LR por la trayectoria de archivo STREAM/LR/00001.ilts a partir del nombre de archivo de información de clip en la información de elementos de reproducción, se hace referencia a las Extensiones “R”, “L”, “R” y “L3D” entre las Extensiones que se han descrito en lo que antecede del archivo de flujo intercalado estereoscópico 1 por el reproductor de 3D.
Cuando va a hacerse referencia al archivo de flujo por un reproductor de 3D en el modo de profundidad de 3D por la trayectoria de archivo STREAM/DEPTH/00001.3dts a partir de un nombre de archivo de información de clip en la información de elementos de reproducción, se hace referencia a las Extensiones “D”, “D” y “D” entre las Extensiones que se han descrito en lo que antecede del archivo de flujo intercalado estereoscópico por el reproductor de 3D.
Cuando va a hacerse referencia al archivo de flujo por un reproductor de 3D en el modo de profundidad de 3D por la trayectoria de archivo STREAM/DEPTH/00001.ilts a partir del nombre de archivo de información de clip en la información de elementos de reproducción, se hace referencia a las Extensiones “D”, “L”, “D”, “L3D” y “L” entre las Extensiones que se han descrito en lo que antecede del archivo de flujo intercalado estereoscópico por el reproductor de 3D.
La cuarta columna de la figura 86 indica que se hace referencia a “CLIPINF/00001.clpi” por el reproductor de 2D, reproductores de 3D que llevan a cabo la reproducción de 3D-LR y reproductores de 3D que llevan a cabo la reproducción de profundidad; se hace referencia a “CLIPINF/LR/00001.clpi” por los reproductores de 3D que llevan a cabo la reproducción de 3D-LR y se hace referencia a “CLIPINF/DEPTH/00001.clpi” por los reproductores de 3D que llevan a cabo la reproducción de profundidad.
Tal como se ha descrito en lo que antecede, cuando la entrada de flujo es “type = 4”, archivos de flujo que se leerán se determinan sobre la base del tipo de reproducción de 3D (formato LR o formato de profundidad) y el formato de archivo es reportado por el reproductor (formato de archivo base / dependiente o formato de un solo archivo).
Cuando se logra el entrelazamiento entre los archivos de flujo de 2D y archivos de flujo de 3D de tal manera que pueda hacerse referencia a las mismas Extensiones para estos archivos, puede hacerse referencia a un archivo de flujo que sea igual al archivo de flujo de 2D al establecer la entrada de flujo del flujo de vista base a “type = 1”. Cuando la multiplicación en un flujo de transporte se logra, puede hacerse referencia a un archivo de flujo que sea igual al archivo de flujo de 2D al establecer las entradas de flujos del flujo de vista base y el flujo de vista dependiente en “type = 1”.
(Ejemplo 11)
El ejemplo 11 explica la estructura de datos para reducir el tamaño de la memoria de almacenamiento temporal que se usa cuando datos de vídeo para una reproducción se descodifican por el dispositivo de reproducción de 3D de la presente invención, y explica el dispositivo de reproducción de 3D.
Tal como se indicó en el ejemplo anterior, el descodificador de vídeo de 3D está provisto con: una Memoria de Almacenamiento Temporal Elemental EB(1) para almacenar la unidad de acceso de vídeo del flujo de vídeo de 2D / vista izquierda en el estado codificado; y una Memoria de Almacenamiento Temporal Elemental EB(2) para almacenar la unidad de acceso de vídeo del flujo de vídeo de vista derecha en el estado codificado.
Estas memorias de almacenamiento temporal se corresponden con la CPB en la norma MPEG-4 AVC, y el tamaño de almacenamiento temporal de las mismas se determina de acuerdo con una norma predeterminada. En general, el tamaño de la memoria de almacenamiento temporal se establece en proporción a la velocidad de bits. Es decir, entre mayor sea la velocidad de bits, más grande es el tamaño de la memoria de almacenamiento temporal necesario; y entre más pequeña sea la velocidad de bits, es más pequeño el tamaño de la memoria de almacenamiento temporal necesario. La velocidad de bits que se menciona en el presente caso significa una velocidad de transferencia en una transferencia de una MB a una EB, y se corresponde con el BitRate almacenado en el parámetro HRD, en la norma MPEG-4 AVC.
Por ejemplo, cuando una velocidad de bits del flujo de vídeo de 2D / vista izquierda es 40 Mbps, y el tamaño de memoria de almacenamiento temporal necesario para el mismo es 4 MB, el tamaño de memoria de almacenamiento temporal necesario para el flujo de bits codificado por el mismo método de codificación cuya velocidad de bits es 30 Mbps es 4 MB x 30 Mbps/ 40Mbps = 3 MB.
Ha de observarse en el presente caso que la velocidad de bits total del flujo de vídeo de vista izquierda / 2D y el flujo de vídeo de vista derecha se determina a partir de la velocidad de transferencia de la unidad o similar, y se establece como un valor fijo. En el presente ejemplo, se supone que la velocidad de bits total del flujo de vídeo es 60 Mbps.
En consecuencia, cuando la velocidad de bits total es 60 Mbps y la velocidad de bits del flujo de vídeo de vista izquierda / 2D es 40 Mbps, la velocidad de bits del flujo de vídeo de vista derecha es 20 Mbps; y cuando la velocidad de bits del flujo de vídeo de vista izquierda / 2D es 30 Mbps, la velocidad de bits del flujo de vídeo de vista derecha es 30 Mbps.
En el presente caso, con respecto al valor más grande de la velocidad de bits, la velocidad de bits más grande del flujo de vídeo de vista izquierda / 2D es 40 Mbps, y la velocidad de bits más grande del flujo de vídeo de vista derecha es 30 Mbps. De los valores más grandes de las velocidades de bits, los tamaños de las EB pueden definirse tal como sigue: El tamaño de EB(1) para el flujo de vídeo de vista izquierda / 2D es 4 MB x 40 Mbps / 40 Mbps = 4 MB; y el tamaño de EB(2) para el flujo de vídeo de vista derecha es 4 MB x 30 Mbps / 40 Mbps = 3 MB: Sobre la base de esta definición de los tamaños de almacenamiento temporal, se supondría que la reproducción del vídeo de 3D se garantiza si el dispositivo de reproducción de 3D está provisto con 4 MB + 3 MB = 7 MB o una memoria de almacenamiento temporal y cada flujo de vídeo se genera de tal manera que no tenga lugar un sub-desbordamiento
o un desbordamiento en el tamaño de almacenamiento temporal tal como se ha definido en lo que antecede.
Sin embargo, debido a que la velocidad de bits total del flujo de vídeo de vista izquierda / 2D y el flujo de vídeo de vista derecha 60 Mbps, no hay combinación de la velocidad de bits más grande del flujo de vídeo de vista izquierda / 2D = 40 Mbps y la velocidad de bits más grande del flujo de vídeo de vista derecha = 30 Mbps. Por esta razón, el tamaño de almacenamiento temporal de cada memoria de almacenamiento temporal se determina a partir de la velocidad de bits más grande de cada flujo de vídeo para el dispositivo de reproducción de 3D (4 MB + 3 MB), un tamaño de almacenamiento temporal más grande que el necesario se establece.
A la vista de este problema, en lo sucesivo se describe la estructura de datos que hace posible que el dispositivo de reproducción de 3D establezca los tamaños de memoria de almacenamiento temporal mínimos para la EB(1) y EB(2), y describe el dispositivo de reproducción de 3D.
En primer lugar, describirá la estructura de datos.
La parte básica de la estructura de datos es igual a la estructura de datos para almacenar el vídeo de 3D que se ha descrito en las realizaciones y ejemplos anteriores. De este modo, la siguiente descripción se centra en las partes extendidas o diferentes.
En la estructura de datos del presente ejemplo, el elemento de reproducción tiene además campos que indican los tamaños de la EB(1) y EB(2) tal como se muestra en la figura 87, que es la diferencia de las estructuras descritas anteriormente. La figura 87 muestra la información de elementos de reproducción que incluye información de tamaño de las memorias de almacenamiento temporal elementales.
El campo “EB(1) size” almacena información de tamaño de EB(1) necesario para descodificar el flujo de vídeo de vista izquierda / 2D al que se hace referencia desde un elemento de reproducción.
El campo “EB(2) size” almacena información de tamaño de EB(2) necesario para descodificar el flujo de vídeo de vista derecha que se reproducirá junto con el elemento de reproducción.
El tamaño total de EB(1) y EB(2) se determina a partir de la velocidad de bits total del flujo de vídeo de vista izquierda / 2D y el flujo de vídeo de vista derecha. Por ejemplo, cuando la velocidad de bits total del flujo de vídeo de vista izquierda / 2D y el flujo de vídeo de vista derecha es 60 Mbps, el tamaño total de EB(1) y EB(2) es 4 MB x 60 Mbps / 40 Mbps =6 MB.
Asimismo, el flujo de vídeo de vista izquierda / 2D al que se hará referencia a partir del elemento de reproducción se genera de tal manera que no tiene lugar un sub-desbordamiento o un desbordamiento con el tamaño de almacenamiento temporal definido en el campo “EB(1) size”, y el flujo de vídeo de vista derecha que se reproducirá junto con el elemento de reproducción se genera de tal manera que no tenga lugar un sub-desbordamiento o un desbordamiento con el tamaño de almacenamiento temporal definido en el campo “EB(2) size”.
En lo sucesivo se describirá el dispositivo de reproducción de 3D.
La parte básica del dispositivo de reproducción de 3D es igual a la del dispositivo de reproducción de 3D para reproducir el vídeo de 3D que se ha descrito en la realización y ejemplos anteriores. De esta manera, la siguiente descripción se centra en las partes extendidas o diferentes.
El dispositivo de reproducción de 3D en el presente ejemplo redimensiona las EB para la vista base y la vista dependiente (redimensiona áreas de memoria que serán asignadas) dependiendo del elemento de reproducción que se reproducirá, la cual es la diferencia de los dispositivos de reproducción de 3D descritos anteriormente.
La unidad de control de reproducción, antes de la reproducción del elemento de reproducción, obtiene los tamaños de EB(1) y EB(2) haciendo referencia al campo “EB(1) size” y al campo “EB(2) size” en el elemento de reproducción Nº 1, y notifica al descodificador de objetivos de sistema de los tamaños obtenidos. Después de recibir la notificación de los tamaños, el descodificador de objetivos de sistema redimensiona EB(1) y EB(2) del descodificador de vídeo de 3D. La unidad de control de reproducción empieza a reproducir el elemento de reproducción después de que se completa el redimensionamiento de EB(1) y EB(2).
Cuando el dispositivo de reproducción de 3D reproduce el elemento de reproducción Nº 1 como el vídeo de 3D, identifica (i) el flujo de vídeo de vista izquierda / 2D al que se hará referencia a partir del elemento de reproducción Nº 1 y (ii) el flujo de vídeo de vista derecha que se reproducirá junto con el elemento de reproducción Nº 1. El dispositivo de reproducción de 3D redimensiona EB(1) y EB(2) del descodificador de vídeo en el descodificador de objetivos de sistema, sobre la base del campo “EB(1) size” y el campo “EB(2) size” incluidos en el elemento de reproducción Nº 1. En el presente ejemplo, el dispositivo de reproducción de 3D redimensiona EB(1) y EB(2) a 4 MB y 2 MB, respectivamente, antes de empezar, a reproducir el flujo de vídeo. De manera similar, cuando el dispositivo de reproducción de 3D reproduce el elemento de reproducción Nº 2, redimensiona EB(1) y EB(2) del descodificador de vídeo en el descodificador de objetivos de sistema, sobre la base del campo “EB(1) size” y el campo “EB(2) size” incluidos en el elemento de reproducción Nº 2. En el presente ejemplo, el dispositivo de reproducción de 3D redimensiona EB(1) y EB(2) a 3 MB y 3 MB, respectivamente, antes de empezar a reproducir el flujo de vídeo.
Con la estructura que se ha descrito en lo que antecede, es posible controlar los tamaños de EB(1) y EB(2) necesarios para la reproducción de vídeo de 3D de manera adecuada dependiendo de la velocidad de bits del flujo de vídeo, haciendo por lo tanto posible definir los tamaños de almacenamiento temporal necesarios sobre la base de la velocidad de bits total del flujo de vídeo de vista izquierda / 2D y el flujo de vídeo de vista derecha. Esto, en comparación con el caso en el que cada tamaño de almacenamiento temporal se define sobre la base del valor más grande de cada velocidad de bits, reduce el tamaño de memoria de almacenamiento temporal total de las memorias de almacenamiento temporal EB(1) y EB(2) necesarias.
Ha de observarse que cuando los tamaños de memoria de almacenamiento temporal son redimensionados de tal manera que cualquiera de las EB sea más pequeño que el otro en tamaño, una conexión sin interrupciones entre elementos de reproducción no se puede garantizar debido a que la transferencia de datos entre los elementos de reproducción puede fallar. De esta manera este redimensionamiento puede ser prohibido. De manera más específica, en los elementos de reproducción cuya condición de conexión es “5” o “6”, el ajuste de los tamaños de memoria de almacenamiento temporal para EB(1) y EB(2) puede ser prohibido o ignorado. Como alternativa, en elementos de reproducción cuya condición de conexión es “5” o “6”, se puede hacer una regla de que los valores de los tamaños de memoria de almacenamiento temporal para EB(1) y EB(2) han de ser iguales a los valores de los tamaños de memoria de almacenamiento temporal para EB(1) y EB(2) en el elemento de reproducción anterior.
Asimismo, debido a que la velocidad de bits total del flujo de vídeo de vista izquierda / 2D y el flujo de vídeo de vista derecha se determina como un valor fijo, sólo el campo “EB(1) size” puede proporcionarse, y el tamaño de EB(2) puede obtenerse al restar el tamaño de EB(1) del tamaño de la memoria de almacenamiento temporal total de EB(1) y EB(2) (“size of EB(2)” = “total buffer size” -“size of EB(1)”).
Además, el campo “EB(1) size” y el campo “EB(2) size” pueden tener cualquier forma en la medida en la que se puedan calcular los tamaños de memoria de almacenamiento temporal. Por ejemplo, los campos pueden incluir velocidades de bits del flujo de vídeo de tal manera que los tamaños de memoria de almacenamiento temporal puedan calcularse a partir de las velocidades de bits. Como alternativa, combinaciones del tamaño de EB(1) y tamaño de EB(2) pueden definirse como una tabla, y los ID de las mismas pueden establecerse.
(Ejemplo 12)
El presente ejemplo se refiere a una mejora de añadir información de profundidad a los metadatos de 3D en la información de clips, donde la información de profundidad indica las profundidades añadidas a imágenes de 2D representadas por el flujo de gráficos de presentación, el flujo de gráficos interactivos y el flujo de gráficos de subimagen.
La figura 88 muestra los metadatos de 3D a los cuales se ha añadido la información de profundidad. Tal como se muestra en la fila superior de la figura 88, los metadatos de 3D son información de tabla que incluye: una o más PTS que indican tiempos de presentación visual de imágenes de 3D; y valores de desplazamiento correspondientes que indican desplazamiento de píxeles de vista derecha / vista izquierda. Los valores de desplazamiento se representan por los números de píxeles que serán desplazados en la dirección del eje X, y pueden incluir valores negativos. En la presente realización, cada par de un PTS y un valor de desplazamiento que se muestra en una fila de la tabla se denomina entrada de desplazamiento. El periodo durante el cual cada entrada de desplazamiento es válida se extiende a partir de un periodo de tiempo indicado por la PTS de la entrada de desplazamiento actual hasta un punto de tiempo indicado por la PTS de la siguiente entrada de desplazamiento. Por ejemplo, cuando la PTS de la entrada de desplazamiento Nº 1 indica un punto de tiempo “180000” y la PTS de la entrada de desplazamiento Nº 2 indica un punto de tiempo “270000”, la entrada de desplazamiento Nº 1 es válida durante un periodo, a partir del punto de tiempo “180000” hasta el punto de tiempo “270000”. La unidad de superposición de planos del dispositivo de reproducción superpone el plano de PG, plano de IG y plano de sub-imagen al desplazarlos hacia la derecha o hacia la izquierda sobre la base de los valores de desplazamiento en puntos de tiempo respectivos. Con esta superposición de planos, se puede generar una imagen de paralaje, y es posible añadir una profundidad tridimensional a la imagen bidimensional.
Ha de observarse que aunque los metadatos de 3D se establecen para cada PID en el presente ejemplo, los metadatos de 3D pueden establecerse para cada plano. La estructura simplifica el proceso de analizar los metadatos de 3D por el dispositivo de reproducción de 2D / 3D. Al tener en cuenta el desempeño del dispositivo de reproducción de 2D / 3D en el proceso de superposición, el intervalo entre entradas de desplazamiento puede limitarse, por ejemplo, para que sea no menor que un segundo.
En el presente caso, información de atributos de flujo de vídeo se explicará. En el modo de 3D-LR, el códec, velocidad de trama, relación de aspecto y resolución indicados por la información de atributos de flujos de vídeo del flujo de vídeo de vista base / 2D con PID “0x1011” ha de coincidir con aquellos indicados por la información de atributos de flujos de vídeo del flujo de AV de vista derecha correspondiente con PID “0x1012”, respectivamente. Asimismo, en el modo de profundidad de 3D, el códec, la velocidad de tramas, la relación de aspecto y la resolución indicados por la información de atributos de flujos de vídeo del flujo de vídeo de vista base / 2D con PID “0x1011” ha de coincidir por aquellos indicados por la información de atributos de flujos de vídeo del flujo de AV de correlaciones de profundidad correspondiente con PID “0x1013”, respectivamente. Esto se debe a que: si los códecs son diferentes, las relaciones de referencia entre los flujos de vídeo no serán establecidas; y si la velocidad de tramas, relaciones de aspecto y resoluciones son diferentes, el usuario se sentiría incómodo cuando las imágenes se reproduzcan en sincronía unas con otras como una imagen de 3D.
Como una variación de la estructura que se ha descrito en lo que antecede, la información de atributos de flujos de vídeo del flujo de AV de vista derecha puede incluir un indicador que indique que el flujo de vídeo en cuestión es un flujo de vídeo que referencia el flujo de vídeo de vista base / 2D. Como otra variación, la información de atributos de flujo de vídeo puede incluir información del flujo de AV del destino de referencia. Con esta estructura, la herramienta para verificar si los datos creados son conformes o no a un formato predeterminado puede verificar las relaciones entre los flujos de vídeo.
Una correlación de entradas del flujo de vídeo de vista izquierda / 2D se almacena en el archivo de información de clips del flujo de vídeo de vista base / 2D. En cada punto de entrada del flujo de vídeo de vista izquierda / 2D, la PTS y SPN de la imagen I y el inicio de GOP del flujo de vídeo de vista izquierda / 2D se registran. De forma similar, una correlación de entradas del flujo de vídeo de vista derecha se almacena en el archivo de información de clips del flujo de vídeo de vista derecha. En cada punto de entrada del flujo de vídeo de vista derecha, la PTS y SPN de la imagen en el inicio del GOP del flujo de vídeo de vista derecha se registran.
(Ejemplo 13)
El presente ejemplo describe una estructura a modo de ejemplo de un dispositivo de reproducción para reproducir los datos de la estructura descrita en una realización anterior, la cual se logra mediante el uso de un circuito integrado 603. La figura 89 muestra una estructura a modo de ejemplo de un dispositivo de reproducción de 2D / 3D que se logra al usar un circuito integrado.
La unidad de interfaz de medio 601 recibe (lee) datos del medio, y transfiere los datos al circuito integrado 603. Ha de observarse que la unidad de interfaz de medio 601 recibe los datos de la estructura descrita, en el ejemplo anterior. La unidad de interfaz de medio 601 es, por ejemplo: una unidad de disco cuando el medio es el disco óptico
o disco duro; una interfaz de tarjeta cuando el medio es la memoria de semiconductores tal como la tarjeta SB o la memoria USB; un sintonizador CAN o sintonizador Si cuando el medio son ondas de radiodifusión de radiodifusión que incluye CATV; o una interfaz de red cuando el medio es la Ethernet, LAN inalámbrica o línea pública inalámbrica.
La memoria 602 es una memoria para almacenar temporalmente los datos recibidos (leídos) del medio, y los datos que están siendo procesados por el circuito integrado 603. Por ejemplo, la SDRAM (Synchronous Dynamic Random Access Memory, Memoria de Acceso Aleatorio Dinámico Sincronizado), DDRx SDRAM (Double-Date-Ratex Synchronous Dynamic Random Access Memory, Memoria de Acceso Aleatorio Dinámica Sincronizada de Doble Fecha-Ratex; x = 1, 2, 3, ...) o similares se usa como la memoria 602. Ha de observarse que el número de las memorias 602 no es fijo, sino que puede ser uno o dos o más, dependiendo de la necesidad.
El circuito integrado 603 es un LSI de sistema para llevar a cabo el procesamiento de vídeo / audio en los datos trasferidos desde la unidad de interfaz 601, e incluye una unidad de control principal 606, una unidad de procesamiento de flujo 605, una unidad de procesamiento de señales 607, una unidad de control de memoria 609 y una unidad de salida de AV 608.
La unidad de control principal 606 incluye un núcleo procesador que tiene la función de temporizador y la función de interrupción. El núcleo procesador controla el circuito integrado 603 como un todo de acuerdo con el programa almacenado en la memoria de programas o similar. Ha de observarse que el soporte lógico básico tal como el OS (soporte lógico operativo) se almacena en la memoria de programas o similar de manera preliminar.
La unidad de procesamiento de flujos 605, bajo el control de la unidad de control principal 606, recibe los datos transferidos desde el medio por medio de la unidad de interfaz 601 y los almacena en la memoria 602 por medio del bus de datos en el circuito integrado 603. La unidad de procesamiento de flujos 605, bajo el control de la unidad de control principal 606, separa también los datos recibidos en los datos de base de vídeo y los datos de base de audio. Tal como se describió anteriormente, en el medio, clips de AV para 2D / L incluyendo flujo de vídeo de vista izquierda y clips de AV para R incluyendo flujo de vídeo de vista derecha están dispuestos de una manera intercalada, en el estado en el que cada clip se divide en algunas extensiones. En consecuencia, la unidad de control principal 606 lleva a cabo el control de tal forma que, cuando el circuito integrado 603 reciba los datos de ojo izquierdo incluyendo flujo de vídeo de vista izquierda, los datos recibidos se almacenen en la primer área en la memoria 602; y cuando el circuito integrado 603 reciba los datos de ojo derecho incluyendo el flujo de vídeo de vista derecha, los datos recibidos se almacenen en la segunda área en la memoria 602. Ha de observarse que los datos de ojo izquierdo pertenecen a la Extensión de ojo izquierdo, y los datos de ojo derecho pertenecen a la Extensión de ojo derecho. Ha de observarse que también que las primera y segunda áreas en la memoria 602 pueden ser áreas generadas al dividir una memoria lógicamente, o pueden ser memorias físicamente diferentes.
La unidad de procesamiento de señales 607, bajo el control de la unidad de control principal 606, descodifica, mediante un método adecuado, los datos de base de vídeo y los datos de base de audio separados por la unidad de procesamiento de flujos 605. Los datos de base de vídeo se han grabado después de haberse codificado por un método tal como MPEG-2, MPEG-4 AVC, MPEG-4 MVC O SMPTE VC-1. Asimismo, los datos de base de audio se han grabado después de haberse codificado por compresión mediante un método tal como Dolby AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD o PCM Lineal. De este modo, la unidad de procesamiento de señales 607 descodifica los datos de base de vídeo y los datos de base de audio mediante los métodos que se corresponden con los mismos. Los modelos de la unidad de procesamiento de señales 607 son varios descodificadores del ejemplo 9 que se muestra en la figura 65.
La unidad de control de memoria 609 media el acceso a la memoria 602 desde cada bloque funcional en el circuito integrado 603.
La unidad de salida de AV 608, bajo el control de la unidad de control principal 606, lleva a cabo la superposición de los datos de base de vídeo que se han descodificado por la unidad de procesamiento de señales 607, o conversión de formato de los datos de base de vídeo y similares, y envía los datos sometidos a estos procesos al exterior del circuito integrado 603.
La figura 90 es un diagrama de bloques funcional que muestra una estructura típica de la unidad de procesamiento de flujos 605. La unidad de procesamiento de flujos 605 incluye una unidad de interfaz de flujo / dispositivo 651, una unidad de desmultiplexión 652 y una unidad de conmutación 653.
La unidad de interfaz de flujo / dispositivo 651 es una interfaz para transferir datos entre la unidad de interfaz 601 y el circuito integrado 603. La unidad de interfaz de flujo / dispositivo 651 puede ser: SATA (Serial Advanced Technology Attachment, Fijación de Tecnología Avanzada en Serie), ATAPI (Advanced Technology Attachment Packet Interface, Interfaz de Paquetes de Fijación de Tecnología Avanzada) o PATA (Parallel Advanced Technology Attachment, Fijación de Tecnología Avanzada Paralela) cuando el medio sea el disco óptico o el disco duro; una interfaz de tarjeta cuando el medio sea la memoria de semiconductores tal como la tarjeta SD o la memoria USB; una interfaz de sintonización cuando el medio sea ondas de difusión de una difusión incluyendo el CATV; o una interfaz de red cuando el medio sea la Ethernet, LAN inalámbrica o línea pública inalámbrica. La unidad de interfaz de flujo / dispositivo 651 puede tener una parte de la función de la unidad de interfaz 601, o la unidad de interfaz 601 puede integrarse en el circuito integrado 603, dependiendo del tipo del medio.
La unidad de desmultiplexión 652 separa los datos de reproducción, transferidos desde el medio, incluyendo vídeo y audio, en los datos de base de vídeo y los datos de base de audio. Cada extensión, que se ha descrito anteriormente, está compuesta por paquetes de origen de vídeo, audio, PG (subtítulos), IG (menú) y similares (paquetes de origen dependientes pueden no incluir audio). La unidad de desmultiplexión 652 separa los datos de reproducción en paquetes de TS de base de vídeo y paquetes de TS de base de audio sobre la base del PID (identificador) incluido en cada paquete de origen. La unidad de desmultiplexión 652 transfiere los datos después de la separación a la unidad de procesamiento de señales 607. Un modelo de la unidad de desmultiplexión 652 es, por ejemplo, el desempaquetador de origen y el filtro PID de la realización 9 que se muestra en la figura 65.
La unidad de conmutación 653 cambia el destino de salida (destino de almacenamiento) de tal manera que, cuando la unidad de interfaz de flujo / dispositivo 651 reciba los datos de ojo izquierdo, los datos recibidos sean almacenados en la primer área en la memoria 602; y cuando el circuito integrado 603 reciba los datos de ojo derecho, los datos recibidos sean almacenados en la segunda área en la memoria 602. En el presente caso, la unidad de conmutación 653 es, por ejemplo, DMAC (Direct Memory Access Controller, Controlador de Acceso de Memoria Directo). La figura 91 es un diagrama conceptual que muestra la unidad de conmutación 653 y el periférico cuando la unidad de conmutación 653 es DMAC. El DMAC, bajo el control de la unidad de control principal 606, transmite los datos recibidos por la interfaz de flujo de dispositivo y dirección de destino de almacenamiento de datos a la unidad de control de memoria 609. De manera más específica, el DMAC cambia el destino de salida (destino de almacenamiento) dependiendo de los datos recibidos, al transmitir dirección 1 (la primer área de almacenamiento) a la unidad de control de memoria 609 cuando la interfaz de flujo de dispositivo recibe los datos de ojo izquierdo, y transmitiendo dirección 2 (la segunda área de almacenamiento a la unidad de control de memoria 609 cuando la interfaz de flujo de dispositivo recibe los datos de ojo derecho. La unidad de control de memoria 609 almacena datos en la memoria 602 de acuerdo con la dirección de destino de almacenamiento enviada desde el DMAC. Ha de observarse que un circuito dedicado para controlar la unidad de conmutación 653 puede proporcionarse, en lugar de la unidad de control principal 606.
En la descripción anterior, la unidad de interfaz de flujo / dispositivo 651, la unidad de desmultiplexión 652 y la unidad de conmutación 653 se explican como una estructura típica de la unidad de procesamiento de flujo 605. Sin embargo, la unidad de procesamiento de flujo 605 puede incluir además una unidad de motor de cifrado para descifrar datos cifrados recibidos, datos clave o similares, una unidad de gestión segura para controlar la ejecución de un protocolo de autenticación de dispositivo entre el medio y el dispositivo de reproducción para contener una clave secreta, y un controlador para el acceso de memoria directo. En lo anterior, se ha explicado que, cuando los datos recibidos desde el medio se almacenan en la memoria 602, la unidad de conmutación 653 cambia el destino de almacenamiento dependiendo de si los datos recibidos son datos de ojo izquierdo o datos de ojo derecho. Sin embargo, no limitado a esto, los datos recibidos desde el medio pueden almacenarse temporalmente en la memoria 602, y a continuación, cuando los datos vayan a transferirse a la unidad de desmultiplexión 652, los datos pueden separarse en los datos de ojo izquierdo y los datos de ojo derecho.
La figura 92 es un diagrama de bloques funcional que muestra una estructura típica de la unidad de salida de AV
608. La unidad de salida de AV 608 incluye una unidad de superposición de imágenes 681, una unidad de conversión de formato de salida de vídeo 682 y una unidad de interfaz de salida de audio / vídeo 683.
La unidad de superposición de imágenes 681 superpone los datos de base de vídeo descodificados. De manera más específica, la unidad de superposición de imágenes 681 superpone el PG (subtítulo) y el IG (menú) en los datos de vídeo de vista izquierda o los datos de vídeo de vista derecha en unidades de imágenes. Un modelo de la unidad de superposición de imágenes 681 es, por ejemplo, el ejemplo 11 y la figura 92.
La unidad de superposición de imágenes 681 superpone el plano de vista izquierda y plano de gráficos, y plano de vista derecha y plano de vista izquierda. La figura 94 muestra relaciones entre áreas en la memoria 602 y cada plano en el proceso de superposición de imágenes. La memoria 602 incluye áreas (un área de almacenamiento de datos de plano de vista izquierda, un área de almacenamiento de datos de plano de vista derecha y un área de almacenamiento de datos de plano de gráficos) para almacenar datos que se han descodificado y van a renderizarse en cada plano. Ha de observarse en el presente caso que los planos pueden ser áreas en la memoria 602 o pueden ser espacios virtuales. La memoria 602 incluye además un área de almacenamiento de datos para almacenar datos después de la superposición de imágenes. Las figuras 95 y 96 son diagramas conceptuales de superposición de imágenes. Por motivos de conveniencia, la siguiente descripción supone que el proceso de superposición de imágenes se lleva a cabo en el modo de un plano más desplazamiento en el cual un plano de gráficos se usa, y cuando el plano de gráficos se superpone con el plano de vista izquierda, un desplazamiento de “+X” se aplica al plano de gráficos, y cuando el plano de gráficos se superpone con el plano de vista derecha, un desplazamiento de “-X” se aplica. Sin embargo, ha de observarse que dos planos de gráficos pueden prepararse para el proceso de superposición, y los planos de gráficos pueden superponerse con el plano de vista izquierda y el plano de vista derecha, respectivamente, con valores de desplazamiento respectivos aplicados a los mismos. La figura 95 muestra que el plano de gráficos que se ha trasladado a la derecha en el papel el valor de desplazamiento predeterminado se superpone con el plano de vista izquierda. La figura 96 muestra que el plano de gráficos que se ha trasladado a la izquierda en el papel el valor de desplazamiento predeterminado se superpone con el plano de vista derecha. Tal como se muestra en estas figuras, píxeles que se corresponden unos con otros, que están colocados en las mismas coordenadas en la dirección horizontal en el papel, se superponen unos con otros, y los datos después de la superposición se almacenan en el área de almacenamiento de datos para almacenar datos después de la superposición de imágenes en la memoria 602. Ha de observarse que, tal como se describió anteriormente, los valores de desplazamiento que serán aplicados al plano de gráficos están incluidos en el flujo de vídeo de vista derecha (flujo de vídeo de vista secundaria) o la lista de reproducción. La figura 97 es un diagrama conceptual que muestra otro método de superposición de imágenes. De acuerdo con este método, la memoria 602 incluye además áreas de almacenamiento de datos de plano de gráficos post-desplazamiento (para superposición de vista izquierda y superposición de vista derecha), los datos que serán superpuestos con el plano de vista izquierda y el plano de vista derecha se preparan por adelantado en la memoria 602, la unidad de superposición de imágenes 681 lee datos necesarios de la memoria 602 y superpone los datos leídos, y almacena los datos después de la superposición en el área de almacenamiento de datos para almacenar datos después de la superposición de imágenes en la memoria 602. La figura 98 es un diagrama conceptual que se refiere a la superposición del subtítulo de texto (diferente de PG / IG). Tal como se describió anteriormente, el subtítulo de texto se ha multiplexado en el flujo de subtítulos de texto. El subtítulo de texto se renderiza en el plano de gráficos y, a continuación, se superpone. Para la superposición con el plano de vista izquierda y el plano de vista derecha, el subtítulo de texto se renderiza en el plano de gráficos al desplazarse por valores de desplazamiento respectivos, y los planos de gráfico se superponen con el plano de vista izquierda y el plano de vista derecha, respectivamente. Ha de observarse que tal como se muestra en la figura 98, la memoria 602 incluye además un área de almacenamiento de datos de plano de subtítulos de texto.
La unidad de conversión de formatos de salida de vídeo 682 lleva a cabo los siguientes procesos y similares según sea necesario: el proceso de redimensionado para agrandar o reducir los datos de base de vídeo descodificados; el proceso de conversión de IP para convertir el método de “escaneo del método progresivo al método intercalado y viceversa; el proceso de reducción de ruido para eliminar el ruido y el proceso de conversión de velocidad de tramas para convertir la velocidad de tramas.
La unidad de interfaz de salida de audio / vídeo 683 codifica, de acuerdo con el formato de transmisión de datos, los datos de base de vídeo, los cuales se han sometido a la superposición de imágenes y la conversión de formato, y los datos de base de audio descodificados. Ha de observarse que, tal como se describirá más adelante, la unidad de interfaz de salida de audio / vídeo 683 puede proporcionarse fuera del circuito integrado 603.
La figura 93 es una estructura a modo de ejemplo que muestra la unidad de salida de AV 608, o la parte de salida de datos del dispositivo de reproducción con más detalle. El circuito integrado 603 del presente ejemplo y el dispositivo de reproducción soportan una pluralidad de formatos de transmisión de datos para los datos de base de vídeo y los datos de base de audio. La unidad de interfaz de salida de audio / vídeo 683 que se muestra en la figura 92 se corresponde con una unidad de interfaz de salida de vídeo analógica 683a, una unidad de interfaz de salida de vídeo / audio digital 683b y una unidad de interfaz de salida de audio analógica 683c.
La unidad de interfaz de salida de audio / vídeo analógica 683a convierte y codifica los datos de base de vídeo, que se han sometido al proceso de superposición de imágenes y el proceso de conversión de formato de salida, en el formato de señal de vídeo analógico y envía el resultado de la conversión. La unidad de interfaz de salida de audio / vídeo 683a es, por ejemplo: un codificador de vídeo compuesto que soporta cualquiera del método NTSC, el método PAL y el método SECAM; un codificador para la señal de imagen S (separación Y / C); un codificador para la señal de imagen componente; o un DAC (convertidor D / A).
La unidad de interfaz de salida de audio / vídeo digital 683b superpone los datos de base de audio descodificados con los datos de base de vídeo que se han sometido a la superposición de imágenes y la conversión de formato de salida, cifra los datos superpuestos, codifica de acuerdo con la norma de transmisión de datos y envía los datos descodificados. La unidad de interfaz de salida de audio / vídeo 683b es, por ejemplo, HDMI (High-Definition Multimedia Interface, Interfaz Multimedia de Alta Definición).
La unidad de interfaz de salida de audio / vídeo analógica 683c que es un DAC de audio o similar, lleva a cabo la conversión D / A en los datos de base de audio descodificados y envía datos de audio analógicos.
El formato de transmisión de los datos de base de vídeo y los datos de base de audio puede cambiarse dependiendo del dispositivo de recepción de datos (terminal de entrada de datos) soportado por el dispositivo de presentación visual / altavoz, o puede cambiarse de acuerdo con la selección por el usuario. Además, es posible transmitir una pluralidad de fragmentos de datos que se correspondan con el mismo contenido en paralelo por una pluralidad de formatos de transmisión, no limitados a la transmisión por un solo formato de transmisión.
En la descripción anterior, la unidad de superposición de imágenes 681, la unidad de conversión de formato de salida de vídeo 682 y la unidad de interfaz de salida de audio / vídeo 683 se explican como una estructura típica de la unidad de salida de AV 608. Sin embargo, la unidad de salida de AV 608 puede incluir además, por ejemplo, una unidad de motor de gráficos para llevar a cabo el procesamiento de gráficos tales como el proceso de filtrado, superposición de imágenes, dibujo de curvatura y presentación visual de 3D.
Esto completa la descripción de la estructura del dispositivo de reproducción en el presente ejemplo. Ha de observarse que todos los bloques funcionales incluidos en el circuito integrado 603 pueden no estar integrados, y que, a la inversa, la memoria 602 que se muestra en la figura 89 puede integrarse en el circuito integrado 603.
Asimismo, en el presente ejemplo, la unidad de control principal 606 y la unidad de procesamiento de señales 607 se han descrito como diferentes bloques funcionales. Sin embargo, no limitado a esto, la unidad de control principal 606 puede llevar a cabo una parte del proceso llevado a cabo por la unidad de procesamiento de señales 607.
La ruta de los buses de control y los buses de datos en el circuito integrado 603 está diseñada de una manera arbitraria dependiendo del procedimiento de procesamiento de cada bloque de procesamiento o los contenidos del procesamiento. Sin embargo, los buses de datos pueden disponerse de tal manera que los bloques de procesamiento sean conectados directamente tal como se muestra en la figura 99, o puedan disponerse de tal manera que los bloques de procesamiento se conecten por medio de la memoria 602 (la unidad de control de memoria 609) tal como se muestra en la figura 100.
El circuito integrado 603 puede ser un módulo de varios chips que esté integrado al encerrar una pluralidad de chips en un paquete, y su apariencia exterior es un LSI. También es posible lograr el LSI de sistema usando la FPGA (Field Programmable Gate Array, Disposición de Puertos Programable por Campo) que puede reprogramarse después de la fabricación del LSI, o el procesador reconfigurable en el cual la conexión y ajuste de las celdas de circuito dentro del LSI puedan reconfigurarse.
En lo sucesivo se explicará la operación del dispositivo de reproducción que tiene la estructura que se ha descrito en lo que antecede.
La figura 101 es un diagrama de flujo que muestra un procedimiento de reproducción en el cual se reciben (leen) datos del medio, se descodifican y se envían como una señal de vídeo y una señal de audio.
S601: se reciben (leen) datos del medio (la unidad de interfaz 601 -> la unidad de procesamiento de flujo 605).
S602: los datos recibidos (leídos) en S601 se separan en varios datos (los datos de base de vídeo y los datos de base de audio) (la unidad de procesamiento de flujo 605).
S603: los diferentes datos generados por la separación en S602 se descodifican por el formato adecuado (la unidad de procesamiento de señales 607).
S604: entre los diferentes datos descodificados en S603, los datos de base de vídeo se someten al proceso de superposición (la unidad de salida de AV 608).
S605: los datos de base de vídeo y los datos de base de audio que se han sometido a los procesos en S602 a S604 se envían (la unidad de salida de AV 608).
La figura 102 es un diagrama de flujo que muestra un procedimiento de reproducción detallado. Cada una de las operaciones y procesos se lleva a cabo bajo el control de la unidad de control principal 606.
S701: la unidad de interfaz de flujo / dispositivo 651 de la unidad de procesamiento de flujo 605 recibe (lee) datos (listas de reproducción, información de clip., etc.) que no sean los datos almacenados en el medio que se reproducirá y son necesarios para la reproducción de los datos, por medio de la unidad de interfaz 601, y almacena los datos recibidos en la memoria 602 (la unidad de interfaz 601, la unidad de interfaz de flujo / dispositivo 651, la unidad de control de memoria 609, la memoria 602).
S702: la unidad de control principal 606 reconoce el método de compresión de los datos de vídeo y audio almacenados en el medio haciendo referencia al atributo de flujo incluido en la información de clips recibida, e inicializa la unidad de procesamiento de señales 607 de tal manera que el procesamiento de descodificación correspondiente pueda llevarse a cabo (la unidad de control principal 606).
S703: la unidad de interfaz de flujo / dispositivo 651 y la unidad de procesamiento de flujo 605 recibe (lee) los datos de vídeo / audio que van a reproducirse, del medio por medio de la unidad de interfaz 601, y almacena los datos recibidos en la memoria 602 por medio de la unidad de procesamiento de flujos 605 y la unidad de control de memoria 609. Ha de observarse que los datos se reciben (se leen) en unidades de Extensiones, y la unidad de control principal 606 controla la unidad de conmutación 653 de tal manera que, cuando los datos de ojo izquierdo sean recibidos (leídos), los datos recibidos se almacenan en la primer área; y cuando los datos de ojo derecho sean, recibidos (leídos), los datos recibidos sean almacenados en la segunda área, y la unidad de conmutación 653 cambia el destino de salida de datos (destino de almacenamiento) (la unidad de interfaz 601, la unidad de interfaz de flujo / dispositivo 651, la unidad de control principal 606, la unidad de conmutación 653, la unidad de control de memoria 609, la memoria 602).
S704: los datos almacenados en la memoria 602 se transfieren a la unidad de desmultiplexión 602 de la unidad de procesamiento de flujos 650, y la unidad de desmultiplexión 652 identifica los datos de base de vídeo (vídeo principal, vídeo secundario), PG (subtítulo), IG (menú) y datos de base de audio (audio, audio secundario) sobre la base de los PID incluidos en los paquetes de origen que constituyen los datos de flujo, y transfiere los datos a cada descodificador correspondiente en la unidad de procesamiento de señales 607 en unidades de paquetes de TS (la unidad de desmultiplexión 652).
S705: cada uno en la unidad de procesamiento de señales 607 lleva a cabo el proceso de descodificación en los paquetes de TS transferidos mediante el método adecuado (la unidad de procesamiento de señales 607).
S706: entre los datos de base de vídeo descodificados por la unidad de procesamiento de señales 607, los datos que se correspondan con el flujo de vídeo de vista izquierda y al flujo de vídeo de vista derecha se redimensionan sobre la base del dispositivo de presentación visual (la unidad de conversión de formato de salida de vídeo 682).
S707: el PG (subtítulo) e IG (menú) se superponen en el flujo de vídeo redimensionado en S706 (la unidad de superposición de imágenes 681).
S708: la conversión de IP, la cual es una conversión del método de escaneo, se lleva a cabo en los datos de vídeo después de la superposición en S707 (la unidad de conversión de formato de salida de vídeo 682).
S709: la codificación, conversión D / A y similares se llevan a cabo en datos de base de vídeo y los datos de base de audio que se han sometido a los procesos que se han descrito en lo que antecede, sobre la base del formato de salida de datos del dispositivo de presentación visual / altavoz o el formato de transmisión de datos para la transmisión al dispositivo de presentación visual / altavoz. La señal de vídeo compuesta, la señal de imagen S, la señal e imagen componente y similares se soportan para la salida analógica de los datos de base de vídeo. Asimismo, HDMI se soporta para la salida digital de los datos de base de vídeo y los datos de base de audio (la unidad de interfaz de salida de audio / vídeo 683).
S710: los datos de base de vídeo y los datos de base de audio que se han sometido al proceso en S709 se envían y se transmiten al dispositivo de presentación visual / altavoz (la unidad de interfaz de salida de audio / vídeo 683, el dispositivo de presentación visual / altavoz).
Esto completa la descripción del procedimiento de funcionamiento del dispositivo de reproducción en el presente ejemplo. Ha de observarse que el resultado del proceso puede almacenarse temporalmente en la memoria 602 cada vez que se complete un proceso. Asimismo, en el procedimiento de funcionamiento anterior, la unidad de conversión de formato de salida de vídeo 682 lleva a cabo el proceso de redimensionamiento y el proceso de conversión de IP. Sin embargo, no limitado a esto, los procesos pueden omitirse según sea necesario, u otros procesos (proceso de reducción de ruido, proceso de conversión de velocidad de tramas, etc.) pueden llevarse a cabo. Además, los procedimientos de procesamiento pueden cambiarse si es posible.
(Notas complementarias)
Hasta el momento, la presente invención se ha descrito a través de las mejores realizaciones que el solicitante reconoce hasta la fecha. Sin embargo, pueden añadirse mejoras o cambios adicionales con respecto a los siguientes asuntos técnicos. Si se selecciona cualquiera de las realizaciones y ejemplos, o las mejoras y cambios para implementar la invención, es opcional y puede determinarse por la subjetividad de quien lo implemente.
(Asignación de una pluralidad de secuencias de desplazamiento)
Tal como se ha descrito en lo que antecede, la profundidad de cada macrobloque que constituye una imagen puede almacenarse en una de la pluralidad de secuencias desplazamiento diferentes. Sin embargo, esta estructura es simplemente un ejemplo.
Como otro ejemplo, una pluralidad de fragmentos de información de profundidad que indiquen profundidades que difieran unas con otras en orden en “+10” o “-10” pueden establecerse como información de dirección de desplazamiento de planos de cada secuencia de desplazamiento y como valores de desplazamiento de desplazamiento de planos
(Correspondencia entre archivos)
En el ejemplo 3, como un ejemplo específico de asociación usando una información de identificación, el número de identificación de la vista derecha se genera al añadir “1” al número de identificación de la vista izquierda. Sin embargo, no limitado a esto, el número de identificación de la vista derecha puede generarse al añadir “10000” al número de identificación de la vista izquierda.
Cuando se va a lograr un método de acoplamiento para asociar los archivos por los nombres de archivo, el lado del dispositivo de reproducción requiere un mecanismo para detectar los archivos acoplados, y un mecanismo para detectar el archivo sobre la base de una regla predeterminada, y reproducir archivos a los que no se haga referencia por la lista de reproducción. Los dispositivos de reproducción que soportan 3D requieren los mecanismos que se han descrito en lo que antecede cuando usan cualquiera de estos métodos de acoplamiento. Sin embargo, con esta estructura, no hay necesidad de usar diferentes tipos de listas de reproducción para reproducir tanto las imágenes de 2D como 3D, y es posible hacer que la lista de reproducción funcione de forma segura en los dispositivos de reproducción de 2D convencionales que ya son prevalentes.
Al igual que el método de Profundidad en el cual se usa la escala de grises, cuando la imagen estereoscópica no puede reproducirse sólo con un flujo, es necesario distinguir el flujo al asignar una extensión diferente al mismo para impedir que se reproduzca individualmente por el dispositivo por error. En relación con la identificación del archivo que no puede reproducirse individualmente, es necesario evitar que el usuario se confunda cuando se haga referencia al archivo de 3D a partir de un dispositivo existente por medio del DLNA (Digital Living Network Alliance, Alianza de Red Viva Digital) Es posible lograr la información de apareo sólo por los nombres de archivo al asignar el mismo número de archivo y extensiones diferentes.
(Métodos de visión estereoscópica)
De acuerdo con el método de imágenes de paralaje usado en la realización 1, las imágenes de ojo izquierdo y ojo derecho se presentan visualmente de forma alterna en la dirección de eje de tiempo. Como resultado, por ejemplo, cuando 24 imágenes se presentan visualmente por segundo en una película bidimensional normal, 48 imágenes, para la combinación de las imágenes de ojo izquierdo y ojo derecho, han de presentarse visualmente por segundo en una película tridimensional. En consecuencia, este método es adecuado para dispositivos de presentación visual que reescriban cada pantalla a velocidades relativamente altas. La visión estereoscópica usando las imágenes de paralaje se usan en el equipo de juego de los parques de entretenimiento, y se ha establecido tecnológicamente. Por lo tanto, se puede decir que este método es el más cercano al uso práctico en las casas. Se han propuesto varias otras tecnologías tales como el método de separación de dos colores, como los métodos para lograr visión estereoscópica usando las imágenes de paralaje. En las realizaciones, el método de segregación secuencial y el método de gafas de polarización se han usado como ejemplos. Sin embargo, la presente invención no está limitada a estos métodos en la medida en la que se usen las imágenes de paralaje.
Asimismo, no limitado a la lente lenticular, la televisión 300 puede usar otros dispositivos, tales como el elemento de cristal líquido, que tengan la misma función que la lente lenticular. También es posible lograr la visión estereoscópica al proporcionar un filtro de polarización vertical para los píxeles de ojo izquierdo, y proporcionar un filtro de polarización horizontal para los píxeles de ojo derecho, y dar lugar a que el espectador vea la pantalla a través de un par de gafas de polarización que esté provisto con un filtro de polarización vertical para el ojo izquierdo y un filtro de polarización horizontal para el ojo derecho.
(Objetivo de la aplicación de vista izquierda y de vista derecha)
La vista izquierda y la vista derecha pueden prepararse no sólo para aplicarse al flujo de vídeo que represente la historia principal, sino también aplicadas a las imágenes de viñetas. Como es el caso con el flujo de vídeo, el dispositivo de reproducción de 2D presenta visualmente imágenes de viñetas 2D convencionales, pero el dispositivo de reproducción de 3D envía una imagen de viñeta de ojo izquierdo y una imagen de viñeta de ojo derecho preparadas para 3D, de acuerdo con un sistema de presentación visual de 3D.
De forma similar, la vista izquierda y la vista derecha pueden aplicarse a imágenes de menú, imágenes de viñeta de cada escena para búsqueda por capítulos, e imágenes reducidas de cada escena.
(Realizaciones de programa)
El programa de aplicación descrito en cada realización y ejemplo de la presente invención puede producirse tal como sigue. En primer lugar, el desarrollador de soporte lógico escribe, usando un lenguaje de programación, un programa de origen que logra cada diagrama de flujo y componente funcional. En esta escritura, el desarrollador de soporte lógico usa la estructura de clases, variables, variables de disposición, invocaciones a funciones externas y así sucesivamente, que es conforme a la estructura de sentencias del lenguaje de programación que él o ella use.
El programa de origen escrito se envía al compilador como archivos. El compilador traduce el programa de origen y genera un programa de objetos.
La traducción llevada a cabo por el compilador incluye procesos tales como el análisis de sintaxis, optimización, asignación de recursos y generación de códigos. En el análisis de sintaxis, los caracteres y sentencias, estructura de sentencias y significado del programa de origen son analizados y el programa de origen se convierte en un programa intermedio. En la optimización, el programa intermedio se somete a procesos tales como el ajuste de bloques básicos, análisis de flujos de control y análisis de flujos de datos. En la asignación de recursos, para adaptar los conjuntos de instrucciones del procesador de objetivos, las variables en el programa intermedio se asignan al registro de memoria del procesador de objetivos. En la generación de códigos, cada instrucción intermedia en el programa intermedio se convierte en un código de programa, y se obtiene un programa de objetos.
El programa de objetos generado está compuesto por uno o más códigos de programa que causan que el ordenador ejecute cada etapa en el diagrama de flujo o cada procedimiento de los componentes funcionales. Existen varios tipos de códigos de programa tales como el código nativo del procesador y código de bytes de Java™. También hay varias formas de lograr las etapas de los códigos de programa. Por ejemplo, cuando cada etapa se puede lograr al usar una función externa, las indicaciones de invocación para invocar las funciones externas se usan como los códigos de programa. Los códigos de programa que logran una etapa pueden pertenecer a diferentes programas de objetos. En el procesador RISC en el cual los tipos de instrucciones son limitados, cada etapa de diagramas de flujo puede lograrse al combinar instrucciones de operación, aritméticas, instrucciones de operación lógicas, instrucciones de ramificación y similares.
Después de que se genera el programa de objetos, el programador activa un enlazador. El enlazador asigna los espacios de memoria a los programas de objetos y los programas de bibliotecas relacionados, y los enlaza entre sí para generar un módulo de carga. El módulo de carga generado se basa en la suposición de que se lee por el ordenador y da lugar a que el ordenador ejecute los procedimientos indicados en los diagramas de flujo y los procedimientos de los componentes funcionales. El programa descrito en el presente caso puede grabarse en un medio de grabación legible por ordenador y puede proporcionarse al usuario en esta forma.
(Reproducción de disco óptico)
La unidad de BD-ROM está equipada con una cabeza óptica que incluye un láser semiconductor, una lente colimada, un divisor de haz, una lente de objetivo, una lente de captación y un detector de luz. Los rayos de luz emitidos desde el láser semiconductor pasan a través de la lente colimada, el divisor de haz y la lente de objetivo, y se captan en la superficie de información del disco óptico.
Los rayos de luz captados son reflejados / difractados en el disco óptico, pasan a través de la lente de objetivo, el divisor de haz y la lente colimada, y se captan en el detector de luz. Una señal de reproducción se genera dependiendo de la cantidad de luz captada en el detector de luz.
(Variaciones del medio de grabación)
El medio de grabación descrito en cada realización y ejemplo indica un medio de empaque general como un todo, incluyendo el disco óptico y la tarjeta de memoria de semiconductores. En cada realización y ejemplo, se supone, como un ejemplo, que el medio de grabación es un disco óptico en el cual datos necesarios se graban de manera preliminar (por ejemplo, un disco óptico de sólo lectura existente tal como el BD-ROM o DVD-ROM). Sin embargo, la presente invención no está limitada a esto. Por ejemplo, la presente invención puede implementarse tal como sigue:
(i) obtener un contenido 3D que incluya los datos necesarios para implementar la presente invención y se distribuyan por una radiodifusión o por medio de una red; (ii) grabar el contenido 3D en un disco óptico grabable (por ejemplo, un disco óptico grabable existente tal como el BD-RE, DVD-RAM) usando un dispositivo terminal que tenga la función de escritura en un disco óptico (la función puede estar incluida en un dispositivo de reproducción, o el dispositivo puede no ser necesariamente el dispositivo de reproducción); y (iii) aplicar el disco óptico grabado con el contenido 3D al dispositivo de reproducción de la presente invención.
(Ejemplos de dispositivo de grabación de tarjeta de memoria de semiconductores y dispositivo de reproducción)
En lo sucesivo se describen ejemplos del dispositivo de grabación para grabar la estructura de datos de cada realización y ejemplo en una memoria de semiconductores, y el dispositivo de reproducción para la reproducción del mismo.
En primer lugar, se explicarán los mecanismos para proteger los derechos de autor de los datos grabados en el BD-ROM, como una tecnología presupuesta.
Algunos de los datos grabados en el BD-ROM pueden haberse cifrado según se requiera a la vista de la confidencialidad de los datos.
Por ejemplo, el BD-ROM puede contener, como datos cifrados, los datos que se correspondan con un flujo de vídeo, un flujo de audio o un flujo que incluya estos.
En lo sucesivo se describe el descifrado de los datos cifrados entre los datos grabados en el BD-ROM.
El dispositivo de reproducción de tarjeta de memoria de semiconductores almacena de manera preliminar datos (por ejemplo, una clave de dispositivo) que se corresponden con una clave que es necesaria para descifrar los datos cifrados grabados en el BD-ROM.
Por otro lado, el BD-ROM se graba de manera preliminar con (i) datos (por ejemplo, un bloque de claves de medio (MKB) que se corresponde con la clave de dispositivo que se ha mencionado en lo que antecede) que se corresponden con una clave que es necesaria para descifrar los datos cifrados, y (ii) datos cifrados (por ejemplo, una clave de título cifrada que se corresponde con la clave de dispositivo que se ha mencionado en lo que antecede y MKB) que se genera al cifrar la propia clave que es necesaria para descifrar los datos cifrados. Ha de observarse en el presente caso que la clave de dispositivo, MKB y clave de título cifrada se tratan como un conjunto, y están asociados además con un identificador (por ejemplo, un ID de volumen) escrito en un área (que se denomina BCA) del BD-ROM que no puede ser copiada en general. Se estructura de tal manera que los datos cifrados no pueden descifrarse si estos elementos se combinan incorrectamente. Sólo si la combinación es correcta, una clave (por ejemplo, una clave de título que se obtiene al descifrar la clave de titulo cifrada usando la clave de dispositivo, MKB e ID de volumen que se han mencionado en lo que antecede) que es necesaria para descifrar los datos cifrados puede deducirse. Los datos cifrados pueden descifrarse usando la clave deducida.
Cuando un dispositivo de reproducción intenta reproducir un BD-ROM cargado en el dispositivo, no puede reproducir los datos cifrados a menos que el propio dispositivo tenga una clave de dispositivo que haga un par (o se corresponda con) la clave de título cifrada y MKB grabadas en el BD-ROM. Esto se debe a que la clave (clave de título) que es necesaria para descifrar los datos cifrados se ha cifrado, y está grabada en el BD-ROM como la clave de título cifrada, y la clave que es necesaria para descifrar los datos cifrados no puede deducirse si la combinación del MKB y la clave de dispositivo no es correcta.
A la inversa, cuando la combinación de la clave de título cifrada, MKB, clave de dispositivo e ID de volumen es correcta, el flujo de vídeo y el flujo de audio se descodifican por el descodificador con el uso de la clave que se ha mencionado en lo que antecede (por ejemplo, una clave de título que se obtiene al descifrar la clave de título cifrada usando la clave de dispositivo, MKB e ID de volumen) que es necesaria para descifrar los datos cifrados. El dispositivo de reproducción está estructurado de esta manera.
Esto completa la descripción del mecanismo para proteger los derechos de autor de los datos grabados en el BD-ROM. Ha de observarse en el presente caso que este mecanismo no está limitado al BD-ROM, sino que puede ser aplicable a, por ejemplo, una memoria de semiconductores legible / grabable (tal como una memoria de semiconductores portátil tal como la tarjeta SD) para la implementación.
En lo sucesivo se describirá el procedimiento de reproducción en el dispositivo de reproducción de tarjeta de memoria de semiconductores. En el caso de que el dispositivo de reproducción reproduzca un disco óptico, se estructura para leer datos por medio de una unidad de disco óptico, por ejemplo. Por otro lado, en el caso de que el dispositivo de reproducción reproduzca una tarjeta de memoria de semiconductores, se estructura para leer datos por medio de una interfaz para leer los datos de la tarjeta de memoria de semiconductores.
De manera más específica, el dispositivo de reproducción puede estructurarse de tal manera que, cuando una tarjeta de memoria de semiconductores sea insertada en una ranura (no ilustrada) provista en el dispositivo de reproducción, el dispositivo de reproducción y la tarjeta de memoria de semiconductores se conecten eléctricamente uno con otro por medio de la interfaz de tarjeta de memoria de semiconductores, y el dispositivo de reproducción lea datos de la tarjeta de memoria de semiconductores por medio de la interfaz de tarjeta de memoria de semiconductores.
(Ejemplos de dispositivo de recepción)
El dispositivo de reproducción explicado en cada realización y ejemplo puede lograrse como un dispositivo terminal que reciba datos (datos de distribución que se correspondan con los datos explicados en cada realización y ejemplo de un servidor de distribución para un servicio de distribución electrónica y grabe los datos recibidos en una tarjeta de memoria de semiconductores.
Un dispositivo terminal de este tipo se puede lograr al estructurar el dispositivo de reproducción explicado en cada realización y ejemplo de tal manera que lleve a cabo estas operaciones, o se puede lograr como un dispositivo terminal dedicado que sea diferente del dispositivo de reproducción explicado en cada realización y ejemplo y almacene los datos de distribución en una tarjeta de memoria de semiconductores. En el presente caso, un caso en el que el dispositivo de reproducción se usa se explicará. Asimismo, en esta explicación, una tarjeta SD se usa como la memoria de semiconductores de destino de grabación.
Cuando el dispositivo de reproducción va a grabar datos de distribución en una tarjeta de memoria SD insertada en una ranura provista en el mismo, el dispositivo de reproducción envía primero solicitudes a un servidor de distribución (no ilustrado) que almacena datos de distribución, para transmitir los datos de distribución. Al hacer esto, el dispositivo de reproducción lee información de identificación para identificar de manera única la tarjeta de memoria SD insertada (por ejemplo, información de identificación asignada de manera única a cada tarjeta de memoria SD, de manera más específica, el número de serie o similar de la tarjeta de memoria SD), de la tarjeta de memoria SD, y transmite la información de identificación leída al servidor de distribución junto con la solicitud de distribución.
La información de identificación para identificar de manera única la tarjeta de memoria SD se corresponde con, por ejemplo, el ID de volumen que se ha descrito anteriormente.
Por otro lado, el servidor de distribución almacena datos necesarios (por ejemplo, flujo de vídeo, flujo de audio y similares) en un estado cifrado de tal manera que los datos necesarios puedan descifrarse usando una clave predeterminada (por ejemplo, una clave de título).
El servidor de distribución, por ejemplo, contiene una clave privada de tal modo que puede generar dinámicamente diferentes fragmentos de información de clave pública respectivamente en correspondencia con números de identificación asignados de manera única a cada tarjeta de memoria de semiconductores.
Asimismo, el servidor de distribución está estructurado para poder cifrar la propia clave (clave de título) que es necesaria para descifrar los datos cifrados (es decir, el servidor de distribución está estructurado para poder generar una clave de título cifrada).
La información de clave pública generada incluye, por ejemplo, información que se corresponde con el MKB, ID de volumen y clave de título cifrada que se han descrito en lo que antecede. Con esta estructura, cuando, por ejemplo, una combinación del número de identificación de la tarjeta de memoria de semiconductores, la clave pública contenida en la información de clave pública que se explicará más adelante, y la clave de dispositivo que se graba de manera preliminar en el dispositivo de reproducción, es correcta, una clave (por ejemplo, una clave de título que se obtiene al descifrar la clave de título cifrada usando la clave de dispositivo, el MKB y el número de identificación de la memoria de semiconductores) necesaria para descifrar los datos cifrados se obtiene, y los datos cifrados se descifran usando la clave necesaria obtenida (clave de título).
Después de esto, el dispositivo de reproducción graba el fragmento de información de clave pública y datos de distribución recibida en un área de grabación de la tarjeta de memoria de semiconductores que se inserta en la ranura de la misma.
En lo sucesivo se da una descripción de un ejemplo del método para descifrar y reproducir los datos cifrados entre los datos contenidos en la información de clave pública y datos de distribución grabados en el área de grabación de la tarjeta de memoria de semiconductores.
La información de clave pública recibida almacena, por ejemplo, una clave pública (por ejemplo, el MKB y clave de título cifrada que se han descrito en lo que antecede), información de firma, número de identificación de la tarjeta de memoria de semiconductores y lista de dispositivos que es información que hace referencia a dispositivos que serán invalidados.
La información de firma incluye, por ejemplo, un valor de refundición de la información de clave pública.
La lista de dispositivos es, por ejemplo, información para identificar los dispositivos que pudieran reproducirse de una manera no autorizada. La información, por ejemplo, se usa para identificar de manera única los dispositivos, partes de los dispositivos y funciones (programas) que pudieran reproducirse de una manera no autorizada, y está compuesta por, por ejemplo, la clave de dispositivo y el número de identificación del dispositivo de reproducción que se graban de manera preliminar en el dispositivo de reproducción, y el número de identificación del descodificador provisto en el dispositivo de reproducción.
En lo sucesivo se describe la reproducción de los datos cifrados entre los datos de distribución grabados en el área de grabación de la tarjeta de memoria de semiconductores.
En primer lugar, se verifica si la propia clave de descifrado puede o no usarse, antes de que los datos cifrados sean descifrados usando la clave de descifrado.
De manera más específica, se llevan a cabo las siguientes verificaciones.
(1)
Una verificación de si la información de identificación de la tarjeta de memoria de semiconductores contenida en la información de clave pública coincide con el número de identificación de la tarjeta de memoria de semiconductores almacenada de manera preliminar en la tarjeta de memoria de semiconductores.
(2)
Una verificación de si el valor de refundición de la información de clave, pública calculada en el dispositivo de reproducción coincide con el valor de refundición incluido en la información de firma.
(3)
Una verificación, sobre la base de la información incluida en la lista de dispositivos, de si el dispositivo de reproducción para llevar a cabo la reproducción es auténtico (por ejemplo, la clave de dispositivo que se muestra en la lista de dispositivos incluida en la información de clave pública coincide con la clave de dispositivo almacenada de manera preliminar en el dispositivo de reproducción).
Estas verificaciones pueden llevarse a cabo en cualquier orden.
Después de las verificaciones (1) a (3) que se han descrito en lo que antecede, el dispositivo de reproducción lleva a cabo un control no para descifrar los datos cifrados cuando cualquiera de las condiciones siguientes sea satisfecha:
(i) que la información de identificación de la tarjeta de memoria de semiconductores contenida en la información de clave pública no coincida con el número de identificación de la tarjeta de memoria de semiconductores almacenado de manera preliminar en la tarjeta de memoria de semiconductores, (ii) que el valor de refundición de la información de clave pública calculada en el dispositivo de reproducción no coincida con el valor de refundición incluido en la información de firma y (iii) que el dispositivo de reproducción para llevar a cabo la reproducción no sea auténtico.
Por otro lado, cuando todas las condiciones: (i) que la información de identificación de la tarjeta de memoria de semiconductores contenida en la información de clave pública coincida con el número de identificación de la tarjeta de memoria de semiconductores almacenado de manera preliminar en la tarjeta de memoria de semiconductores; (ii) que el valor de refundición de la información de clave pública calculada en el dispositivo de reproducción coincida con el valor de refundición incluido en la información de firma y (iii) que el dispositivo de reproducción para llevar a cabo la reproducción sea auténtico, se satisfacen, se evalúa que la combinación del número de identificación de la memoria de semiconductores, la clave pública contenida en la información de clave pública, y la clave de dispositivo que se graba de manera preliminar en el dispositivo de reproducción, es correcta, y los datos cifrados se descifran usando la clave necesaria para el descifrado (la clave de título que se obtiene al descifrar la clave de título cifrada usando la clave de dispositivo, el MKB y el número de identificación de la memoria de semiconductores).
Cuando los datos cifrados son, por ejemplo, un flujo de vídeo y un flujo de audio, el descodificador de vídeo descifra (descodifica) el flujo de vídeo usando la clave que se ha descrito en lo que antecede necesaria para el descifrado (la clave de título que se obtiene al descifrar la clave de título cifrada), y el descodificador de audio descifra (descodifica) el flujo de audio usando la clave que se ha descrito en lo que antecede necesaria para el descifrado.
Con esta estructura, cuando dispositivos, partes de los dispositivos y funciones (programas) que pudieran usarse de una manera no autorizada se conocen en el momento de la distribución electrónica, una lista de dispositivos que muestra estos dispositivos y similares puede ser distribuida. Esto hace posible que el dispositivo de reproducción que haya recibido la lista inhiba el descifrado con el uso de la información de clave pública (la propia clave pública) cuando el dispositivo de reproducción incluya cualquiera de lo que se muestra en la lista. Por lo tanto, incluso si la combinación del número de identificación de la memoria de semiconductores, la propia clave pública contenida en la información de clave pública y la clave de dispositivo que se graba de manera preliminar en el dispositivo de reproducción, es correcta, se lleva a cabo un control para no descifrar los datos cifrados. Esto hace posible evitar que los datos de distribución se usen por un dispositivo no auténtico.
Es preferible que el identificador de la tarjeta de memoria de semiconductores que se graba de manera preliminar en la tarjeta de memoria de semiconductores se almacene en un área de grabación sumamente segura. Esto se debe a que, cuando el número de identificación (por ejemplo, el número de serie de la tarjeta de memoria SD) que se graba de manera preliminar en la tarjeta de memoria de semiconductores se manipula de manera indebida, la copia no autorizada se vuelve fácil. De manera más específica, números de identificación únicos aunque diferentes se asignan respectivamente a tarjetas de memoria de semiconductores, si los números de identificación se manipulan de manera indebida para que sean iguales, la evaluación que se ha descrito en lo que antecede en (1) no tiene sentido, y tantas tarjetas de memoria de semiconductores como manipulaciones indebidas pueden copiarse de una manera no autorizada.
Por esta razón, es preferible que información tal como el número de identificación de la tarjeta de memoria de semiconductores se almacene en un área de grabación sumamente segura.
Para lograr esto, la tarjeta de memoria de semiconductores, por ejemplo, puede tener una estructura en la cual un área de grabación para grabar datos sumamente confidenciales tales como el identificador de la tarjeta de memoria de semiconductores (en lo sucesivo en el presente documento, se hace referencia al área de grabación como una segunda área de grabación) se proporcione por separado desde un área de grabación para grabar datos regulares (en lo sucesivo en el presente documento, se hace referencia al área de grabación como una primera área de grabación), un circuito de control para controlar accesos a la segunda área de grabación se proporciona, y la segunda área de grabación es accesible sólo a través del circuito de control.
Por ejemplo, datos pueden cifrarse de tal manera que se graben datos cifrados en la segunda área de grabación, y el circuito de control puede integrarse con un circuito para descifrar los datos cifrados. En esta estructura, cuando se hace un acceso a la segunda área de grabación, el circuito de control descifra los datos cifrados y devuelve datos descifrados. Como otro ejemplo, el circuito de control puede contener información que indique la ubicación donde se almacenan los datos en la segunda área de grabación, y cuando se haga un acceso a la segunda área de grabación, el circuito de control identifica la ubicación de almacenamiento correspondiente de los datos, y devuelve datos que se leen de la ubicación de almacenamiento identificada
Una aplicación, la cual se esté ejecutando en el dispositivo de reproducción y sea para grabar datos en la tarjeta de memoria de semiconductores con el uso de la distribución electrónica, envía, al circuito de control por medio de una interfaz de tarjeta de memoria, una solicitud de acceso que solicita acceder a los datos (por ejemplo, el número de identificación de la tarjeta de memoria de semiconductores) grabados en la segunda área de grabación. Después de recibir la solicitud, el circuito de control lee los datos de la segunda área de grabación y devuelve los datos a la aplicación que se ejecuta en el dispositivo de reproducción. Envía” el número de identificación de la tarjeta de memoria de semiconductores y solicita al servidor de distribución distribuir los datos tales como la información de clave pública y datos de distribución correspondientes. La información de clave pública y datos de distribución correspondientes que se envían desde el servidor de distribución se graban en la primera área de grabación.
Asimismo, es preferible que la aplicación, la cual se está ejecutando en el dispositivo de reproducción y que va a grabar datos en la tarjeta de memoria de semiconductores con el uso de la distribución electrónica, verifique de manera preliminar si la aplicación se ha manipulado de manera indebida o no antes de enviar, al circuito de control por medio de la interfaz de tarjeta de memoria, una solicitud de acceso que solicite acceder a los datos (por ejemplo, el número de identificación de la tarjeta de memoria de semiconductores) grabados en la segunda área de grabación. Para verificar esto, puede usarse un certificado digital existente que sea conforme a la norma X.509, por ejemplo.
Igualmente, puede que se acceda a los datos de distribución grabados en la primera área de grabación de la tarjeta de memoria de semiconductores no necesariamente por medio del circuito de control provisto en la tarjeta de memoria de semiconductores.
El medio de grabación de información de la presente invención almacena una imagen de 3D, pero puede reproducirse tanto en dispositivos de reproducción de imágenes de 2D como en dispositivos de reproducción de imágenes de 3D. Esto hace posible distribuir contenidos cinematográficos tales como títulos de películas que almacenen imágenes de 3D, sin dar lugar a que los consumidores sean conscientes de la compatibilidad. Esto activa el mercado cinematográfico y el mercado de dispositivos comerciales. En consecuencia, el medio de grabación y el dispositivo de reproducción de la presente invención tienen una alta susceptibilidad de uso en la industria cinematográfica y en la industria de los dispositivos comerciales.
[Lista de números de referencia]
100 medio de grabación 200 dispositivo de reproducción 300 dispositivo de presentación visual 400 gafas de 3D 500 control remoto

Claims (10)

  1. REIVINDICACIONES
    1.
    Un dispositivo de reproducción (200) para reproducir un flujo de vídeo de vista principal, un flujo de vídeo de vista secundaria, un flujo de gráficos y una información de listas de reproducción, en el que el flujo de vídeo de vista principal incluye unos datos de imagen que constituyen una vista principal de una imagen estereoscópica; el flujo de vídeo de vista secundaria incluye unos datos de imagen que constituyen una vista secundaria de la imagen estereoscópica; el flujo de gráficos incluye unos datos de gráficos; la información de listas de reproducción es una información que define unas secciones de reproducción en el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria e incluye una información de control que define un control de desplazamiento que aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en el plano de gráficos (37, 39) del dispositivo de reproducción (200) en el que se dibujan los datos de gráficos cuando el plano de gráficos (37, 39) se superpone con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria del dispositivo de reproducción (200) en el que se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria; y la información de control incluye una información que indica, mediante un número de píxeles, valores de los desplazamientos que se aplicarán al plano de gráficos (37, 39); el dispositivo de reproducción (200) comprende:
    un descodificador de vídeo (31, 32) que funciona para obtener los datos de imagen que constituyen la vista principal y los datos de imagen que constituyen la vista secundaria mediante la descodificación del flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria; un descodificador de gráficos (36, 38) que funciona para obtener los datos de gráficos mediante la descodificación del flujo de gráficos; el plano de vídeo de vista principal (32, 33) en el que se dibujan los datos de imagen que constituyen la vista principal; el plano de vídeo de vista secundaria (35) en el que se dibujan los datos de imagen que constituyen la vista secundaria; el plano de gráficos (37, 39) en el que se dibujan los datos de gráficos; y una unidad de superposición (5b) que funciona para superponer el plano de gráficos (37, 39) con el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria; en el que la unidad de superposición (5b), de acuerdo con la información de control, aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a las coordenadas horizontales en el plano de gráficos (37, 39), y superpone los planos de gráficos resultantes (37, 39) con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria, respectivamente.
  2. 2.
    El dispositivo de reproducción (200) de la reivindicación 1, en el que la información de control incluye además una información que define las direcciones de los desplazamientos que se aplicarán al plano de gráficos (37, 39), y la unidad de superposición (5b), de acuerdo con la información de control, aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a las coordenadas horizontales en el plano de gráficos (37, 39), y superpone los planos de gráficos resultantes (37, 39) con el plano de vídeo de vista principal (206) y el plano de vídeo de vista secundaria (206), respectivamente.
  3. 3.
    El dispositivo de reproducción (200) de la reivindicación 2, en el que un modo de reproducción estereoscópica incluye:
    un modo de reproducción principal-secundaria en el que la imagen estereoscópica se reproduce mediante el uso de la vista principal y la vista secundaria; y un modo de reproducción principal-principal en el que la imagen estereoscópica se reproduce mediante el uso de solo la vista principal, la información de control define un control de desplazamiento que va a realizarse sobre el plano de gráficos (37, 39) cuando los gráficos son un menú emergente, y el modo de reproducción estereoscópica es el modo de reproducción principal-principal, y cuando los gráficos son un menú emergente y el modo de reproducción estereoscópica es el modo de reproducción principal-principal, la unidad de superposición (5b), de acuerdo con la información de control, aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a las coordenadas horizontales en el plano de gráficos (37, 39), y superpone los planos de gráficos resultantes (37, 39) con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria, respectivamente.
  4. 4.
    El dispositivo de reproducción (200) de cualquiera de las reivindicaciones 1 a 3, en el que la información de listas de reproducción incluye una tabla de selección de flujos; la tabla de selección de flujos indica números de flujos de flujos elementales reproducibles, y la información de control está asociada con los números de flujos en la tabla de selección de flujos; el dispositivo de reproducción (200) comprende un registro de números de flujos; y después de que se almacene un número de flujos en un registro de números de flujos, la unidad de superposición
    104
    (5b), de acuerdo con un fragmento de información de control que está asociado con el número de flujos almacenado en el registro de números de flujos, aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a las coordenadas horizontales en el plano de gráficos (37, 39), y superpone los planos de gráficos resultantes (37, 39) con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria, respectivamente.
  5. 5.
    Un medio de grabación (100) en el que se graban un flujo de vídeo de vista principal, un flujo de vídeo de vista secundaria, un flujo de gráficos y una información de listas de reproducción, en el que el flujo de vídeo de vista principal incluye unos datos de imagen que constituyen una vista principal de una imagen estereoscópica; el flujo de vídeo de vista secundaria incluye unos datos de imagen que constituyen una vista secundaria de la imagen estereoscópica; el flujo de gráficos incluye unos datos de gráficos; la información de listas de reproducción es una información que define unas secciones de reproducción en el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria e incluye una información de control que define un control de desplazamiento que aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en el plano de gráficos (37, 39) del dispositivo de reproducción (200) en el que se dibujan los datos de gráficos cuando el plano de gráficos (37, 39) se superpone con el plano de vídeo de vista principal y el plano de vídeo de vista secundaria del dispositivo de reproducción (200) en el que se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria; y la información de control incluye una información que indica, mediante un número de píxeles, valores de los desplazamientos que se aplicarán al plano de gráficos (37, 39).
  6. 6.
    El medio de grabación de la reivindicación 5, en el que la información de control incluye además una información que define las direcciones de los desplazamientos que se aplicarán al plano de gráficos (37, 39).
  7. 7.
    El medio de grabación de la reivindicación 6, en el que un modo de reproducción estereoscópica incluye: un modo de reproducción principal-secundaria en el que la imagen estereoscópica se reproduce mediante el uso de la vista principal y la vista secundaria; y un modo de reproducción principal-principal en el que la imagen estereoscópica se reproduce mediante el uso de solo la vista principal, y la información de control define un control de desplazamiento que va a realizarse sobre el plano de gráficos (37, 39) cuando los gráficos son un menú emergente, y el modo de reproducción estereoscópica es el modo de reproducción principal-principal.
  8. 8.
    El medio de grabación de cualquiera de las reivindicaciones 5 a 7, en el que la información de listas de reproducción incluye una tabla de selección de flujos, y la tabla de selección de flujos indica números de flujos de flujos elementales reproducibles, y la información de control está asociada con los números de flujos en la tabla de selección de flujos.
  9. 9.
    Un sistema de reproducción de medio de grabación que incluye:
    un medio de grabación de acuerdo con cualquiera de las reivindicaciones 5 a 8; y un dispositivo de reproducción de acuerdo con cualquiera de las reivindicaciones 1 a 4 para reproducir el medio de grabación.
  10. 10.
    Un método para grabar un flujo de vídeo de vista principal, un flujo de vídeo de vista secundaria, un flujo de gráficos y una información de listas de reproducción sobre un medio de grabación (100), comprendiendo el método las etapas de:
    generar el flujo de vídeo de vista principal que incluye unos datos de imagen que constituyen una vista principal de una imagen estereoscópica; generar el flujo de vídeo de vista secundaria que incluye unos datos de imagen que constituyen una vista secundaria de la imagen estereoscópica; generar el flujo de gráficos que incluye unos datos de gráficos; grabar el flujo de vídeo de vista principal; grabar el flujo de vídeo de vista secundaria; grabar el flujo de gráficos; y grabar la información de listas de reproducción; en el que la información de listas de reproducción es una información que define unas secciones de reproducción en el flujo de vídeo de vista principal y el flujo de vídeo de vista secundaria e incluye una información de control que define un control de desplazamiento que aplica unos desplazamientos de direcciones hacia la izquierda y hacia la derecha a coordenadas horizontales en un plano de gráficos (37, 39) de un dispositivo de reproducción
    (200) en el que se dibujan los datos de gráficos cuando el plano de gráficos (37, 39) se superpone con un plano de vídeo de vista principal y un plano de vídeo de vista secundaria del dispositivo de reproducción (200) en el que se dibujan, respectivamente, los datos de imagen que constituyen la vista principal y la vista secundaria, y la información de control incluye una información que indica, mediante un número de píxeles, valores de los desplazamientos que se aplicarán al plano de gráficos (37, 39).
    105
ES12174659.8T 2009-02-19 2010-02-15 Medio de grabación, dispositivo de reproducción y método de grabación Active ES2491067T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009037225 2009-02-19
JP2009037225 2009-02-19
JP2009066885 2009-03-18
JP2009066885 2009-03-18

Publications (1)

Publication Number Publication Date
ES2491067T3 true ES2491067T3 (es) 2014-09-05

Family

ID=42633700

Family Applications (3)

Application Number Title Priority Date Filing Date
ES12174660T Active ES2467149T3 (es) 2009-02-19 2010-02-15 Dispositivo de reproducción y medio de grabación
ES12174659.8T Active ES2491067T3 (es) 2009-02-19 2010-02-15 Medio de grabación, dispositivo de reproducción y método de grabación
ES10743541T Active ES2439316T3 (es) 2009-02-19 2010-02-15 Medio de grabación y dispositivo de reproducción

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES12174660T Active ES2467149T3 (es) 2009-02-19 2010-02-15 Dispositivo de reproducción y medio de grabación

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES10743541T Active ES2439316T3 (es) 2009-02-19 2010-02-15 Medio de grabación y dispositivo de reproducción

Country Status (14)

Country Link
US (3) US8712215B2 (es)
EP (6) EP2521366B1 (es)
JP (8) JP4588120B2 (es)
KR (1) KR20110126518A (es)
CN (6) CN102017641B (es)
AU (1) AU2010216963A1 (es)
BR (1) BRPI1001265A2 (es)
DK (1) DK2521364T3 (es)
ES (3) ES2467149T3 (es)
MX (1) MX2010011683A (es)
RU (1) RU2522304C2 (es)
TW (1) TW201123841A (es)
WO (1) WO2010095411A1 (es)
ZA (3) ZA201007461B (es)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101828229B (zh) * 2008-09-30 2012-10-24 松下电器产业株式会社 记录有3d影像的记录介质、再现3d影像的再现装置及系统lsi
JP2010244630A (ja) * 2009-04-07 2010-10-28 Sony Corp 情報処理装置、情報処理方法、プログラム、及び、データ構造
JP4984183B2 (ja) 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4985895B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
JP4985887B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 記録方法
JP2010268431A (ja) * 2009-04-15 2010-11-25 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP2011041249A (ja) 2009-05-12 2011-02-24 Sony Corp データ構造および記録媒体、並びに、再生装置、再生方法、プログラム、およびプログラム格納媒体
RU2538307C2 (ru) * 2009-05-12 2015-01-10 Сони Корпорейшн Структура данных и носитель данных, воспроизводящее устройство, способ воспроизведения, программа и носитель для хранения программы
US8208790B2 (en) 2009-05-19 2012-06-26 Panasonic Corporation Recording medium, reproducing device, encoding device, integrated circuit, and reproduction output device
JP2011107589A (ja) * 2009-11-20 2011-06-02 Sony Corp 立体表示装置
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
US8878913B2 (en) * 2010-03-12 2014-11-04 Sony Corporation Extended command stream for closed caption disparity
JP5604173B2 (ja) * 2010-04-30 2014-10-08 三洋電機株式会社 再生装置、表示装置、記録装置及び格納媒体
KR20120017228A (ko) * 2010-08-18 2012-02-28 엘지전자 주식회사 이동 단말기 및 상기 이동 단말기의 영상 표시 방법
KR102000618B1 (ko) * 2010-09-13 2019-10-21 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
JP5594045B2 (ja) * 2010-10-14 2014-09-24 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP2012099986A (ja) * 2010-10-29 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20120120050A1 (en) * 2010-11-12 2012-05-17 Nokia Corporation Dual-mode two-dimensional/three-dimensional display
US8705946B2 (en) 2010-11-19 2014-04-22 Sony Corporation 3D authoring tool ensuring no buffer underrun upon jumps
US9491437B2 (en) 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
JP2012151663A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 立体音響生成装置及び立体音響生成方法
JP5685969B2 (ja) * 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
BR112013027226A2 (pt) 2011-04-28 2016-12-27 Panasonic Corp dispositivo de processamento de vídeo e método de processamento de vídeo
US20120293636A1 (en) * 2011-05-19 2012-11-22 Comcast Cable Communications, Llc Automatic 3-Dimensional Z-Axis Settings
WO2012160812A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路
EP2750389A4 (en) * 2011-08-24 2014-09-24 Panasonic Corp RECORDING MEDIUM, READING DEVICE, RECORDING DEVICE, AND RECORDING METHOD
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
KR101287786B1 (ko) * 2011-09-22 2013-07-18 엘지전자 주식회사 3차원 입체영상 표시 방법 및 그를 이용한 영상 표시 장치
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
CN103931200A (zh) * 2011-11-14 2014-07-16 摩托罗拉移动有限责任公司 Mvc立体视图与用于3dtv的左或右眼显示器的关联
US8762452B2 (en) * 2011-12-19 2014-06-24 Ericsson Television Inc. Virtualization in adaptive stream creation and delivery
WO2013108633A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 送信装置、映像表示装置、送信方法、映像処理方法、映像処理プログラム及び集積回路
KR101699367B1 (ko) * 2012-05-16 2017-02-14 한국전자통신연구원 3dtv 다중화 방법 및 그 장치
US9936196B2 (en) 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
KR101775938B1 (ko) 2013-07-30 2017-09-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들
US9716885B2 (en) * 2013-07-31 2017-07-25 Empire Technology Development Llc Encoding scheme
US9712843B2 (en) * 2013-10-23 2017-07-18 Qualcomm Incorporated Multi-layer video file format designs
US9503705B2 (en) * 2013-12-12 2016-11-22 Lenovo (Singapore) Pte. Ltd. Stereoscopic image generation
US10298546B2 (en) * 2014-03-07 2019-05-21 Toshiba Memory Corporation Asymmetrical encryption of storage system to protect copyright and personal information
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US9674099B2 (en) * 2014-09-25 2017-06-06 Microsoft Technology Licensing, Llc Network classification for applications
CN107431826B (zh) * 2015-02-16 2020-06-02 寰发股份有限公司 视频数据编解码方法及其装置
CN106296781B (zh) * 2015-05-27 2020-09-22 深圳超多维科技有限公司 特效图像生成方法及电子设备
EP3099081B1 (en) * 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
DE112016002868T5 (de) * 2015-06-25 2018-03-08 Mitsubishi Electric Corporation Videowiedergabevorrichtung und Videowiedergabeverfahren
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11783864B2 (en) * 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US9507241B1 (en) 2015-11-17 2016-11-29 Lenovo (Singapore) Pte, Ltd. Adjustable camera field of view
CN105635620A (zh) * 2016-01-18 2016-06-01 北京优祥智恒科技有限公司 一种支持音频透传sdi输出的装置和方法
EP3410730A4 (en) * 2016-01-26 2018-12-26 Sony Corporation Reception device, reception method, and transmission device
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
GB2558236B (en) 2016-12-22 2021-03-31 Apical Ltd Image data comprising encoded image data and additional data for modification of image
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107231516A (zh) * 2017-07-27 2017-10-03 重庆万建电子工程有限责任公司重庆第分公司 带刮灰结构的半球型摄像机
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
KR102201763B1 (ko) * 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US11347788B2 (en) * 2019-01-16 2022-05-31 Toyota Research Institute, Inc. Systems and methods for generating a requested image view
CN110231905B (zh) * 2019-05-07 2021-02-09 华为技术有限公司 一种截屏方法及电子设备
CN111626049B (zh) * 2020-05-27 2022-12-16 深圳市雅阅科技有限公司 多媒体信息的标题修正方法、装置、电子设备及存储介质
TWI790600B (zh) * 2021-04-21 2023-01-21 宏芯科技股份有限公司 區域式視訊影像插補裝置及其方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930010608A (ko) * 1991-11-04 1993-06-22 이승 카 메 라
US6052100A (en) 1994-03-16 2000-04-18 The United States Of America Represented By The Secertary Of The Navy Computer controlled three-dimensional volumetric display
US6502199B2 (en) 1995-09-29 2002-12-31 Matsushita Electric Industrial Co., Ltd. Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
KR100348922B1 (ko) * 1996-02-28 2002-11-18 마쯔시다덴기산교 가부시키가이샤 고해상도및입체영상기록용광디스크,광디스크재생장치및광디스크기록장치
EP2180717B1 (en) 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JPH10234058A (ja) * 1997-02-18 1998-09-02 Ikegami Tsushinki Co Ltd 立体映像への文字付加装置及びその装置を備えたカラオケ装置
DE69841532D1 (de) 1997-08-29 2010-04-15 Panasonic Corp Optische Platte mit hierarchisch codiertem digitalen Videosignal, Wiedergabevorrichtung und Aufnahmevorrichtung für die optische Platte
JPH11289555A (ja) 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US6956964B2 (en) * 2001-11-08 2005-10-18 Silicon Intergrated Systems Corp. Apparatus for producing real-time anaglyphs
AU2003231508A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
WO2004107271A1 (ja) 2003-05-30 2004-12-09 Lattice Technology, Inc. 3次元グラフィックスデータ表示装置
CA2510639C (en) * 2003-07-07 2011-08-30 Samsung Electronics Co., Ltd. Information storage medium storing multi angle data, and recording method and reproducing apparatus thereof
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
CN101414473B (zh) 2004-06-18 2013-01-23 松下电器产业株式会社 再现装置、程序、再现方法
US7609947B2 (en) 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources
KR100657322B1 (ko) 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP4476905B2 (ja) * 2005-08-31 2010-06-09 株式会社東芝 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム
KR101353193B1 (ko) * 2006-03-29 2014-01-21 톰슨 라이센싱 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
KR101377736B1 (ko) * 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
JP4930320B2 (ja) * 2006-11-30 2012-05-16 ソニー株式会社 再生方法及び装置、プログラム並びに記録媒体
WO2008114595A1 (ja) * 2007-03-22 2008-09-25 Mitsubishi Electric Corporation 映像再生装置および映像再生方法
JP2008244835A (ja) 2007-03-27 2008-10-09 Toshiba Corp 立体表示装置および立体画像表示方法
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2010032399A1 (ja) * 2008-09-18 2010-03-25 パナソニック株式会社 立体視映像再生装置、及び立体視映像表示装置

Also Published As

Publication number Publication date
JP4588120B2 (ja) 2010-11-24
JP2012178847A (ja) 2012-09-13
CN102833572A (zh) 2012-12-19
JP2010288289A (ja) 2010-12-24
CN102017641B (zh) 2012-08-22
CN102685514A (zh) 2012-09-19
EP2400773A4 (en) 2012-11-07
MX2010011683A (es) 2010-11-30
RU2522304C2 (ru) 2014-07-10
CN102685515A (zh) 2012-09-19
JP5038543B2 (ja) 2012-10-03
ES2467149T3 (es) 2014-06-12
US8705935B2 (en) 2014-04-22
EP2400773A1 (en) 2011-12-28
EP2521365A1 (en) 2012-11-07
EP2521364B1 (en) 2014-07-23
JP5027952B2 (ja) 2012-09-19
CN102790902A (zh) 2012-11-21
JP2010246157A (ja) 2010-10-28
JPWO2010095411A1 (ja) 2012-08-23
TW201123841A (en) 2011-07-01
EP2521363B1 (en) 2014-05-14
KR20110126518A (ko) 2011-11-23
JP4634534B2 (ja) 2011-02-16
CN102685515B (zh) 2013-11-20
CN102833573B (zh) 2013-09-25
JP2011097595A (ja) 2011-05-12
RU2010144544A (ru) 2013-03-27
JP2012157069A (ja) 2012-08-16
JP5027953B2 (ja) 2012-09-19
EP2521366B1 (en) 2014-09-17
EP2400773B1 (en) 2013-11-20
ZA201007461B (en) 2012-01-25
EP2521365B1 (en) 2014-05-14
JP2010288290A (ja) 2010-12-24
CN102833572B (zh) 2013-09-25
JP5416073B2 (ja) 2014-02-12
BRPI1001265A2 (pt) 2016-02-16
WO2010095411A1 (ja) 2010-08-26
EP2521366A1 (en) 2012-11-07
CN102017641A (zh) 2011-04-13
US20120293614A1 (en) 2012-11-22
AU2010216963A1 (en) 2010-08-26
EP2521367A1 (en) 2012-11-07
CN102685514B (zh) 2014-02-19
ES2439316T3 (es) 2014-01-22
JP4654320B2 (ja) 2011-03-16
US8712215B2 (en) 2014-04-29
US20110033170A1 (en) 2011-02-10
EP2521367B1 (en) 2014-05-14
US20120287127A1 (en) 2012-11-15
JP2012178848A (ja) 2012-09-13
CN102790902B (zh) 2014-04-30
ZA201106914B (en) 2012-05-30
DK2521364T3 (da) 2014-10-20
EP2521363A1 (en) 2012-11-07
JP4629805B2 (ja) 2011-02-09
ZA201106913B (en) 2012-05-30
CN102833573A (zh) 2012-12-19
EP2521364A1 (en) 2012-11-07

Similar Documents

Publication Publication Date Title
ES2491067T3 (es) Medio de grabación, dispositivo de reproducción y método de grabación
ES2526441T3 (es) Medio de grabación, dispositivo de reproducción y circuito integrado
JP5451667B2 (ja) 3d映像を再生するための半導体集積回路
ES2547545T3 (es) Medio de grabación, dispositivo de reproducción y circuito integrado
WO2010095410A1 (ja) 記録媒体、再生装置、集積回路
EP2355533A1 (en) Recording medium, reproduction device, system lsi, reproduction method, spectacle, and display device associated with 3d video