ES3034522T3 - Data processing method, device and apparatus for immersive media, and storage medium - Google Patents

Data processing method, device and apparatus for immersive media, and storage medium

Info

Publication number
ES3034522T3
ES3034522T3 ES21817039T ES21817039T ES3034522T3 ES 3034522 T3 ES3034522 T3 ES 3034522T3 ES 21817039 T ES21817039 T ES 21817039T ES 21817039 T ES21817039 T ES 21817039T ES 3034522 T3 ES3034522 T3 ES 3034522T3
Authority
ES
Spain
Prior art keywords
zoom
media
region
immersive media
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21817039T
Other languages
English (en)
Inventor
Ying Hu
Xiaozhong Xu
Shan Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology (Shenzhen) Co Ltd
Original Assignee
Tencent Technology (Shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology (Shenzhen) Co Ltd filed Critical Tencent Technology (Shenzhen) Co Ltd
Application granted granted Critical
Publication of ES3034522T3 publication Critical patent/ES3034522T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

En realizaciones de la presente invención se proporciona un método de procesamiento de datos para un medio inmersivo y un aparato relacionado. El método comprende: adquirir un cuadro de datos de formato de archivo multimedia de un medio inmersivo, el cual comprende una política de escalado para la i-ésima región de escalado del medio inmersivo en un modo de escalado objetivo, donde i es un entero positivo; y escalar la i-ésima región de escalado del medio inmersivo según el cuadro de datos de formato de archivo multimedia. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método, dispositivo y aparato de procesamiento de datos para medios inmersivos y medio de almacenamiento
Campo de la tecnología
Esta descripción se refiere al campo de las tecnologías informáticas y al campo de las tecnologías de realidad virtual (RV) y, en particular, a un método, aparato y dispositivo de procesamiento de datos para medios inmersivos y a un medio de almacenamiento legible por ordenador.
Antecedentes de la descripción
En unas soluciones de transmisión para medios inmersivos de la técnica relacionada, se ha admitido hacer zoom iniciado por usuario de medios inmersivos. Para contenido de vídeo que admite hacer zoom en un tiempo de reproducción específico en una región de pantalla específica, un servidor puede preparar vídeos de una pluralidad de versiones de relación de zoom para la región. Cuando un usuario realiza una operación de zoom, un dispositivo de reproducción de contenido solicita al servidor los vídeos de todas las versiones de relación de zoom. Por último, en algunas realizaciones, el usuario decide presentar un vídeo con una relación de zoom específica y con una resolución específica a través de un comportamiento de zoom. Sin embargo, el comportamiento de zoom depende totalmente de una operación de zoom real del usuario. Como el comportamiento de zoom del usuario no puede conocerse de antemano antes de que realice un zoom, el dispositivo de reproducción de contenido tiene que solicitar primero unos vídeos en todas las resoluciones de zoom, lo que inevitablemente da lugar a un desperdicio de ancho de banda.
En el documento EP4.009.644 A1 (TENCENT TECH SHENZHEN CO LTD [CN]) se describen un método y un aparato para proporcionar unos medios inmersivos, un método y un aparato para obtener medios inmersivos, un dispositivo, y un medio de almacenamiento, que pueden seleccionar adaptativamente una resolución de un contenido de medios inmersivos según las capacidades de cliente.
CHENG HUANG Y COL., “ [OMAF] Support of spherical zooming for omnidirectional video” hace referencia a la identificación de una ampliación necesaria de la especificación OMAF para admitir un zoom de vídeo de 360°.
En el documento WO2019/192.321 A1 (ZTE CORP [CN]) se proporcionan un método, un aparato y un sistema de procesamiento de datos de vídeo que ejecutan una garantía de la calidad de un vídeo en el que se ha hecho zoom de una región de interés para un usuario y una coherencia de una operación de zoom de vídeo en una región esférica.
Resumen
Las realizaciones de esta descripción incluyen métodos, aparatos y dispositivos de procesamiento de datos para medios inmersivos y medios de almacenamiento legibles por ordenador, por ejemplo, para ahorrar ancho de banda de transmisión.
Las realizaciones de esta descripción proporcionan un método de procesamiento de datos para medios inmersivos aplicable a un dispositivo informático, incluyendo el método:
obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
En las realizaciones de esta descripción se obtiene una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios. En vista de lo anterior, en el modo de zoom objetivo, un cliente no necesita solicitar archivos encapsulados de todas las versiones de resolución de zoom, ahorrándose de este modo ancho de banda de transmisión.
Las realizaciones de esta descripción proporcionan además un método de procesamiento de datos para medios inmersivos aplicable a un dispositivo de reproducción de contenido, incluyendo el método:
obtener una información de zoom de unos medios inmersivos;
configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la iésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
añadir la caja de datos de formato de archivo de medios de los medios inmersivos a un archivo encapsulado de los medios inmersivos.
En las realizaciones de esta descripción se configura una caja de datos de formato de archivo de medios según unos medios inmersivos y una información de zoom de los medios inmersivos, y la caja de datos de formato de archivo de medios de los medios inmersivos se añade a un archivo encapsulado de los medios inmersivos. Por lo tanto, un dispositivo de reproducción de contenido puede solicitar a un servidor, según la caja de datos de formato de archivo de medios, un archivo de vídeo correspondiente a un modo de zoom objetivo con una resolución actual y consumirlo sin solicitar vídeos de todas las versiones de resolución de zoom, ahorrando de este modo en ancho de banda de transmisión.
Las realizaciones de esta descripción proporcionan un método de procesamiento de datos para medios inmersivos aplicable a un dispositivo de reproducción de contenido, incluyendo el método:
obtener un archivo encapsulado de unos medios inmersivos, incluyendo el archivo encapsulado una caja de datos de formato de archivo de medios de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
analizar el archivo encapsulado y visualizar los medios inmersivos analizados; y realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios en respuesta a una visualización de la i-ésima región de zoom de los medios inmersivos.
En las realizaciones de esta descripción se analiza un archivo encapsulado de unos medios inmersivos para obtener una caja de datos de formato de archivo de medios de los medios inmersivos y se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios. En vista de lo anterior, en el modo de zoom objetivo, un dispositivo de reproducción de contenido (cliente) no necesita solicitar vídeos de todas las versiones de resolución de zoom, ahorrando de este modo ancho de banda de transmisión. Además, cuando el cliente consume un archivo de vídeo correspondiente a un modo de zoom objetivo con una resolución actual, el cliente presenta automáticamente, según el modo de zoom objetivo, un efecto de zoom especificado por un productor de contenido de medios inmersivos, para que un usuario pueda obtener la mejor experiencia de visión.
Las realizaciones de esta descripción proporcionan un aparato de procesamiento de datos para medios inmersivos, que incluye:
una unidad de obtención, configurada para obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
una unidad de procesamiento, configurada para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
Las realizaciones de esta descripción proporcionan otro aparato de procesamiento de datos para medios inmersivos, que incluye:
una unidad de obtención, configurada para obtener una información de zoom de unos medios inmersivos; y
una unidad de procesamiento, configurada para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y añadir la caja de datos de formato de archivo de medios de los medios inmersivos a un archivo encapsulado de los medios inmersivos.
Las realizaciones de esta descripción proporcionan otro aparato de procesamiento de datos para medios inmersivos, que incluye:
una unidad de obtención, configurada para obtener un archivo encapsulado de unos medios inmersivos, incluyendo el archivo encapsulado una caja de datos de formato de archivo de medios de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
una unidad de procesamiento, configurada para analizar el archivo encapsulado y visualizar los medios inmersivos analizados; y realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios en respuesta a una visualización de la i-ésima región de zoom de los medios inmersivos.
Las realizaciones de esta descripción proporcionan un dispositivo de procesamiento de datos para medios inmersivos, que incluye:
uno o más procesadores y una o más memorias,
almacenando las una o más memorias al menos un segmento de un código de programa, siendo el al menos un segmento de un código de programa cargado y ejecutado por los uno o más procesadores, para ejecutar cualquiera de los métodos de procesamiento de datos para medios inmersivos proporcionados en las realizaciones de esta descripción.
Las realizaciones de esta descripción proporcionan además un medio de almacenamiento legible por ordenador, que almacena al menos un segmento de un código de programa, siendo el al menos un segmento de un código de programa cargado y ejecutado por un procesador, para ejecutar cualquiera de los métodos de procesamiento de datos para medios inmersivos proporcionados en las realizaciones de esta descripción.
En las realizaciones de esta descripción se amplían una caja de datos de formato de archivo de medios y un archivo de descripción de presentación de medios de unos medios inmersivos para admitir un modo de zoom objetivo (director), para que un dispositivo de producción de contenido pueda formular distintas políticas de zoom con distintas resoluciones para un usuario según una intención de un productor de contenido de medios inmersivos, y un cliente solicite a un servidor un archivo de vídeo correspondiente según una política de zoom correspondiente a una resolución actual y lo consume. En vista de lo anterior, en el modo de zoom objetivo, el cliente no necesita solicitar archivos encapsulados de todas las versiones de resolución de zoom, ahorrando de este modo ancho de banda de transmisión. Además, cuando el cliente consume un archivo encapsulado correspondiente a un modo de zoom objetivo con una resolución actual, el cliente presenta automáticamente, según el modo de zoom objetivo, un efecto de zoom especificado por un productor de contenido de medios inmersivos, para que el usuario pueda obtener la mejor experiencia de visión.
Breve descripción de los dibujos
La Figura 1A es un diagrama arquitectónico de un sistema de medios inmersivos según una realización de esta descripción.
La Figura 1B es un diagrama de bloques básico de una codificación de vídeo según una realización de esta descripción.
La Figura 1C es un diagrama esquemático de 6DoF según una realización de esta descripción.
La Figura 1D es un diagrama esquemático de 3DoF según una realización de esta descripción.
La Figura 1E es un diagrama esquemático de 3DoF+ según una realización de esta descripción.
La Figura 1F es un diagrama esquemático de una división de imagen de entrada según una realización de esta descripción.
La Figura 2 es un diagrama esquemático de la i-ésima región de zoom según una realización de esta descripción. La Figura 3 es un diagrama de flujo de un método de procesamiento de datos para medios inmersivos según una realización de esta descripción.
La Figura 4 es un diagrama de flujo de otro método de procesamiento de datos para medios inmersivos según una realización de esta descripción.
La Figura 5 es un diagrama de flujo de otro método de procesamiento de datos para medios inmersivos según una realización de esta descripción.
La Figura 6 es un diagrama estructural esquemático de un aparato de procesamiento de datos para medios inmersivos según una realización de esta descripción.
La Figura 7 es un diagrama estructural esquemático de otro aparato de procesamiento de datos para medios inmersivos según una realización de esta descripción.
La Figura 8 es un diagrama estructural esquemático de un dispositivo de producción de contenido según una realización de esta descripción.
La Figura 9 es un diagrama estructural esquemático de un dispositivo de reproducción de contenido según una realización de esta descripción.
Descripción de las realizaciones
Las soluciones técnicas proporcionadas en unas realizaciones de esta descripción se describen de forma clara y completa más adelante con referencia a los dibujos adjuntos en las realizaciones de esta descripción. Las realizaciones descritas son de simplemente algunas, más que de todas, las realizaciones de esta descripción. Otras realizaciones obtenidas por un experto normal en la técnica basándose en las realizaciones de esta descripción sin hacer esfuerzos creativos estarán dentro del ámbito de protección de esta descripción.
Las realizaciones de esta descripción se refieren a una tecnología de procesamiento de datos para medios inmersivos. Los denominados medios inmersivos pueden referirse a un archivo de medios que puede proporcionar un contenido de medios inmersivos para permitir a un usuario inmerso en el contenido de medios obtener experiencias visuales y auditivas y otras experiencias sensoriales en el mundo real. En algunas realizaciones, los medios inmersivos pueden ser medios inmersivos con tres grados de libertad (3DoF), medios inmersivos con 3DoF+ o medios inmersivos con 6DoF. El contenido de medios inmersivos incluye un contenido de vídeo representado de diversas formas en un espacio tridimensional (3D), por ejemplo, un contenido de vídeo 3D representado en forma de esfera. En algunas realizaciones, el contenido de medios inmersivos puede ser un contenido de vídeo de realidad virtual (RV), un contenido de vídeo panorámico, un contenido de vídeo esférico o un contenido de vídeo de 360 grados. Por lo tanto, los medios inmersivos también pueden denominarse vídeo de RV, vídeo panorámico, vídeo esférico o vídeo de 360 grados. Además, el contenido de medios inmersivos incluye además un contenido de audio sincronizado con el contenido de vídeo representado en el espacio 3D.
La Figura 1A es un diagrama arquitectónico de un sistema de medios inmersivos según una realización ilustrativa de esta descripción. Como se muestra en la Figura 1A, el sistema de medios inmersivos incluye un dispositivo de producción de contenido y un dispositivo de reproducción de contenido. El dispositivo de producción de contenido puede ser un dispositivo informático utilizado por un proveedor de medios inmersivos (p. ej., un productor de contenido de medios inmersivos). El dispositivo informático puede ser un terminal (p. ej., un ordenador personal [PC] o un dispositivo móvil inteligente [p. ej., un teléfono inteligente]) o un servidor. El dispositivo de reproducción de contenido puede ser un dispositivo informático utilizado por un usuario de medios inmersivos (p. ej., un usuario). El dispositivo informático puede ser un terminal (p. ej., un PC, un dispositivo móvil inteligente [como un teléfono inteligente] o un dispositivo de RV [p. ej., un casco de RV o unas gafas de RV]). Un procedimiento de procesamiento de datos para medios inmersivos incluye un procedimiento de procesamiento de datos en el lado del dispositivo de producción de contenido y un procedimiento de procesamiento de datos en el lado del dispositivo de reproducción de contenido.
El procedimiento de procesamiento de datos en el lado del dispositivo de producción de contenido incluye principalmente: (1) obtener y producir unos procedimientos para un contenido de medios de unos medios inmersivos; y (2) unos procedimientos de codificación y de encapsulación de archivos para los medios inmersivos. El procedimiento de procesamiento de datos en el lado del dispositivo de reproducción de contenido incluye principalmente: (3) unos procedimientos de desencapsulación de archivos y de decodificación para los medios inmersivos; y (4) un procedimiento de renderización para los medios inmersivos. Además, entre el dispositivo de producción de contenido y el dispositivo de reproducción de contenido interviene un procedimiento de transmisión de medios inmersivos. El procedimiento de transmisión puede llevarse a cabo basándose en diversos protocolos de transmisión. El protocolo de transmisión en la presente memoria puede incluir, aunque no de forma limitativa, el protocolo Dynamic Adaptive Streaming over HTTP (DASH), el protocolo HTTP Live Streaming (HLS), el protocolo Smart Media Transport Protocol (SMTP), el protocolo Transmission Control Protocol (TCP) y similares.
Los procedimientos que participan en los procedimientos de procesamiento de datos para medios inmersivos se describen en detalle, respectivamente, más adelante.
La Figura 1B es un diagrama de bloques básico de una codificación de vídeo según una realización ilustrativa de esta descripción. Los procedimientos que intervienen en los procedimientos de procesamiento de datos para medios inmersivos se describen detalladamente con referencia a la Figura 1A y la Figura 1B.
I. Procedimiento de procesamiento de datos en el lado del dispositivo de producción de contenido
(1) Obtención de contenido de medios de medios inmersivos
Los modos de obtención de contenido de medios de medios inmersivos pueden dividirse en dos modos: obtener el contenido de medios adquiriendo una escena audiovisual de un mundo real a través de un dispositivo de captura y generar el contenido de medios a través de un ordenador. En algunas realizaciones, el dispositivo de captura puede referirse a un conjunto de hardware dispuesto en el dispositivo de producción de contenido. Por ejemplo, dispositivo de captura se refiere a un micrófono, una cámara, un sensor o similar del terminal. En algunas realizaciones, el dispositivo de captura puede ser, de forma alternativa, un dispositivo de hardware conectado al dispositivo de producción de contenido, por ejemplo, una cámara conectada al servidor, y configurado para proporcionar un servicio de obtención de un contenido de medios de unos medios inmersivos para el dispositivo de producción de contenido. El dispositivo de captura puede incluir, pero no se limita a, un dispositivo de audio, un dispositivo de cámara y un dispositivo de detección. El dispositivo de audio puede incluir un sensor de audio, un micrófono o similares. El dispositivo de cámara puede incluir una cámara normal, una cámara estereoscópica, una cámara de campo luminoso o similares. El dispositivo de detección puede incluir un dispositivo láser, un dispositivo de radar o similares. Puede haber una pluralidad de dispositivos de captura. Los dispositivos de captura se instalan en algunas posiciones específicas en un espacio real para capturar simultáneamente contenido de audio y contenido de vídeo desde distintos ángulos en el espacio. El contenido de audio y el contenido de vídeo capturados se sincronizan temporal y espacialmente. Debido a los distintos modos de obtención, también pueden ser distintos modos de codificación por compresión correspondientes a contenido de medios de distintos medios inmersivos.
(2) Procedimiento de producción de contenido de medios de medios inmersivos
El contenido de audio capturado propiamente dicho es contenido adaptado para ser codificado para audio para medios inmersivos. Solo después de ser sometido a una serie de procedimientos de producción puede convertirse el contenido de vídeo capturado en un contenido adaptado para ser codificado por vídeo para los medios inmersivos. Los procedimientos de producción incluyen:
@ Concatenación. Como el contenido de vídeo capturado es fotografiado por los dispositivos de captura desde distintos ángulos, concatenación puede referirse a una concatenación del contenido de vídeo fotografiado desde los ángulos en un vídeo panorámico visual completo de 360 grados capaz de reflejar un espacio real. Es decir, el vídeo concatenado puede ser un vídeo panorámico (o un vídeo esférico) representado en un espacio 3D.
@ Proyección. Proyección puede referirse a un procedimiento de asignación de un vídeo 3D concatenado sobre una imagen bidimensional (2D). La imagen 2D formada a través de la proyección se puede denominar imagen proyectada. Un modo de proyección puede incluir, pero no se limita a, una proyección de mapa de latitud y longitud o una proyección de hexaedro regular.
Si los dispositivos de captura son adoptados, solo puede capturarse un vídeo panorámico. Después de que tal vídeo sea procesado por el dispositivo de producción de contenido y transmitido al dispositivo de reproducción de contenido para ser sometido a un procesamiento de datos correspondiente, un usuario en el lado del dispositivo de reproducción de contenido solo puede ver la información de vídeo de 360 grados realizando algunas acciones específicas (p. ej., rotar la cabeza) y no puede obtener un cambio de vídeo correspondiente realizando una acción no específica (p. ej., mover la cabeza), lo que se traduce en una mala experiencia de RV. Por lo tanto, es necesario proporcionar adicionalmente información de profundidad que coincida con la información de vídeo panorámico para permitir al usuario obtener una mejor inmersión y una mejor experiencia de RV, lo que implica una diversidad de tecnologías de producción. Las tecnologías de producción comunes incluyen una tecnología de producción de seis grados de libertad (6DoF). La Figura 1C es un diagrama esquemático de 6DoF según una realización ilustrativa de esta descripción.
6DoF se dividen en 6DoF de ventana, 6DoF omnidireccionales y 6DoF. 6DoF de ventana significa que movimientos rotacionales de un usuario alrededor de los ejes X e Y están restringidos y que unos movimientos traslacionales del usuario a lo largo de un eje Z están restringidos. Por ejemplo, un usuario no puede ver más allá de un marco de una ventana, y el usuario no puede atravesar la ventana. 6DoF omnidireccional significa que unos movimientos rotacionales de un usuario alrededor de unos ejes X, Y y Z están restringidos. Por ejemplo, en una región de movimientos restringidos, el usuario no puede pasar libremente a través del contenido 3D de RV de 360 grados. 6DoF significa que un usuario puede trasladarse libremente a lo largo de unos ejes X, Y y Z. Por ejemplo, el usuario puede caminar libremente en un contenido 3D de RV de 360 grados. Al igual que en el caso de 6DoF, también existen tecnologías de producción con 3DoF y con 3DoF+. La Figura 1C es un diagrama esquemático de 3DoF según una realización ilustrativa de esta descripción. Como se muestra en la Figura 1D, 3DoF significa que un usuario está fijo en un punto central de un espacio 3D y que la cabeza del usuario rota alrededor de unos ejes X, Y y Z para ver una pantalla proporcionada por contenido de medios. La Figura 1E es un diagrama esquemático de 3DoF+ según una realización ilustrativa de esta descripción. Como se muestra en la Figura 1E, 3DoF+ significa que, cuando una escena virtual proporcionada por medios inmersivos tiene una información de profundidad específica, la cabeza de un usuario puede moverse dentro de un espacio limitado basándose en 3DoF para ver una pantalla proporcionada por un contenido de medios.
(3) Procedimiento de codificación para un contenido de medios de medios inmersivos
La imagen proyectada puede codificarse directamente, o la imagen proyectada puede codificarse después de encapsularse regionalmente. En tecnologías de codificación de vídeo convencionales modernas en las que se utilizan, como ejemplo, la codificación High Efficiency Video Coding (HEVC), la codificación Versatile Video Coding (VVC) y el estándar Audio Video Coding Standard (AVS), se utiliza un marco de codificación híbrido para llevar a cabo una serie de operaciones y un procesamiento en una señal de vídeo original introducida como sigue:
1) Estructura de partición de bloques: una imagen introducida puede dividirse en una pluralidad de unidades de procesamiento que no se solapan según un tamaño de la unidad de procesamiento, y en todas las unidades de procesamiento se realizan unas operaciones de compresión parecidas. Tal unidad de procesamiento puede denominarse unidad de árbol de codificación (CTU) o unidad de codificación más grande (LCU). La CTU puede dividirse de forma aún más precisa para obtener una o más unidades de codificación básicas, que se denominan unidades de codificación (CU). Cada CU puede ser el elemento más básico en un proceso de codificación. La Figura 1F es un diagrama esquemático de una división de imagen de entrada según una realización de esta descripción. A continuación se describen varios modos de codificación posibles para cada CU.
2) Codificación predictiva: La codificación predictiva puede incluir modos tales como intrapredicción e interpredicción. Después de predecir una señal de vídeo original utilizando una señal de vídeo reconstruida seleccionada, se obtiene una señal de vídeo residual. El dispositivo de producción de contenido tiene que decidir, para una CU actual, seleccionar el más adecuado de una pluralidad de posibles modos de codificación predictiva e informar al dispositivo de reproducción de contenido.
a. Intrapredicción: una señal predicha proviene de una región en una misma imagen que ha sido codificada y reconstruida.
b. Interpredicción: una señal predicha proviene de otra imagen (denominada imagen de referencia) que se ha codificado y que es diferente de una imagen actual.
3) Transformada y cuantificación: en una señal de vídeo residual se puede realizar una operación de transformada, tal como una transformada discreta de Fourier (DFT) o una transformada discreta de coseno (DCT), para transformar la señal a un dominio de transformada, que se denomina coeficiente de transformada. Se realiza una operación cuantitativa con pérdidas en la señal en el dominio de transformada para perder algo de información, de modo que la señal cuantificada sea beneficiosa para una expresión comprimida. En algunas normas de codificación de vídeo, puede que haya más de un modo de transformada de entre los que seleccionar. Por lo tanto, el dispositivo de producción de contenido también tiene que seleccionar uno de los más de un modos de transformada para una CU actualmente codificada e informar al dispositivo de reproducción de contenido. La precisión de la cuantificación normalmente depende de un parámetro de cuantificación (QP). Un valor más grande del QP representa que unos coeficientes dentro de un intervalo más grande se cuantificarán como una misma salida y que, por lo tanto, esto puede traducirse normalmente en una mayor distorsión y en una velocidad binaria más pequeña. Por el contrario, un valor más pequeño del QP representa que unos coeficientes dentro de un intervalo más pequeño se cuantificarán como una misma salida y, por lo tanto, esto puede traducirse normalmente en una menor distorsión y corresponder a una velocidad binaria más grande.
4) Codificación por entropía o codificación estadística: en unas señales en el dominio de transformada cuantificadas puede realizarse una codificación por compresión estadística según frecuencias de aparición de valores y, por último, se da salida a un flujo de bits comprimido y binarizado (0 o 1). Además, también puede realizarse una codificación por entropía en otra información, tal como un modo seleccionado y un vector de movimiento, generado por codificación, para reducir una velocidad binaria. La codificación estadística es un modo de codificación sin pérdidas que puede reducir eficazmente la velocidad binaria requerida para expresar una misma señal. Modos de codificación estadística comunes incluyen la codificación de longitud variable (VLC) y codificación aritmética binaria adaptativa al contenido (CABAC).
5) Filtrado en bucle: en una imagen que se ha codificado pueden realizarse operaciones de cuantificación inversa, transformada inversa y compensación de predicción (operaciones inversas de las operaciones 2 a 4 anteriores) para obtener una imagen decodificada reconstruida. En comparación con una imagen original, una imagen reconstruida tiene cierta información diferente de la de la imagen original debido al impacto de la cuantificación, lo que se traduce en una distorsión. Realizar una operación de filtrado, por ejemplo, una reducción del efecto bloque, un filtrado por desplazamiento adaptativo de muestras (SAO) o un filtrado con filtro de bucle adaptativo (ALF), en la imagen reconstruida puede reducir eficazmente un grado de distorsión producido por la cuantificación. Como la imagen reconstruida filtrada se utiliza como referencia para codificar posteriormente una imagen y se utiliza para predecir una señal futura, la operación de filtrado anterior también se denomina filtrado en bucle, es decir, es una operación de filtrado en un bucle de codificación.
Cuando se adopta una tecnología de producción con seis grados de libertad (que se denomina 6DoF cuando un usuario puede moverse con mayor libertad en una escena simulada), en un procedimiento de codificación de vídeo es necesario adoptar un modo de codificación específico (p. ej., una codificación por nube de puntos) para la codificación.
(4) Procedimiento de encapsulación para medios inmersivos
Se encapsulan un flujo de bits de audio y un flujo de bits de vídeo según un formato de archivo de unos medios inmersivos (p. ej., el formato de archivo de medios base de la Organización Internacional de Normalización [ISO] [ISOBMFF]) en un contenedor de archivos para formar un recurso de archivo de medios de los medios inmersivos. El recurso de archivo de medios puede ser un archivo de medios o un segmento de medios que forma un archivo de medios de los medios inmersivos. Además, unos metadatos del recurso de archivo de medios de los medios inmersivos se registran utilizando una información descriptiva de presentación de medios (MPD) según unos requisitos del formato de archivo de los medios inmersivos. En la presente memoria, metadatos es un término general para una información relacionada con una presentación de los medios inmersivos. Los metadatos pueden incluir una información descriptiva para un contenido de medios, una información descriptiva para una ventana gráfica, una información de señalización relacionada con una presentación del contenido de medios y otra información por el estilo. Como se muestra en la Figura 1A, el dispositivo de producción de contenido almacenará la información descriptiva de presentación de medios y un recurso de archivo de medios formado después del procedimiento de procesamiento de datos.
II. Procedimiento de procesamiento de datos en el lado del dispositivo de reproducción de contenido:
(1) Procedimientos de desencapsulación y de decodificación de archivos para medios inmersivos
El dispositivo de reproducción de contenido puede obtener de forma dinámica y adaptativa del dispositivo de producción de contenido un recurso de archivo de medios de unos medios inmersivos y una información descriptiva correspondiente de presentación de medios según lo recomendado por el dispositivo de producción de contenido o según unos requisitos de usuario en el lado del dispositivo de reproducción de contenido. Por ejemplo, el dispositivo de reproducción de contenido puede determinar una orientación y una posición de un usuario según una información de seguimiento de la cabeza/ojo/cuerpo del usuario y, a continuación, solicitar dinámicamente del dispositivo de producción de contenido un correspondiente recurso de archivo de medios basándose en la orientación y la posición determinadas. El recurso del archivo de medios y la información descriptiva de presentación de medios se transmiten del dispositivo de producción de contenido al dispositivo de reproducción de contenido utilizando un mecanismo de transmisión (p. ej., DASH o SMT). El procedimiento de desencapsulación de archivos en el lado del dispositivo de reproducción de contenido es inverso al procedimiento de encapsulación de archivos en el lado del dispositivo de producción de contenido. El dispositivo de reproducción de contenido desencapsula el recurso del archivo de medios según unos requisitos del formato de archivo de los medios inmersivos para obtener un flujo de bits de audio y un flujo de bits de vídeo. El procedimiento de decodificación en el lado del dispositivo de reproducción de contenido es inverso al procedimiento de codificación en el lado del dispositivo de producción de contenido. El dispositivo de reproducción de contenido realiza una decodificación de audio en el flujo de bits de audio para restablecer el contenido de audio. Además, el procedimiento de decodificación del flujo de bits de vídeo por parte del dispositivo de reproducción de<contenido incluye lo siguiente: @ Decodificar el flujo de bits de vídeo para obtener una imagen proyectada en 2D.>@Se realiza una reconstrucción en la imagen proyectada según la información descriptiva de presentación de medios para convertir la imagen proyectada en una imagen 3D. En la presente memoria, reconstrucción se refiere a un procesamiento de reproyección de la imagen proyectada en 2D en un espacio 3D.
Según el procedimiento de codificación anterior, puede entenderse que, en el lado del dispositivo de reproducción de contenido, para cada CU, después de obtener un flujo de bits comprimido, el dispositivo de reproducción de contenido primero realiza una decodificación por entropía para obtener diversa información de modo y diversos coeficientes de transformada cuantificados. En los coeficientes se realizan una cuantificación inversa y una transformada inversa para obtener una señal residual. Por otro lado, puede obtenerse una señal predicha correspondiente a la CU según la información de modo de codificación, y puede obtenerse una señal reconstruida sumando la señal residual y la señal predicha. Por último, es necesario realizar una operación de filtrado en bucle en un valor reconstruido de la imagen decodificada antes de que se genere una señal de salida final.
(2) Procedimiento de renderización para los medios inmersivos
El dispositivo de reproducción de contenido renderiza un contenido de audio obtenido por decodificación de audio y una imagen 3D obtenida por decodificación de vídeo según metadatos relacionados con renderización y la ventana gráfica en la información descriptiva de presentación de medios y ejecuta una reproducción y una salida de la imagen 3D después de finalizar la renderización. Cuando se adoptan las tecnologías de producción con 3DoF y con 3DoF+, el dispositivo de reproducción de contenido renderiza sobre todo la imagen 3D basándose en un punto de vista actual, en un paralaje, en una información de profundidad y similares. Cuando se adopta la tecnología de producción con 6DoF, el dispositivo de reproducción de contenido renderiza sobre todo la imagen 3D en la ventana gráfica basándose en el punto de vista actual. Punto de vista se refiere a un punto de posición de visión del usuario. Paralaje se refiere a una diferencia entre líneas de visión causada por los dos ojos del usuario o a una diferencia entre líneas de visión generada debido a un movimiento. Ventana gráfica se refiere a una región vista.
El sistema de medios inmersivos admite la caja de datos. Caja de datos puede referirse a un bloque de datos o a un objeto que incluye unos metadatos. Es decir, la caja de datos incluye unos metadatos de un contenido de medios correspondiente. Los medios inmersivos pueden incluir una pluralidad de cajas de datos incluyendo, por ejemplo, una caja de datos de rotación, una caja de datos de información de cobertura, una caja de datos de formato de archivo de medios y similares. En un escenario del sistema de medios inmersivos, para mejorar la experiencia de visión de un usuario, un productor de contenido normalmente añade formas de presentación más diversas para el contenido de medios de unos medios inmersivos, y el zoom es una de las formas de presentación importantes. La política de zoom puede configurarse en la caja de datos de formato de medios de los medios inmersivos, por ejemplo, configurarse en una caja de datos de ISOBMFF. Puede configurarse una información descriptiva en un archivo de señalización de descripción de zoom correspondiente a la política de zoom, por ejemplo, configurarse en un descriptor de zoom en región esférica o en un descriptor de zoom en región 2D. Para conocer la sintaxis de la caja de datos de formato de archivo de medios de los medios inmersivos según unas normas de codificación relacionados (p. ej., AVS) para medios inmersivos, puede consultarse la Tabla 1 siguiente:
Tabla 1
_____________________________
Los significados semánticos de la sintaxis que se muestra en la Tabla 1 anterior son los siguientes: num_regions indica una cantidad de regiones esféricas correspondientes a un mismo vídeo omnidireccional o a una cantidad de regiones de zoom en unas regiones 2D de una imagen proyectada. zoom_reg_width[i] indica una anchura de la i-ésima región de zoom. zoom_reg_height[i] indica una altura de la i-ésima región de zoom. zoom_reg_top[i] indica un desplazamiento vertical de la i-ésima región de zoom. zoom_reg_left[i] indica un desplazamiento horizontal de la i-ésima región de zoom. La Figura 2 es un diagrama esquemático de la i-ésima región de zoom según una realización ilustrativa de esta descripción. Como se muestra en la Figura 2, 201 representa una anchura de una imagen proyectada a la que pertenece la i-ésima región de zoom, 202 representa una altura de la imagen proyectada a la que pertenece la i-ésima región de zoom, 203 representa el desplazamiento horizontal zoom_reg_left[i] de la i-ésima región de zoom, 204 representa el desplazamiento vertical zoom_reg_top[i] de la i-ésima región de zoom, 205 representa la altura zoom_reg_height[i] de la i-ésima región de zoom y 206 representa la anchura zoom_reg_width[i] de la i-ésima región de zoom; zoom_ratio indica una relación de zoom de la i-ésima región de zoom y está en una unidad de 2 a 3, siendo i un número entero positivo. Cuando zoom_ratio recibe un valor de 0, esto indica que un tamaño de la i-ésima región de zoom después de que se realice en la misma un procesamiento de zoom es igual que un tamaño de la misma en la que no se ha realizado ningún procesamiento de zoom. Cuando zoom_ratio recibe un valor distinto de 0, el valor de la relación de zoom indica una relación real o una relación aproximada entre el tamaño de la i-ésima región de zoom después de que se realice en la misma un procesamiento de zoom y el tamaño (tamaño original) de la misma en la que no se ha realizado ningún procesamiento de zoom; zoom_algorithm_type indica un tipo de algoritmo de zoom utilizado cuando se renderiza la i-ésima región de zoom. En la Tabla 2 se muestra una relación de asignación entre un valor del tipo de algoritmo de zoom y el tipo de algoritmo de zoom:
Tabla 2
zoom_symbolization_type indica un tipo de símbolo en el límite de la i-ésima región de zoom y zoom_area_type indica un tipo de la i-ésima región de zoom, y en la Tabla 3 se muestra una relación de mapeo entre un valor de zoom_algorithm_type y el tipo de la región de zoom:
Tabla 3
zoom_description contiene una descripción textual de la i-ésima región de zoom.
La información descriptiva correspondiente a una política de zoom de una caja de datos de formato de archivo de medios de unos medios inmersivos se almacena en un archivo de señalización de descripción de zoom de los medios inmersivos. El archivo de señalización de descripción de zoom puede incluir al menos uno de un descriptor de zoom en región esférica (SphereRegionZooming, o SRWZ) o un descriptor de zoom en región bidimensional (2D) (2dRegionZooming, o 2dWZ).
El descriptor de zoom en región esférica (SphereRegionZooming, SRWZ) es un elemento de propiedad complementaria (SupplementalProperty) cuyo identificador de plan (@schemeIdUri) es igual a “ urn:avs:ims:2018:srwz” . El descriptor SRWZ indica una región esférica de un vídeo omnidireccional en una pista de vídeo omnidireccional contenida por una jerarquía de representación correspondiente a la misma y una o más regiones de zoom de la región esférica en una imagen proyectada del vídeo omnidireccional.
Cuando hay un descriptor SRWZ aplicable a la jerarquía de representación y también existe una caja de datos de zoom de región esférica (SphereRegionZoomingBox) en una pista correspondiente a la jerarquía de representación, el descriptor SRWZ contiene una información que es equivalente a SphereRegionZoomingBox. El dispositivo de reproducción de contenido puede solicitar, según el descriptor SRWZ, obtener un archivo de vídeo correspondiente a una operación de zoom en región esférica en el vídeo omnidireccional. El descriptor SRWZ incluye los elementos y propiedades definidos en la Tabla 4 siguiente.
Tabla 4
El descriptor de zoom en región 2D (2dRegionZooming, 2DWZ) correspondiente a una caja de datos de formato de archivo de medios de unos medios inmersivos es un elemento de propiedad complementaria (SupplementalProperty), del que un identificador de plan (@schemeIdUri) es igual a “ urn:mpeg:mpeg:omaf:2018:2dwz” . El descriptor 2DWZ indica una región 2D en una imagen proyectada de un vídeo omnidireccional en una pista de vídeo omnidireccional contenida por una jerarquía de representación correspondiente a la misma y una o más regiones de zoom de la región 2D en la imagen proyectada del vídeo omnidireccional.
Cuando hay un descriptor 2DWZ aplicable a la jerarquía de representación y también existe una caja de datos de zoom de región 2D (2dRegionZoomingBox) en una pista correspondiente a la jerarquía de representación, el descriptor 2DWZ contiene una información equivalente a 2dRegionZoomingBox. El dispositivo de reproducción de contenido puede solicitar, según el descriptor 2DWZ, obtener un archivo de vídeo correspondiente a una operación de zoom en región 2D en la imagen proyectada del vídeo omnidireccional. El descriptor 2DWZ incluye los elementos y propiedades que se definen en la Tabla 5 siguiente.
Tabla 5
Según la caja de datos de formato de archivo de medios que se muestra en la Tabla 1, y con referencia a la información descriptiva en el descriptor de zoom en región esférica que se muestra en la Tabla 4 y el descriptor de zoom en región 2D que se muestra en la Tabla 5, en unos medios inmersivos solo puede admitirse una operación de zoom autónoma de un usuario en el lado del dispositivo de reproducción de contenido. Como puede aprenderse de lo anterior, un comportamiento de zoom autónomo de un usuario puede dar lugar a un desperdicio de ancho de banda, y no puede obtenerse una mejor experiencia de visión. Para ahorrar ancho de banda y, al mismo tiempo, mejorar la experiencia de visión del usuario, en las realizaciones de esta descripción se amplían la caja de datos de formato de archivo de medios y el archivo de descripción de presentación de medios de los medios inmersivos relacionados. Por ejemplo, para conocer los significados semánticos de la sintaxis de la caja de datos de formato de archivo de medios ampliada, puede consultarse la Tabla 6 que sigue:
Tabla 6
______________________________
Los significados semánticos de la sintaxis ampliada recién añadida a la Tabla 6 anterior en relación con la Tabla 1 son los puntos © a © que siguen:
© El campo indicador de zoom auto_zoom_flag indica si hay que habilitar un modo de zoom objetivo (p. ej., un modo de zoom de director). Cuando a auto_zoom_flag se establece un valor efectivo, esto indica que el modo de zoom objetivo está habilitado, es decir, que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom en el modo de zoom objetivo. Cuando a auto_zoom_flag se establece un valor ineficaz, esto indica que el modo de zoom objetivo está deshabilitado, es decir, que no es necesario realizar el procesamiento de zoom en la i-ésima región de zoom en el modo de zoom objetivo, siendo i un número entero positivo. El valor efectivo y el valor ineficaz se establecen según los requisitos de la norma de codificación. Utilizando el estándar AVS como ejemplo, el valor efectivo es 1 y el valor ineficaz es 0.
@ El campo etapas de zoom zoom_steps indica que una cantidad de etapas de zoom incluidas cuando el procesamiento de zoom se realiza en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo es m, siendo m un número entero positivo, y se utiliza para indicar que es necesario realizar m veces un procesamiento de zoom en la i-ésima región de zoom en el modo de zoom objetivo.
@ Cuando una etapa de zoom corresponde a un campo relación de zoom zoom_ratio, m etapas de zoom corresponden a m campos zoom_ratio. El j-ésimo campo relación de zoom indica una relación de zoom que se adopta cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. El campo zoom_ratio está en una unidad de 2 a 3, siendo j un número entero positivo y j < m. Cuando un valor del j-ésimo campo zoom_ratio es 0, el j-ésimo campo zoom_ratio indica que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo es igual que un tamaño de la misma antes de realizarse el procesamiento de zoom en la misma. Cuando el valor del j-ésimo campo zoom_ratio es distinto de 0, el j-ésimo campo zoom_ratio indica que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma es el valor del j-ésimo campo zoom_ratio.
© Cuando una etapa de zoom corresponde a una duración de zoom zoom_duration y a una unidad de medida de la duración zoom_duration_unit, m etapas de zoom corresponden a m campos zoom_duration y a m campos zoom_duration_unit. El j-ésimo campo zoom_duration indica un valor de una duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. Un valor del campo zoom_duration es un valor distinto de cero. El j-ésimo campo zoom_duration_unit se utiliza para indicar una unidad de medida de la duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, estando el campo zoom_duration_unit en una unidad de segundo y siendo el campo zoom_duration_unit un valor distinto de cero.
El archivo de señalización de descripción de zoom incluye al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región 2D. Para conocer los significados semánticos de la sintaxis ampliada del descriptor de zoom en región esférica, puede consultarse la Tabla 7 siguiente:
Tabla 7
Al compararse la Tabla 7 con la Tabla 4, puede verse que, en esta realización de esta descripción, al descriptor de zoom en región esférica ampliado se le ha añadido una información descriptiva de una política de zoom en el modo de zoom objetivo (p. ej., el modo de zoom de director) en relación con el descriptor de zoom en región esférica del estándar relacionado, e incluye los elementos y propiedades de la Tabla 7 anterior sphRegionZoom.ZoomInfo@auto_zoom_flag, sphRegionZoom.ZoomInfo@zoom_ratio, sphRegionZoom.ZoomInfo@zoom_duration y sphRegionZoom.ZoomInfo@zoom_duration_unit, así como unas descripciones relacionadas de los elementos y las propiedades.
Para conocer los significados semánticos de la sintaxis ampliada del descriptor de zoom en región 2D, puede consultarse la Tabla 8 siguiente:
Tabla 8
Al compararse la Tabla 8 con la Tabla 5, puede verse que, en esta realización de esta descripción, el descriptor de zoom en región 2D ampliado se añade a una información descriptiva de una política de zoom en el modo de zoom objetivo (p. ej., el modo de zoom de director) en relación con el descriptor de zoom de la región 2D del estándar relacionado, y que incluye los elementos y propiedades de la Tabla 8 anterior twoDRegionZoom.zoomInfo@auto_zoom_flag, twoDRegionZoom.zoomInfo@zoom_ratio, twoDRegionZoom.zoomInfo@zoom_duration y twoDRegionZoom.zoomInfo@zoom_duration_unit, así como descripciones relacionadas de los elementos y propiedades.
Según la caja de datos de formato de archivo de medios que se muestra en la Tabla 6 anterior en las realizaciones de esta descripción, y con referencia a las descripciones de la política de zoom en el descriptor de zoom en región esférica mostrado en la Tabla 7 y al descriptor de zoom de la región 2D mostrado en la Tabla 8, en el modo de zoom objetivo (p. ej., el modo de zoom de director), el usuario en el lado del dispositivo de reproducción de contenido puede obtener un archivo de vídeo correspondiente a una resolución actual en un lado de la dispositivo de reproducción de contenido basándose en un archivo MPD y lo consume sin solicitar vídeos de todas las versiones de resolución de zoom, ahorrando de este modo ancho de banda de transmisión. Además, cuando el dispositivo de reproducción de contenido consume un archivo de vídeo correspondiente a un modo de zoom objetivo con una resolución actual, el dispositivo de reproducción de contenido presenta automáticamente, según el modo de zoom objetivo, un efecto de zoom especificado por un productor de contenido de medios inmersivos, para que el usuario pueda obtener la mejor experiencia de visión.
La Figura 3 es un diagrama de flujo de un método de procesamiento de datos para medios inmersivos según una realización ilustrativa de esta descripción. El método puede ser realizado por el dispositivo de producción de contenido o por el dispositivo de reproducción de contenido en el sistema de medios inmersivos. El método incluye las siguientes etapas S301 y S302:
En la etapa S301 se obtiene una caja de datos de formato de archivo de medios de medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo.
En la etapa S302 se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
Para ver la sintaxis de la caja de datos de formato de archivo de medios de los medios inmersivos en las etapas S301 y S302, puede consultarse la Tabla 6 anterior. Modo de zoom objetivo se refiere a realizar un procesamiento de zoom en la i-ésima región de zoom según una política de zoom cuando la i-ésima región de zoom en los medios inmersivos satisface una condición de zoom (p. ej., un avance de reproducción de los medios inmersivos alcanza una posición preestablecida, o un campo visual del usuario pasa a la región preestablecida). La política de zoom se genera según información de zoom especificada por un productor de contenido de medios inmersivos. Por ejemplo, suponiendo que la información de zoom especificada por el productor de contenido de medios inmersivos sea que, cuando el campo visual del usuario gire a la i-ésima región de zoom, la i-ésima región de zoom se agrande 2 veces el tamaño original de la i-ésima región de zoom, la política de zoom correspondiente a la información de zoom contiene una información de posición (p. ej., coordenadas) de la i-ésima región de zoom, una condición de zoom, una información de tamaño (una anchura y una altura) y una relación de zoom.
En una ejecución, la caja de datos de formato de archivo de medios puede ser una caja de datos de formato de archivo de medios base ISO (ISOBMFF), y el modo de zoom objetivo puede ser un modo de zoom de director.
Antes de realizarse un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, primero puede obtenerse un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom. El archivo de señalización de descripción de zoom incluye al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región 2D. El descriptor de zoom en región esférica está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom de la región esférica en la jerarquía de representación es menor o igual que 1. Para conocer la sintaxis del descriptor de zoom en región esférica puede consultarse la Tabla 7. El descriptor de zoom en región 2D está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región 2D en la jerarquía de representación es menor o igual que 1. Para conocer la sintaxis del descriptor de zoom en región 2D, puede consultarse la Tabla 8. Una vez que el usuario habilita el modo de zoom objetivo, el dispositivo de reproducción de contenido presenta el archivo de medios inmersivos según el archivo de señalización de descripción de zoom y la caja de datos de formato de archivo de medios de los medios inmersivos.
En las realizaciones de esta descripción se obtiene una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios. En vista de lo anterior, en el modo de zoom objetivo, un dispositivo de reproducción de contenido no necesita solicitar vídeos de todas las versiones de resolución de zoom, ahorrando de este modo ancho de banda de transmisión.
La Figura 4 es un diagrama de flujo de otro método de procesamiento de datos para medios inmersivos según una realización ilustrativa de esta descripción. El método puede ser realizado por el dispositivo de producción de contenido en el sistema de medios inmersivos. El método incluye las siguientes etapas S401 a S403:
En la etapa S401 se obtiene una información de zoom de unos medios inmersivos.
La información de zoom se genera según una intención de un productor de contenido. Por ejemplo, el productor de contenido puede realizar un procesamiento de zoom en los medios inmersivos en un procedimiento de producción. En una ejecución, el productor de contenido puede realizar primero un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, por ejemplo, reducir primero con el zoom la i-ésima región de zoom durante unos minutos y, luego, aumentarla durante unos minutos, o reducirla con el zoom varias veces, luego aumentarla varias veces, y así sucesivamente, y, luego, especificar la información de zoom según un efecto de zoom del procesamiento de zoom realizado en la i-ésima región de zoom. De forma alternativa, cuando el productor de contenido determina la resolución de unos medios inmersivos, el productor de contenido puede especificar directamente una información de zoom según la resolución sin realizar primero un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. La información de zoom se utiliza para indicar un correspondiente parámetro de zoom cuando se realiza un procesamiento de zoom en la i-ésima región de zoom e incluye, aunque no de forma limitativa, una posición o un tamaño (p. ej., una anchura, una altura y unas coordenadas) de la i-ésima región de zoom, una etapa de zoom realizada en la i-ésima región de zoom (p. ej., reducirla con el zoom y luego aumentarla), una relación de zoom (p. ej., reducirla varias veces o aumentarla varias veces), una duración de la etapa de zoom (p. ej., reducirla durante unos minutos y, luego, aumentarla durante unos minutos) y similares.
En la etapa S402 se configura una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo.
Con referencia a la Tabla 6 anterior, el procedimiento de configuración de la etapa S402 puede incluir los siguientes puntos (1) a (4):
(1) La política de zoom incluye un campo indicador de zoom auto_zoom_flag. El campo indicador de zoom recibe un valor efectivo cuando la información de zoom de los medios inmersivos indica que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom en el modo de zoom objetivo. Por ejemplo, auto_zoom_flag recibe un valor de 1.
(2) La política de zoom incluye un campo etapas de zoom zoom_steps. El campo etapas de zoom recibe un valor de m cuando la información de zoom indica que es necesario realizar m etapas de zoom cuando se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo, siendo m un número entero positivo.
(3) Cuando una etapa de zoom corresponde a un campo relación de zoom zoom_ratio, m etapas de zoom corresponden a m campos zoom_ratio. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom zoom_ratio, siendo j un número entero positivo y j < m. El j-ésimo campo zoom_ratio recibe un valor ineficaz cuando la información de zoom indica que un tamaño de la iésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom es igual que un tamaño de la misma antes de realizarse el procesamiento de zoom en la misma. El j-ésimo campo relación de zoom recibe un valor efectivo cuando la información de zoom indica que el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom es distinto al tamaño de la misma antes de realizarse el procesamiento de zoom en la misma, siendo el valor efectivo una relación entre el tamaño de la i-ésima región de zoom después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma. Por ejemplo, si en la información de zoom de los medios inmersivos, la información de zoom de la j-ésima etapa de zoom del procesamiento de zoom realizado en la i-ésima región de zoom indica aumentar la i-ésima región de zoom 2 veces con el zoom, el j-ésimo campo relación de zoom en los m campos relación de zoom puede recibir un valor de 16.
(4) Cuando una etapa de zoom corresponde a una duración de zoom zoom_duration y a una unidad de medida de la duración zoom_duration_unit, m etapas de zoom corresponden a m campos zoom_duration y a m campos zoom_duration_unit. La j-ésima etapa de zoom corresponde al j-ésimo campo duración de zoom y al j-ésimo campo unidad de duración de zoom, siendo j un número entero positivo y j < m. Cuando la j-ésima etapa de zoom se realiza en la i ésima región de zoom como se indica en la información de zoom, una duración recibee un valor del j-ésimo campo duración de zoom. Cuando se realiza la j-ésima etapa de zoom en la i-ésima región de zoom como se indica en la información de zoom, una unidad de medida de la duración recibe un valor del j-ésimo campo unidad de duración de zoom. Por ejemplo, cuando la información de zoom de los medios inmersivos indica aumentar la i-ésima región de zoom con el zoom durante 3 minutos cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la iésima región de zoom, a la duración de la j-ésima etapa de zoom en los m campos duración de zoom se establece un valor de 3, y un campo unidad de duración de la j-ésima etapa de zoom en los m campos unidad de duración de zoom recibe un valor de 60.
Además, un archivo de señalización de descripción de zoom de los medios inmersivos puede configurarse adicionalmente según la información de zoom, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom. Para conocer la sintaxis del archivo de señalización de descripción de zoom, puede consultarse la Tabla 7 y la Tabla 8. Para conocer un modo de configurar los campos ampliados en el archivo de señalización de descripción de zoom, puede hacerse referencia al anterior modo de configuración de los campos correspondientes en la caja de datos de formato de archivo de medios, por lo que en la presente memoria no se describen de nuevo los detalles.
A continuación se explica detalladamente la solución de esta realización de esta descripción utilizando un ejemplo: Una información de zoom especificada por un productor de contenido de medios inmersivos para un vídeo A es la siguiente: ampliar con zoom una región B desde el 10° minuto hasta el 20° minuto (00:10:00 a 00:20:00) del vídeo A. La región B se agranda 2 veces el tamaño original desde el 10° minuto hasta el 13er minuto (00:10:00-00:13:00), la región B se restablece a su tamaño original desde el 13er minuto hasta el 17° minuto (00:13:00-00:17:00), y la región B se agranda 4 veces el tamaño original desde el 17° minuto hasta el 20° minuto (00:17:00-00:20:00). Por lo tanto, el dispositivo de producción de contenido establece, según la información de zoom especificada por el productor de contenido para el vídeo A, para un campo indicador de zoom, un valor de 1 y para un campo etapas de zoom, un valor de 3. Un campo relación de zoom de una etapa 1 de zoom recibe un valor de 16 (16x2-3 =2), un campo duración recibe un valor de 3 y un campo unidad de duración recibe un valor de 60. Se entiende que un modo de cálculo de una duración es 3 x 60 s = 180 s, es decir, 3 minutos. De forma similar, un campo relación de zoom de una etapa 2 de zoom recibe un valor de 0, un campo duración recibe un valor de 4 y un campo unidad de duración recibe un valor de 60. Un campo relación de zoom de una etapa 3 de zoom recibe un valor de 32, un campo duración recibe un valor de 3 y un campo unidad de duración recibe un valor de 60.
El dispositivo de producción de contenido puede, según la información de zoom especificada por el productor de contenido, unas cajas de datos de formato de archivo de medios con varias resoluciones y unos correspondientes archivos de señalización de descripción de zoom para los medios inmersivos. Por ejemplo, el dispositivo de producción de contenido configura, según la información de zoom especificada por el productor de contenido, una caja 1 de datos de formato de archivo de medios y un archivo 1 de señalización de descripción de zoom con una resolución de 4K (4096x2160 píxeles) para el vídeo A, que se utilizan para indicar que el vídeo A presenta un efecto de zoom de “ aumentar 2 veces ^ relación original ^ aumentar 4 veces” cuando se realiza un procesamiento de zoom en el vídeo A con la resolución de 4K. Además, el dispositivo de producción de contenido configura una caja 2 de datos de formato de archivo de medios y un archivo 2 de señalización de descripción de zoom con una resolución de 2K para el vídeo A, que se utilizan para indicar que el vídeo A presenta un efecto de zoom de “ aumentar 1,5 veces ^ tamaño original ^ aumentar 3 veces” cuando se realiza un procesamiento de zoom en el vídeo A con la resolución de 2K.
En la etapa S403 se añade la caja de datos de formato de archivo de medios de los medios inmersivos a un archivo encapsulado de los medios inmersivos.
En una ejecución, el dispositivo de producción de contenido añade medios inmersivos con el mismo contenido, pero con distintas resoluciones, y cajas de datos de formato de archivo de medios correspondientes a los mismos a, respectivamente, archivos encapsulados de los medios inmersivos.
En algunas realizaciones, el dispositivo de producción de contenido puede empaquetar todas las cajas de datos de formato de archivo de medios de los medios inmersivos con distintas resoluciones y enviar el archivo empaquetado al dispositivo de reproducción de contenido, de forma que el dispositivo de reproducción de contenido solicita un correspondiente archivo encapsulado según una resolución actual y el archivo empaquetado.
En las realizaciones de esta descripción, el dispositivo de producción de contenido configura una caja de datos de formato de archivo de medios según unos medios inmersivos y una información de zoom de los medios inmersivos y añade la caja de datos de formato de archivo de medios de los medios inmersivos a un archivo encapsulado de los medios inmersivos. Por lo tanto, un dispositivo de reproducción de contenido puede solicitar a un servidor, según la caja de datos de formato de archivo de medios, un archivo de vídeo correspondiente a un modo de zoom objetivo con una resolución actual y consumirlo sin solicitar vídeos de todas las versiones de resolución de zoom, ahorrando de este modo ancho de banda de transmisión.
La Figura 5 es un diagrama de flujo de otro método de procesamiento de datos para medios inmersivos según una realización ilustrativa de esta descripción. El método puede ser realizado por el dispositivo de reproducción de contenido en el sistema de medios inmersivos. El método incluye las siguientes etapas S501 a S503:
En la etapa S501 se obtiene un archivo encapsulado de unos medios inmersivos, incluyendo el archivo encapsulado una caja de datos de formato de archivo de medios de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo.
En la etapa S502 se analiza el archivo encapsulado y se visualizan los medios inmersivos analizados.
En una ejecución, el dispositivo de reproducción de contenido primero desencapsula el archivo encapsulado para obtener un archivo codificado de los medios inmersivos y la caja de datos de formato de archivo de medios de los medios inmersivos y luego decodifica y visualiza el archivo codificado de los medios inmersivos.
En la etapa S503 se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios en respuesta a una visualización de la i-ésima región de zoom de los medios inmersivos.
Con referencia a la Tabla 6 anterior, el procedimiento de procesamiento de zoom de la etapa S503 puede incluir los siguientes puntos (l)-(4):
(1) La política de zoom incluye un campo indicador de zoom auto_zoom_flag. Cuando un valor del campo indicador de zoom es un valor efectivo, el dispositivo de reproducción de contenido realiza un procesamiento de zoom en la iésima región de zoom de los medios inmersivos en el modo de zoom objetivo. El procesamiento de zoom puede estar solicitando, de un servidor, y visualizando un vídeo correspondiente a un tamaño de la i-ésima región de zoom después de realizarse el procesamiento de zoom en la misma.
(2) La política de zoom incluye un campo etapas de zoom zoom_steps. Cuando un valor del campo etapas de zoom es m, siendo m un número entero positivo, se realiza un procesamiento de zoom m veces en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo. Por ejemplo, cuando un valor del campo etapas de zoom es 3, el dispositivo de reproducción de contenido tiene que realizar 3 veces un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
(3) Cuando una etapa de zoom corresponde a un campo relación de zoom zoom_ratio, m etapas de zoom corresponden a m campos zoom_ratio. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom zoom_ratio, siendo j un número entero positivo y j < m. Cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, un tamaño de la i-ésima región de zoom se ajusta en escala en el modo de zoom objetivo a un tamaño de la i-ésima región de zoom antes de realizarse el procesamiento de zoom en la misma. Cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo según el valor efectivo para hacer que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse la j-ésima etapa de zoom en la misma y el tamaño de la iésima región de zoom de los medios inmersivos antes de realizarse el procesamiento de zoom en la misma para alcanzar el valor efectivo.
(4) Cuando una etapa de zoom corresponde a una duración de zoom zoom_duration y a una unidad de medida de la duración zoom_duration_unit, m etapas de zoom corresponden a m duraciones de zoom y a m unidades de medida de las duraciones. La j-ésima etapa de zoom corresponde al j-ésimo campo duración de zoom y al j-ésimo campo unidad de duración de zoom, siendo j un número entero positivo y j < m. La j-ésima etapa de zoom del procesamiento de zoom se realiza en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo. La duración de la j-ésima etapa de zoom viene indicada tanto por el j-ésimo campo duración de zoom como por el j-ésimo campo unidad de duración de zoom. Debe entenderse que, dentro de la duración de zoom, el dispositivo de reproducción de contenido realiza continuamente un procesamiento de zoom en una imagen en la i-ésima región de zoom de los medios inmersivos hasta el final de la duración de zoom. Por ejemplo, cuando los medios inmersivos muestran un total de 20 fotogramas de imágenes dentro de la duración de zoom, el dispositivo de reproducción de contenido realiza un procesamiento de zoom en las i-ésimas regiones de zoom de los 20 fotogramas de imágenes y los visualiza.
Además, el dispositivo de reproducción de contenido puede obtener un archivo MPD de los medios inmersivos antes de obtener el archivo encapsulado de los medios inmersivos. El archivo MPD incluye unos archivos de señalización de descripción de zoom con diversas resoluciones. El dispositivo de reproducción de contenido obtiene un archivo encapsulado correspondiente a una resolución actual en el lado del dispositivo de reproducción de contenido y presenta un efecto de zoom de los medios inmersivos en el archivo encapsulado según la ejecución de la etapa (1) a la etapa (4) anteriores.
A continuación se explica más detalladamente la solución de esta realización de la presente descripción utilizando un ejemplo: Se asume que tanto un usuario 1 como un usuario 2 han seleccionado el modo de zoom de director; una resolución básica consumida por el usuario 1 es de 4K, y el usuario 1 solicita, de un servidor, un archivo de vídeo correspondiente a una resolución de 4K en virtud de una jerarquía de representación de comienzo del modo de zoom de director; y una resolución básica consumida por el usuario 2 es de 2K, y el usuario 2 solicita, de un servidor, un archivo de vídeo correspondiente a una resolución de 2K en virtud de una jerarquía de representación de comienzo del modo de zoom de director. El servidor recibe las solicitudes del usuario 1 y del usuario 2, encapsula los archivos de vídeo correspondientes a la resolución 4K y a la resolución 2K, respectivamente, y los envía al usuario 1 y al usuario 2. Un archivo encapsulado 1 de los medios inmersivos recibidos por el usuario 1 incluye:
auto zoom_flag=l; zoom_steps=3;
step1: zoom_ratio=16; zoom_duration=3; zoom_duration_unit=60;
step2: zoom_ratio=0; zoom_duration=4; zoom_duration_unit=60;
step3: zoom_ratio=32; zoom_duration=3; zoom_duration_unit=60;
Un archivo encapsulado 2 de los medios inmersivos recibidos por el usuario 2 incluye:
auto zoom_flag=l; zoom_steps=3;
step1: zoom_ratio=12; zoom_duration=3; zoom_duration_unit=60;
step2: zoom_ratio=0; zoom_duration=4; zoom_duration_unit=60;
step3: zoom_ratio=24; zoom_duration=3; zoom_duration_unit=60;
Además, el archivo encapsulado 1 de los medios inmersivos y el archivo encapsulado 2 de los medios inmersivos recibidos por el usuario 1 y el usuario 2 pueden incluir además una información de posición y una información de tamaño de una i-ésima región de zoom y una condición para realizar un procesamiento de zoom. Suponiendo que la condición para realizar un procesamiento de zoom es realizar un procesamiento de zoom en la región i de zoom cuando el avance de la reproducción alcance el 10° minuto, un dispositivo 1 de reproducción de contenido utilizado por el usuario 1 agranda la región i de zoom 2 veces su tamaño original desde el 10° minuto hasta el 13er minuto (00:10:00-00:13:00), restablece la i-ésima región de zoom al tamaño original desde el 13er minuto hasta el 17° minuto (00:13:00-00:17:00), agranda la región i de zoom desde el 17° minuto hasta el 20° minuto (00:17:00-00:20:00) 4 veces el tamaño original y pone fin al procesamiento de zoom en el 20° minuto (00:20:00). De forma similar, un dispositivo 2 de reproducción de contenido utilizado por el usuario 2 agranda la región i de zoom 1,5 veces su tamaño original desde el 10° minuto hasta el 13er minuto (00:10:00-00:13:00), restablece la i-ésima región de zoom al tamaño original desde el 13er minuto hasta el 17° minuto (00:13:00-00:17:00), agranda la región i de zoom desde el 17° minuto hasta el 20° minuto (00:17:00-00:20:00) 3 veces el tamaño original y pone fin al procesamiento de zoom en el 20° minuto (00:20:00).
En las realizaciones de esta descripción, el dispositivo de reproducción de contenido analiza un archivo encapsulado de unos medios inmersivos para obtener una caja de datos de formato de archivo de medios de los medios inmersivos, y se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios. En vista de lo anterior, en el modo de zoom objetivo, un dispositivo de reproducción de contenido no necesita solicitar vídeos de todas las versiones de resolución de zoom, ahorrando de este modo ancho de banda de transmisión. Además, cuando el dispositivo de reproducción de contenido consume un archivo de vídeo correspondiente a un modo de zoom objetivo con una resolución actual, el dispositivo de reproducción de contenido presenta automáticamente, según el modo de zoom objetivo, un efecto de zoom especificado por un productor de contenido de medios inmersivos, para que el usuario pueda obtener una experiencia de visión mejorada.
El método de las realizaciones de esta descripción se ha descrito con detalle anteriormente. Para facilitar una mejor ejecución de las anteriores soluciones de las realizaciones de esta descripción, a continuación se proporciona un aparato de una realización de esta descripción.
La Figura 6 es un diagrama estructural esquemático de un aparato de procesamiento de datos para medios inmersivos según una realización ilustrativa de esta descripción. El aparato de procesamiento de datos para medios inmersivos puede ser un programa informático (incluido un código de programa) que se ejecute en un dispositivo de producción de contenido. Por ejemplo, el aparato de procesamiento de datos para medios inmersivos puede ser un software de aplicación en un dispositivo de producción de contenido. Como se muestra en la Figura 6, el aparato de procesamiento de datos para medios inmersivos incluye una unidad 601 de obtención y una unidad 602 de procesamiento.
En una realización ilustrativa, el aparato de procesamiento de datos para medios inmersivos puede estar configurado para realizar las etapas correspondientes del método mostrado en la Figura 3.
La unidad 601 de obtención está configurada para obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la iésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo.
La unidad 602 de procesamiento está configurada para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
En una ejecución, la caja de datos de formato de archivo de medios incluye una caja de datos de formato de archivo de medios base de la Organización Internacional de Normalización; y el modo de zoom objetivo incluye un modo de zoom de director.
En una ejecución, la política de zoom incluye un campo indicador de zoom.
Cuando un valor del campo indicador de zoom es un valor efectivo, el campo indicador de zoom se utiliza para indicar que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo. El campo etapas de zoom se utiliza para indicar que una cantidad de etapas de zoom incluidas cuando se realiza el procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo es m.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m. El j-ésimo campo relación de zoom se utiliza para indicar una relación de zoom que se adopta cuando se realiza la jésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. La relación de zoom está en una unidad de 2 a 3.
Cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, el j-ésimo campo relación de zoom se utiliza para indicar que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo es igual que el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma.
Cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, el j-ésimo campo relación de zoom se utiliza para indicar que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma es el valor del j-ésimo campo relación de zoom.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m.
El j-ésimo campo duración de zoom se utiliza para indicar un valor de una duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, teniendo el campo duración de zoom un valor distinto de cero.
El j-ésimo campo unidad de duración de zoom se utiliza para indicar una unidad de medida de la duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, estando el campo unidad de duración de zoom en una unidad de segundo y teniendo el campo unidad de duración de zoom un valor distinto de cero.
En una ejecución, la unidad 601 de obtención está configurada además para:
obtener un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom; y
En una ejecución, el archivo de señalización de descripción de zoom incluye al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región 2D.
El descriptor de zoom en región esférica está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región esférica en la jerarquía de representación es menor o igual que 1.
El descriptor de zoom en región 2D está encapsulado en la jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región 2D en la jerarquía de representación es menor o igual que 1.
En algunas realizaciones, el aparato de procesamiento de datos para medios inmersivos puede estar configurado para realizar las etapas correspondientes del método mostrado en la Figura 4.
La unidad 601 de obtención está configurada para obtener una información de zoom de unos medios inmersivos.
La unidad 602 de procesamiento está configurada para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y añadir la caja de datos de formato de archivo de medios de los medios inmersivos a un archivo encapsulado de los medios inmersivos.
En una ejecución, la política de zoom incluye un campo indicador de zoom. La unidad 602 de procesamiento está configurada además para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, por ejemplo:
dar al campo indicador de zoom un valor efectivo cuando la información de zoom indica que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom. La unidad 602 de procesamiento está configurada además para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, por ejemplo:
dar al campo etapas de zoom un valor de m cuando la información de zoom indica que es necesario realizar m etapas de zoom cuando se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo, siendo m un número entero positivo.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m. La unidad 602 de procesamiento está configurada además para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, por ejemplo:
dar al j-ésimo campo relación de zoom un valor ineficaz cuando la información de zoom indica que un tamaño de la iésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom es igual que su tamaño antes de realizarse el procesamiento de zoom en la misma; y
dar al j-ésimo campo relación de zoom un valor efectivo cuando la información de zoom indica que el tamaño de la iésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom es distinto del tamaño de la misma antes de realizarse el procesamiento de zoom en la misma, siendo el valor efectivo una relación entre el tamaño de la i-ésima región de zoom después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m. La unidad 602 de procesamiento está configurada además para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, por ejemplo:
dar a una duración, cuando se realiza la j-ésima etapa de zoom en la i-ésima región de zoom como se indica en la información de zoom, un valor del j-ésimo campo unidad de duración de zoom; y dar a una unidad de medida de la duración, cuando se realiza la j-ésima etapa de zoom en la i-ésima región de zoom como se indica en la información de zoom, un valor del j-ésimo campo unidad de duración de zoom.
En una ejecución, la unidad 602 de procesamiento está configurada además para:
configurar un archivo de señalización de descripción de zoom de los medios inmersivos según la información de zoom, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom; y encapsular el archivo de señalización de descripción de zoom en una jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos.
Según una realización de la presente descripción, las unidades del aparato de procesamiento de datos para medios inmersivos mostrado en la Figura 6 pueden combinarse por separado o conjuntamente en una o varias otras unidades, o una (o más) de las unidades de la presente memoria puede dividirse adicionalmente en múltiples unidades de funciones más pequeñas. De este modo, pueden ejecutarse las mismas operaciones, sin que se vea afectada una ejecución de los efectos técnicos de esta realización de la presente descripción. Las unidades anteriores se dividen basándose en unas funciones lógicas. En una aplicación real, una función de una unidad también puede ser ejecutada por una pluralidad de unidades, o bien unas funciones de una pluralidad de unidades son ejecutadas por una unidad. En otras realizaciones de esta descripción, el aparato de procesamiento de datos para medios inmersivos también puede incluir otras unidades. Durante una aplicación real, las funciones también pueden ser ejecutadas cooperativamente por otras unidades y pueden ser ejecutadas cooperativamente por una pluralidad de unidades. Según otra realización de esta descripción, un programa informático (incluido un código de programa) que puede realizar las etapas del correspondiente método mostrado en la Figura 3 o la Figura 4 puede ejecutarse en un dispositivo de computación de uso general, como un ordenador, que incluya unos elementos de procesamiento y unos elementos de almacenamiento, como una unidad de procesamiento central (CPU), una memoria de acceso aleatorio (RAM) y una memoria de solo lectura (ROM), para construir el aparato de procesamiento de datos para medios inmersivos que se muestra en la Figura 3 o la Figura 4 e realizar el método de procesamiento de datos para medios inmersivos de las realizaciones de esta descripción. El programa informático puede registrarse en, por ejemplo, un soporte de registro legible por ordenador y puede cargarse en el dispositivo de computación anterior utilizando el soporte de registro legible por ordenador y ejecutarse en el dispositivo de computación.
Basados en el mismo concepto, un principio y unos efectos beneficiosos de resolver un problema mediante el aparato de procesamiento de datos para medios inmersivos proporcionado en las realizaciones de esta descripción son similares a un principio y a unos efectos beneficiosos de la resolución de un problema mediante el método de procesamiento de datos para medios inmersivos de las realizaciones de esta descripción. Puede hacerse referencia al principio y a los efectos beneficiosos de la implementación del método. En aras de la brevedad, en la presente memoria no se vuelven a describir detalles.
La Figura 7 es un diagrama estructural esquemático de otro aparato de procesamiento de datos para medios inmersivos según una realización ilustrativa de esta descripción. El aparato de procesamiento de datos para medios inmersivos puede ser un programa informático (incluido un código de programa) que se ejecute en un dispositivo de reproducción de contenido. Por ejemplo, el aparato de procesamiento de datos para medios inmersivos puede ser un software de aplicación en un dispositivo de reproducción de contenido. Como se muestra en la Figura 7, el aparato de procesamiento de datos para medios inmersivos incluye una unidad 701 de obtención y una unidad 702 de procesamiento.
En una realización ilustrativa, el aparato de procesamiento de datos para medios inmersivos puede estar configurado para realizar las etapas correspondientes del método mostrado en la Figura 3.
La unidad 701 de obtención está configurada para obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la iésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo.
La unidad 702 de procesamiento está configurada para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
En una ejecución, la caja de datos de formato de archivo de medios incluye una caja de datos de formato de archivo de medios base de la Organización Internacional de Normalización. El modo de zoom objetivo incluye un modo de zoom de director.
En una ejecución, la política de zoom incluye un campo indicador de zoom.
Cuando un valor del campo indicador de zoom es un valor efectivo, el campo indicador de zoom se utiliza para indicar que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo. El campo etapas de zoom se utiliza para indicar que una cantidad de etapas de zoom incluidas cuando se realiza el procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo es m.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m.
El j-ésimo campo relación de zoom se utiliza para indicar una relación de zoom que se adopta cuando se realiza la jésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. La relación de zoom está en una unidad de 2 a 3.
Cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, el j-ésimo campo relación de zoom se utiliza para indicar que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo es igual que el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma.
Cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, el j-ésimo campo relación de zoom se utiliza para indicar que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma es el valor del j-ésimo campo relación de zoom.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m.
El j-ésimo campo duración de zoom se utiliza para indicar un valor de una duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, teniendo el campo duración de zoom un valor distinto de cero.
El j-ésimo campo unidad de duración de zoom se utiliza para indicar una unidad de medida de la duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, estando el campo unidad de duración de zoom en una unidad de segundo y teniendo el campo unidad de duración de zoom un valor distinto de cero.
En una ejecución, la unidad 701 de obtención está configurada además para:
obtener un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom.
En una ejecución, el archivo de señalización de descripción de zoom incluye al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región 2D.
El descriptor de zoom en región esférica está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región esférica en la jerarquía de representación es menor o igual que 1.
El descriptor de zoom en región 2D está encapsulado en la jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región 2D en la jerarquía de representación es menor o igual que 1.
En algunas realizaciones, el aparato de procesamiento de datos para medios inmersivos puede estar configurado para realizar las etapas correspondientes del método mostrado en la Figura 5.
La unidad 701 de obtención está configurada para obtener un archivo encapsulado de unos medios inmersivos, incluyendo el archivo encapsulado una caja de datos de formato de archivo de medios de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo.
La unidad 702 de procesamiento está configurada para analizar el archivo encapsulado y visualizar los medios inmersivos analizados; y realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios en respuesta a una visualización de la i-ésima región de zoom de los medios inmersivos.
En una ejecución, la política de zoom incluye un campo indicador de zoom. La unidad 702 de procesamiento está configurada para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, por ejemplo:
realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo cuando un valor del campo indicador de zoom es un valor efectivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo. La unidad 702 de procesamiento está configurada para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, por ejemplo:
realizar m veces un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m. La unidad 702 de procesamiento está configurada además para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, por ejemplo:
realizar la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, para hacer que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom sea igual al tamaño de la i-ésima región de zoom de los medios inmersivos antes de realizarse el procesamiento de zoom en la misma; y
realizar, cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo según el valor efectivo para hacer que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse la j-ésima etapa de zoom en la misma y el tamaño de la i-ésima región de zoom de los medios inmersivos antes de realizarse el procesamiento de zoom en la misma alcance el valor efectivo.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unida de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m. La unidad 702 de procesamiento está configurada además para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, por ejemplo:
realizar la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo según una indicación común del j-ésimo campo duración de zoom y el j-ésimo campo unidad de duración de zoom.
En una ejecución, la unidad 702 de procesamiento está configurada además para:
obtener un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom; y
La unidad 701 de obtención está configurada además para obtener un archivo encapsulado de unos medios inmersivos, por ejemplo:
obtener un archivo encapsulado de los medios inmersivos según el archivo de señalización de descripción de zoom.
Según una realización de la presente descripción, las unidades del aparato de procesamiento de datos para medios inmersivos mostrado en la Figura 7 pueden combinarse por separado o totalmente en una o varias otras unidades, o una (o más) de las unidades del presente documento puede dividirse aún más en múltiples unidades de funciones más pequeñas. De este modo, pueden ejecutarse las mismas operaciones, sin que se vea afectada una ejecución de los efectos técnicos de esta realización de la presente descripción. Las unidades anteriores se dividen basándose en unas funciones lógicas. En una aplicación real, una función de una unidad también puede ser implementada por una pluralidad de unidades, o bien unas funciones de una pluralidad de unidades son ejecutadas por una unidad. En otras realizaciones de esta descripción, el aparato de procesamiento de datos para medios inmersivos también puede incluir otras unidades. Durante una aplicación real, las funciones también pueden ser ejecutadas cooperativamente por otras unidades y pueden ser ejecutadas cooperativamente por una pluralidad de unidades. Según otra realización de esta descripción, un programa informático (incluido un código de programa) que puede realizar las etapas del correspondiente método mostrado en la Figura 3 o la Figura 5 puede ejecutarse en un dispositivo de computación de uso general, como un ordenador, que incluya unos elementos de procesamiento y unos elementos de almacenamiento, como una unidad de procesamiento central (CPU), una memoria de acceso aleatorio (RAM) y una memoria de solo lectura (ROM), para construir el aparato de procesamiento de datos para medios inmersivos que se muestra en la Figura 3 o la Figura 5 e implementar el método de procesamiento de datos para medios inmersivos de las realizaciones de esta descripción. El programa informático puede registrarse en, por ejemplo, un soporte de registro legible por ordenador y puede cargarse en el dispositivo de computación anterior utilizando el soporte de registro legible por ordenador y ejecutarse en el dispositivo de computación.
Basados en el mismo concepto, un principio y unos efectos beneficiosos de resolver un problema mediante el aparato de procesamiento de datos para medios inmersivos proporcionado en las realizaciones de esta descripción son similares a un principio y a unos efectos beneficiosos de la resolución de un problema mediante el método de procesamiento de datos para medios inmersivos de las realizaciones de esta descripción. Puede hacerse referencia al principio y a los efectos beneficiosos de la implementación del método. En aras de la brevedad, en la presente memoria no se vuelven a dar detalles.
La Figura 8 es un diagrama estructural esquemático de un dispositivo de producción de contenido según una realización ilustrativa de esta descripción. El dispositivo de producción de contenido puede ser un dispositivo informático utilizado por un proveedor de medios inmersivos. El dispositivo informático puede ser un terminal (tal como un PC o un dispositivo móvil inteligente [tal como un teléfono inteligente]) o un servidor. Como se muestra en la Figura 8, el dispositivo de producción de contenido incluye un dispositivo 801 de captura, un procesador 802, una memoria 803 y un transmisor 804.
El dispositivo 801 de captura está configurado para adquirir una escena audiovisual del mundo real para obtener datos originales de medios inmersivos (incluidos contenido de audio y contenido de vídeo sincronizados temporal y espacialmente). El dispositivo 801 de captura puede incluir, pero no se limita a, un dispositivo de audio, un dispositivo de cámara y un dispositivo de detección. El dispositivo de audio puede incluir un sensor de audio, un micrófono o similares. El dispositivo de cámara puede incluir una cámara normal, una cámara estereoscópica, una cámara de campo luminoso o similares. El dispositivo de detección puede incluir un dispositivo láser, un dispositivo de radar o similares.
El procesador 802 (conocido también como unidad central de procesamiento [CPU]) puede incluir un núcleo de procesamiento de un dispositivo de producción de contenido. El procesador 802 está adaptado para ejecutar una o más instrucciones y está adaptado para cargar y ejecutar las una o más instrucciones para ejecutar el método de procesamiento de datos para medios inmersivos mostrado en la Figura 3 o en la Figura 4.
La memoria 803 es un dispositivo de memoria en el dispositivo de producción de contenido y está configurada para almacenar un programa y un recurso de medios. Debe entenderse que la memoria 803 en la presente memoria puede incluir un medio de almacenamiento interno en el dispositivo de producción de contenido y que, por supuesto, también puede incluir un soporte de almacenamiento ampliado admitido por el dispositivo de producción de contenido. La memoria 803 puede ser una memoria RAM de alta velocidad, o bien puede ser una memoria no volátil, tal como al menos un almacenamiento de disco magnético, y, opcionalmente, puede ser al menos una memoria que esté lejos del procesador anterior. La memoria 803 proporciona un espacio de almacenamiento. El espacio de almacenamiento está configurado para almacenar un sistema operativo del dispositivo de producción de contenido. Además, el espacio de almacenamiento está configurado además para almacenar un programa informático. El programa informático incluye unas instrucciones de programa. Además, las instrucciones de programa están adaptadas para ser invocadas y ejecutadas por el procesador 802 para realizar las etapas del método de procesamiento de datos para medios inmersivos. Además, la memoria 803 puede estar configurada además para almacenar un archivo de medios inmersivos formado después de un procesamiento realizado por el procesador. El archivo de medios inmersivos incluye un recurso de archivo de medios y una información descriptiva de presentación de medios.
El transmisor 804 está configurado para ejecutar una transmisión y una interacción entre el dispositivo de producción de contenido y otro dispositivo, por ejemplo, ejecutar una transmisión de unos medios inmersivos entre el dispositivo de producción de contenido y un dispositivo de reproducción de contenido. Es decir, el dispositivo de producción de contenido transmite un recurso de medios relacionado con los medios inmersivos al dispositivo de reproducción de contenido a través del transmisor 804.
Haciendo nuevamente referencia a la Figura 8, el procesador 802 puede incluir un convertidor 821, un codificador 822 y un encapsulador 823.
El convertidor 821 está configurado para realizar una serie de conversiones en un contenido de vídeo capturado para que el contenido de vídeo se convierta en un contenido adaptado a codificar en vídeo para unos medios inmersivos. La conversión puede incluir: concatenación y proyección. En algunas realizaciones, la conversión incluye además una encapsulación de región. El convertidor 821 puede convertir un contenido de vídeo 3D capturado en una imagen 2D y proporcionar la imagen 2D al codificador 822 para una codificación de vídeo.
El codificador 822 está configurado para realizar una codificación de audio en un contenido de audio capturado para formar un flujo de bits de audio de los medios inmersivos, y está configurado además para realizar una codificación de vídeo en la imagen 2D obtenida por el convertidor 821 por conversión para obtener un flujo de bits de vídeo.
El encapsulador 823 está configurado para encapsular el flujo de bits de audio y el flujo de bits de vídeo según un formato de archivo de los medios inmersivos (tal como el ISOBMFF) en un contenedor de archivos para formar un recurso de archivo de medios de los medios inmersivos. El recurso de archivo de medios puede ser un archivo de medios o un segmento de medios que forma un archivo de medios de los medios inmersivos; y registra, según unos requisitos del formato de archivo de los medios inmersivos, unos metadatos del recurso de archivo de medios de los medios inmersivos utilizando una información descriptiva de la presentación de medios. El archivo encapsulado de los medios inmersivos obtenido por el encapsulador 823 por procesamiento se almacena en la memoria 803 y se proporciona al dispositivo de reproducción de contenido según unos requisitos para una presentación de los medios inmersivos.
En una realización ilustrativa, el procesador 802 (p. ej., unos dispositivos incluidos en el procesador 802) realiza las etapas del método de procesamiento de datos para medios inmersivos mostrado en la Figura 3 invocando una o más instrucciones en la memoria 803. En algunas realizaciones, la memoria 803 almacena una o más primeras instrucciones. Las una o más primeras instrucciones están adaptadas para ser cargadas por el procesador 802 para realizar las siguientes etapas:
obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
En una ejecución, la caja de datos de formato de archivo de medios incluye una caja de datos de formato de archivo de medios base de la Organización Internacional de Normalización. El modo de zoom objetivo incluye un modo de zoom de director.
En una ejecución, la política de zoom incluye un campo indicador de zoom, y cuando un valor del campo indicador de zoom es un valor efectivo, el campo indicador de zoom se utiliza para indicar que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo. El campo etapas de zoom se utiliza para indicar que una cantidad de etapas de zoom incluidas cuando se realiza el procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo es m.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m.
El j-ésimo campo relación de zoom se utiliza para indicar una relación de zoom que se adopta cuando se realiza la jésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. La relación de zoom está en una unidad de 2 a 3.
Cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, el j-ésimo campo relación de zoom se utiliza para indicar que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo es igual que el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma.
Cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, el j-ésimo campo relación de zoom se utiliza para indicar que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma es el valor del j-ésimo campo relación de zoom.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m.
El j-ésimo campo duración de zoom se utiliza para indicar un valor de una duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, teniendo el campo duración de zoom un valor distinto de cero.
El j-ésimo campo unidad de duración de zoom se utiliza para indicar una unidad de medida de la duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, estando el campo unidad de duración de zoom en una unidad de segundo y teniendo el campo unidad de duración de zoom un valor distinto de cero.
En una ejecución, el procesador 802 carga el programa informático en la memoria 803 para realizar además la siguiente etapa:
obtener un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom.
En una ejecución, el archivo de señalización de descripción de zoom incluye al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región 2D.
El descriptor de zoom en región esférica está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región esférica en la jerarquía de representación es menor o igual que 1.
El descriptor de zoom en región 2D está encapsulado en la jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región 2D en la jerarquía de representación es menor o igual que 1.
En algunas realizaciones, el procesador 802 (es decir, unos dispositivos incluidos en el procesador 802) realiza las etapas del método de procesamiento de datos para medios inmersivos mostrado en la Figura 4 invocando una o más instrucciones en la memoria 803. En algunas realizaciones, la memoria 803 almacena una o más segundas instrucciones. Las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 802 para realizar las siguientes etapas:
obtener una información de zoom de unos medios inmersivos;
configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la iésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
añadir la caja de datos de formato de archivo de medios de los medios inmersivos a un archivo encapsulado de los medios inmersivos.
En una ejecución, la política de zoom incluye un campo indicador de zoom. Cuando las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 802 para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, se realiza la siguiente etapa:
dar al campo indicador de zoom un valor efectivo cuando la información de zoom indica que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom. Cuando las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 802 para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, se realiza la siguiente etapa:
dar al campo etapas de zoom un valor de m cuando la información de zoom indica que es necesario realizar m etapas de zoom cuando se realiza un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo, siendo m un número entero positivo.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m. Cuando las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 802 para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, se realiza la siguiente etapa:
dar al j-ésimo campo relación de zoom un valor ineficaz cuando la información de zoom indica que un tamaño de la iésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom es igual que su tamaño antes de realizarse el procesamiento de zoom en la misma; y
dar al j-ésimo campo relación de zoom un valor efectivo cuando la información de zoom indica que el tamaño de la iésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom es distinto del tamaño de la misma antes de realizarse el procesamiento de zoom en la misma, siendo el valor efectivo una relación entre el tamaño de la i-ésima región de zoom después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos de unidad de duración de zoom, siendo j un número entero positivo y j < m. Cuando las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 802 para configurar una caja de datos de formato de archivo de medios de los medios inmersivos según la información de zoom de los medios inmersivos, se realizan las siguientes etapas:
dar a un valor de una duración, cuando se realiza la j-ésima etapa de zoom en la i-ésima región de zoom como se indica en la información de zoom, un valor del j-ésimo campo unidad de duración de zoom; y dar a una unidad de medida de la duración, cuando se realiza la j-ésima etapa de zoom en la i-ésima región de zoom como se indica en la información de zoom, un valor del j-ésimo campo unidad de duración de zoom.
En una ejecución, el procesador 802 carga el programa informático en la memoria 803 para realizar además las siguientes etapas:
configurar un archivo de señalización de descripción de zoom de los medios inmersivos según la información de zoom, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom; y
encapsular el archivo de señalización de descripción de zoom en una jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos.
Basándose en el mismo concepto inventivo, un principio y unos efectos beneficiosos de resolver un problema mediante el dispositivo de procesamiento de datos para medios inmersivos proporcionado en las realizaciones de esta descripción son parecidos a un principio y unos efectos beneficiosos de resolver un problema mediante el método de procesamiento de datos para medios inmersivos de las realizaciones de esta descripción. Puede hacerse referencia al principio y a los efectos beneficiosos de la implementación del método. En aras de la brevedad, en la presente memoria no se vuelven a dar detalles.
La Figura 9 es un diagrama estructural esquemático de un dispositivo de reproducción de contenido según una realización de esta descripción. El dispositivo de reproducción de contenido puede ser un dispositivo informático utilizado por un usuario de medios inmersivos. El dispositivo informático puede ser un terminal (como un PC, un dispositivo móvil inteligente [tal como un teléfono inteligente] o un dispositivo de RV [como un casco de RV o unas gafas de RV]). Como se muestra en la Figura 9, el dispositivo de reproducción de contenido incluye un receptor 901, un procesador 902, una memoria 903 y un aparato 904 de visualización/reproducción.
El receptor 901 está configurado para ejecutar una transmisión y una interacción con otro dispositivo, por ejemplo, ejecutar una transmisión de unos medios inmersivos entre un dispositivo de producción de contenido y el dispositivo de reproducción de contenido. Es decir, el dispositivo de reproducción de contenido recibe, a través del receptor 901, un recurso de medios relacionado con los medios inmersivos transmitido por el dispositivo de producción de contenido.
El procesador 902 (conocido también como unidad central de procesamiento [CPU]) puede incluir un núcleo de procesamiento de un dispositivo de producción de contenido. El procesador 902 está adaptado para implementar una o más instrucciones, y está adaptado para cargar y ejecutar las una o más instrucciones para implementar el método de procesamiento de datos para medios inmersivos mostrado en la Figura 3 o la Figura 5.
La memoria 903 es un dispositivo de memoria en el dispositivo de reproducción de contenido y está configurada para almacenar un programa y un recurso de medios. Debe entenderse que la memoria 903 en la presente memoria puede incluir un medio de almacenamiento interno en el dispositivo de reproducción de contenido y que, por supuesto, también puede incluir un soporte de almacenamiento ampliado admitido por el dispositivo de reproducción de contenido. La memoria 903 puede ser una memoria RAM de alta velocidad, o bien puede ser una memoria no volátil, tal como al menos un almacenamiento en disco magnético, y, opcionalmente, puede ser al menos una memoria muy alejada del procesador anterior. La memoria 903 proporciona un espacio de almacenamiento. El espacio de almacenamiento está configurado para almacenar un sistema operativo del dispositivo de reproducción de contenido. Además, el espacio de almacenamiento está configurado además para almacenar un programa informático. El programa informático incluye instrucciones de programa. Además, las instrucciones de programa están adaptadas para ser invocadas y ejecutadas por el procesador 802 para realizar las etapas del método de procesamiento de datos para medios inmersivos. Además, la memoria 903 puede estar configurada además para almacenar una imagen 3D de los medios inmersivos después del procesamiento realizado por el procesador 902, un contenido de audio correspondiente a la imagen 3D, una información necesaria para renderizar la imagen 3D, el contenido de audio, y similares.
El aparato 904 de visualización/reproducción está configurado para dar salida a un sonido y a una imagen 3D obtenidos por renderización.
Haciendo nuevamente referencia a la Figura 9, el procesador 902 puede incluir un analizador 921, un decodificador 922, un convertidor 923 y un renderizador 924.
El analizador 921 está configurado para realizar una desencapsulación de archivo en un archivo encapsulado de los medios inmersivos procedente del dispositivo de producción de contenido, por ejemplo, desencapsular un recurso de archivo de medios según unos requisitos de un formato de archivo de los medios inmersivos, para obtener un flujo de bits de audio y un flujo de bits de vídeo; y proporcionar el flujo de bits de audio y el flujo de bits de vídeo al descodificador 922.
El decodificador 922 realiza una decodificación de audio en el flujo de bits de audio para obtener un contenido de audio y proporciona el contenido de audio al renderizador 924 para una renderización de audio. Además, el descodificador 922 decodifica el flujo de bits de vídeo para obtener una imagen 2D. Según unos metadatos proporcionados en la información descriptiva de presentación de medios, cuando los metadatos indican que se ha realizado un procedimiento de encapsulación de regiones en los medios inmersivos, la imagen 2D se refiere a una imagen encapsulada, y cuando los metadatos indican que no se ha realizado ningún procedimiento de encapsulación de regiones en los medios inmersivos, la imagen 2D se refiere a una imagen proyectada.
El convertidor 923 está configurado para convertir la imagen 2D en una imagen 3D. Una vez que se ha realizado un procedimiento de encapsulación de regiones en los medios inmersivos, el convertidor 923 primero realiza una desencapsulación de regiones en la imagen encapsulada para obtener una imagen proyectada y luego realiza una reconstrucción en la imagen proyectada para obtener una imagen 3D. Si no se ha realizado ningún procedimiento de encapsulación de regiones en los medios inmersivos, el convertidor 923 realiza directamente una reconstrucción en la imagen proyectada para obtener una imagen 3D.
El renderizador 924 está configurado para renderizar el contenido de audio y la imagen 3D en los medios inmersivos. El contenido de audio y la imagen 3D se renderizan según unos metadatos relacionados con una renderización y una ventana gráfica en la información descriptiva de presentación de medios y son dados salida por el aparato 904 de visualización/reproducción una vez que se termina la renderización.
En una realización ilustrativa, el procesador 902 (p. ej., unos dispositivos incluidos en el procesador 902) realiza las etapas del método de procesamiento de datos para medios inmersivos mostrado en la Figura 3 invocando una o más instrucciones en la memoria 903. En algunas realizaciones, la memoria 903 almacena una o más primeras instrucciones. Las una o más primeras instrucciones están adaptadas para ser cargadas por el procesador 902 para realizar las siguientes etapas:
obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios.
En una ejecución, la caja de datos de formato de archivo de medios incluye una caja de datos de formato de archivo de medios base de la Organización Internacional de Normalización. El modo de zoom objetivo incluye un modo de zoom de director.
En una ejecución, la política de zoom incluye un campo indicador de zoom, y cuando un valor del campo indicador de zoom es un valor efectivo, el campo indicador de zoom se utiliza para indicar que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo. El campo etapas de zoom se utiliza para indicar que una cantidad de etapas de zoom incluidas cuando se realiza el procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo es m.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m. El j-ésimo campo relación de zoom se utiliza para indicar una relación de zoom que se adopta cuando se realiza la jésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos. La relación de zoom está en una unidad de 2 a 3.
Cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, el j-ésimo campo relación de zoom se utiliza para indicar que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo es igual que el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma.
Cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, el j-ésimo campo relación de zoom se utiliza para indicar que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma es el valor del j-ésimo campo relación de zoom.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m.
El j-ésimo campo duración de zoom se utiliza para indicar un valor de una duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, teniendo el campo duración de zoom un valor distinto de cero.
El j-ésimo campo unidad de duración de zoom se utiliza para indicar una unidad de medida de la duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, estando el campo unidad de duración de zoom en una unidad de segundo y teniendo el campo unidad de duración de zoom un valor distinto de cero.
En una ejecución, el programa informático en la memoria 903 es cargado por el procesador 902 para realizar además lo siguiente:
obtener un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom.
En una ejecución, el archivo de señalización de descripción de zoom incluye al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región 2D.
El descriptor de zoom en región esférica está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región esférica en la jerarquía de representación es menor o igual que 1.
El descriptor de zoom en región 2D está encapsulado en la jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región 2D en la jerarquía de representación es menor o igual que 1.
En algunas realizaciones, el procesador 902 (p. ej., unos dispositivos incluidos en el procesador 902) realiza las etapas del método de procesamiento de datos para medios inmersivos mostrado en la Figura 5 invocando una o más instrucciones en la memoria 903. En algunas realizaciones, la memoria 903 almacena una o más segundas instrucciones. Las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 902 para realizar las siguientes etapas:
obtener un archivo encapsulado de unos medios inmersivos, incluyendo el archivo encapsulado una caja de datos de formato de archivo de medios de los medios inmersivos, incluyendo la caja de datos de formato de archivo de medios una política de zoom de la i-ésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i un número entero positivo; y
analizar el archivo encapsulado y visualizar los medios inmersivos analizados; y
realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios en respuesta a una visualización de la i-ésima región de zoom de los medios inmersivos.
En una ejecución, la política de zoom incluye un campo indicador de zoom. En caso de que las una o más segundas instrucciones estén adaptadas para ser cargadas por el procesador 902 para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios cuando un valor del campo indicador de zoom es un valor efectivo, se realiza la siguiente etapa:
realizar m veces un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, la política de zoom incluye un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo. Cuando las una o más segundas instrucciones están adaptadas para ser cargadas por el procesador 902 para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, se realiza la siguiente etapa:
realizar m veces un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos relación de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relació
n de zoom en los m campos relación de zoom, siendo j un número entero positivo y j < m. Cuando las una o más segundas instrucciones están adaptadas para que ser cargadas por el procesador 902 para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, se realizan las siguientes etapas:
realizar la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, para hacer que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom sea igual al tamaño de la i-ésima región de zoom de los medios inmersivos antes de realizarse el procesamiento de zoom en la misma; y
realizar, cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo según el valor efectivo para hacer que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse la j-ésima etapa de zoom en la misma y el tamaño de la i-ésima región de zoom de los medios inmersivos antes de realizarse el procesamiento de zoom en la misma y alcanzar el valor efectivo.
En una ejecución, el procesamiento de zoom incluye m etapas de zoom, siendo m un número entero positivo. La política de zoom incluye m campos duración de zoom y m campos unidad de duración de zoom. La j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom y al j-ésimo campo unidad de duración de zoom en los m campos unidad de duración de zoom, siendo j un número entero positivo y j < m. Cuando las una o más segundas instrucciones son adaptadas para ser cargadas por el procesador 902 para realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, se realiza la siguiente etapa:
realizar la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo según una indicación común del j-ésimo campo duración de zoom y el j-ésimo campo unidad de duración de zoom.
En una ejecución, el programa informático en la memoria 903 es cargado por el procesador 902 para realizar además lo siguiente:
obtener un archivo de señalización de descripción de zoom de los medios inmersivos, incluyendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom.
Cuando el procesador 902 obtiene un archivo encapsulado de los medios inmersivos a través del receptor 901, se realiza la siguiente etapa:
obtener un archivo encapsulado de los medios inmersivos según el archivo de señalización de descripción de zoom.
Basándose en el mismo concepto inventivo, un principio y unos efectos beneficiosos de resolver un problema mediante el dispositivo de procesamiento de datos para medios inmersivos proporcionado en las realizaciones de esta descripción son parecidos a un principio y unos efectos beneficiosos de resolver un problema mediante el método de procesamiento de datos para medios inmersivos de las realizaciones de esta descripción. Puede hacerse referencia al principio y a los efectos beneficiosos de la implementación del método. En aras de la brevedad, en la presente memoria no se vuelven a describir detalles.

Claims (6)

  1. REIVINDICACIONES
    i .Un método de procesamiento de datos para medios inmersivos, aplicable a un dispositivo informático, comprendiendo el método:
    obtener una caja de datos de formato de archivo de medios de unos medios inmersivos, comprendiendo la caja de datos de formato de archivo de medios una política de zoom de la iésima región de zoom de los medios inmersivos en un modo de zoom objetivo, siendo i es un número entero positivo, en donde el modo de zoom objetivo se refiere a realizar un procesamiento de zoom en la i-ésima región de zoom según la política de zoom cuando la i-ésima región de zoom de los medios inmersivos satisface una condición de zoom, la política de zoom es generada según la información de zoom especificada por un productor de contenido de medios inmersivos y la política de zoom correspondiente a la información de zoom contiene una información de posición de la i-ésima región de zoom, la condición de zoom, una información de tamaño y una relación de zoom, y el procesamiento de zoom comprende m etapas de zoom, la política de zoom de la caja de datos de formato de archivo de medios se amplía aún más para incluir m campos relación de zoom, siendo m un número entero positivo;
    en donde la j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo relación de zoom en los m campos relación de zoom, siendo j un número entero positivo y siendo j menor o igual que m; el j-ésimo campo relación de zoom se utiliza para indicar una relación de zoom que se adopta cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos;
    cuando un valor del j-ésimo campo relación de zoom es un valor ineficaz, el j-ésimo campo relación de zoom se utiliza para indicar que un tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo es igual que el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma; y
    cuando el valor del j-ésimo campo relación de zoom es un valor efectivo, el j-ésimo campo relación de zoom se utiliza para indicar que una relación entre el tamaño de la i-ésima región de zoom de los medios inmersivos después de realizarse en la misma la j-ésima etapa de zoom del procesamiento de zoom en el modo de zoom objetivo y el tamaño de la misma antes de realizarse el procesamiento de zoom en la misma es el valor del j-ésimo campo relación de zoom; obtener un archivo de señalización de descripción de zoom de los medios inmersivos, comprendiendo el archivo de señalización de descripción de zoom una información descriptiva de la política de zoom; y
    realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos según la caja de datos de formato de archivo de medios, en donde realizar el procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en un archivo encapsulado según la caja de datos de formato de archivo de medios comprende:
    realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el archivo encapsulado según la política de zoom comprendida en la caja de datos de formato de archivo de medios y la información descriptiva de la política de zoom comprendida en el archivo de señalización de descripción de zoom.
  2. 2. El método según la reivindicación 1, en donde la caja de datos de formato de archivo de medios comprende una caja de datos de formato de archivo de medios base de la Organización Internacional de Normalización; y el modo de zoom objetivo comprende un modo de zoom de director.
  3. 3. El método según la reivindicación 1 o 2, en donde la política de zoom comprende un campo indicador de zoom, y cuando un valor del campo indicador de zoom es un valor efectivo, el campo indicador de zoom indica que es necesario realizar un procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo.
  4. 4. El método según la reivindicación 1 o 2, en donde la política de zoom comprende un campo etapas de zoom, siendo m un valor del campo etapas de zoom, siendo m un número entero positivo; y el campo etapas de zoom se utiliza para indicar que una cantidad de etapas de zoom comprendidas cuando se realiza el procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos en el modo de zoom objetivo es m.
  5. 5. El método según la reivindicación 1 o 2, en donde la relación de zoom está en una unidad de 2 a 3.
  6. 6. El método según la reivindicación 1 o 2, en donde la política de zoom comprende m campos duración de zoom y m campos unidad de duración de zoom; la j-ésima etapa de zoom en las m etapas de zoom corresponde al j-ésimo campo duración de zoom en los m campos duración de zoom, siendo j un número entero positivo y j<m;
    el j-ésimo campo duración de zoom se usa para indicar un valor de una duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, teniendo el campo duración de zoom un valor distinto de cero; y el j-ésimo campo unidad de duración de zoom se usa para indicar una unidad de medida de la duración cuando se realiza la j-ésima etapa de zoom del procesamiento de zoom en la i-ésima región de zoom de los medios inmersivos, estando el campo unidad de duración de zoom en una unidad de segundo y teniendo el campo unidad de duración de zoom un valor distinto de cero.
    El método según la reivindicación 1, en donde el archivo de señalización de descripción de zoom comprende al menos uno de los siguientes: un descriptor de zoom en región esférica o un descriptor de zoom en región bidimensional, 2D;
    el descriptor de zoom en región esférica está encapsulado en una jerarquía de representación en un archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región esférica en la jerarquía de representación es menor o igual que 1; y
    el descriptor de zoom en región 2D está encapsulado en la jerarquía de representación en el archivo de descripción de presentación de medios en los medios inmersivos, y una cantidad de los descriptores de zoom en región 2D en la jerarquía de representación es menor o igual que 1.
    Un dispositivo de procesamiento de datos para medios inmersivos, que comprende: uno o más procesadores y una o más memorias,
    almacenando las una o más memorias al menos un segmento de un código de programa, siendo el al menos un segmento de un código de programa cargado y ejecutando por los uno o más procesadores, para ejecutar el método de procesamiento de datos para medios inmersivos según una cualquiera de las realizaciones 1 a 7.
    Un soporte de almacenamiento legible por ordenador, que almacena al menos un segmento de un código de programa, siendo el al menos un segmento de un código de programa cargado y ejecutando por un procesador, para ejecutar el método de procesamiento de datos para medios inmersivos según una cualquiera de las realizaciones 1 a 7.
ES21817039T 2020-06-04 2021-03-30 Data processing method, device and apparatus for immersive media, and storage medium Active ES3034522T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010501593.5A CN113766272B (zh) 2020-06-04 2020-06-04 一种沉浸媒体的数据处理方法
PCT/CN2021/084179 WO2021244116A1 (zh) 2020-06-04 2021-03-30 沉浸媒体的数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
ES3034522T3 true ES3034522T3 (en) 2025-08-19

Family

ID=78783759

Family Applications (1)

Application Number Title Priority Date Filing Date
ES21817039T Active ES3034522T3 (en) 2020-06-04 2021-03-30 Data processing method, device and apparatus for immersive media, and storage medium

Country Status (4)

Country Link
EP (1) EP4030772B1 (es)
CN (2) CN113766272B (es)
ES (1) ES3034522T3 (es)
WO (1) WO2021244116A1 (es)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8930562B2 (en) * 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
CN105379293B (zh) * 2013-04-19 2019-03-26 华为技术有限公司 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
EP3177025A4 (en) * 2014-07-31 2018-01-10 Sony Corporation Transmission apparatus, transmission method, reception apparatus and reception method
US9380345B2 (en) * 2014-12-01 2016-06-28 Microsoft Technology Licensing, Llc Immersive scaling interactive television
US9781350B2 (en) * 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN105933726A (zh) * 2016-05-13 2016-09-07 乐视控股（北京）有限公司 虚拟现实终端及其视频分辨率的适应方法及装置
GB2550589B (en) * 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
WO2018125579A1 (en) * 2016-12-29 2018-07-05 Sony Interactive Entertainment Inc. Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking
US10536721B2 (en) * 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
CN108965847B (zh) * 2017-05-27 2020-04-14 华为技术有限公司 一种全景视频数据的处理方法及装置
US11051040B2 (en) * 2017-07-13 2021-06-29 Mediatek Singapore Pte. Ltd. Method and apparatus for presenting VR media beyond omnidirectional media
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
US11043031B2 (en) * 2017-10-20 2021-06-22 Google Llc Content display property management
CN110019860A (zh) * 2017-12-04 2019-07-16 天津三星电子有限公司 一种多媒体文件的处理方法及电子设备
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3857876A1 (en) * 2018-09-25 2021-08-04 Telefonaktiebolaget LM Ericsson (publ) Media bistream having backwards compatibility
CN110572656B (zh) * 2019-09-19 2021-11-19 江苏视博云信息技术有限公司 一种编码方法、图像处理方法、装置、系统、存储介质及设备
CN113453046B (zh) * 2020-03-24 2022-07-12 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113766272B (zh) 2023-02-10
EP4030772B1 (en) 2025-06-04
EP4030772A4 (en) 2022-12-21
CN116347183A (zh) 2023-06-27
EP4030772A1 (en) 2022-07-20
WO2021244116A1 (zh) 2021-12-09
CN116347183B (zh) 2026-06-19
US20220239992A1 (en) 2022-07-28
CN113766272A (zh) 2021-12-07
EP4030772C0 (en) 2025-06-04

Similar Documents

Publication Publication Date Title
US11122294B2 (en) Methods, devices and stream for encoding and decoding volumetric video
KR20170132098A (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
WO2018095087A1 (zh) 一种去块滤波方法及终端
TW201840178A (zh) 適應性擾動立方體之地圖投影
CN113852829A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
US12010402B2 (en) Data processing for immersive media
US12418576B2 (en) Method, apparatus and device for encapsulating media file, and storage medium
US20230421774A1 (en) Packaging and unpackaging method and apparatus for point cloud media file, and storage medium
TWI796989B (zh) 沉浸媒體的數據處理方法、裝置、相關設備及儲存媒介
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
CN113497928B (zh) 一种沉浸媒体的数据处理方法及相关设备
US20220239992A1 (en) Data processing for immersive media
CN114581631A (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN116137664B (zh) 点云媒体文件封装方法、装置、设备及存储介质
HK40087291A (en) Data processing method and related device for immersive media
HK40074454A (en) Data processing method and device for immersive media
HK40074454B (en) Data processing method and device for immersive media
US12489927B2 (en) File decapsulation method and apparatus for free viewpoint video, device, and storage medium
HK40086079A (zh) 点云媒体文件封装方法、装置、设备及存储介质
HK40065640A (en) Method, apparatus, device and storage medium for encapsulating and decapsulating media file
HK40072001A (en) Immersive media data processing method, device and computer readable storage medium
HK40083059A (en) Method, apparatus, device and storage medium for encapsulating and decapsulating media file
HK40053992A (en) Data processing method for immersive media and related device