ES2654771T3 - Procedimiento y aparato para procesar un flujo de vídeo - Google Patents

Procedimiento y aparato para procesar un flujo de vídeo Download PDF

Info

Publication number
ES2654771T3
ES2654771T3 ES13779108.3T ES13779108T ES2654771T3 ES 2654771 T3 ES2654771 T3 ES 2654771T3 ES 13779108 T ES13779108 T ES 13779108T ES 2654771 T3 ES2654771 T3 ES 2654771T3
Authority
ES
Spain
Prior art keywords
subflow
information
subflows
screens
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13779108.3T
Other languages
English (en)
Inventor
Dong Wang
Changqi Hu
Peiyun Di
Jun Yao
Xin Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Application granted granted Critical
Publication of ES2654771T3 publication Critical patent/ES2654771T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Un procedimiento para procesar un flujo de vídeo según la norma H.264, que comprende: adquirir (210, 501) un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, donde la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo; según la información de dirección, adquirir (220, 502) múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo; ordenar (230, 503) los múltiples subflujos según la información de presentación, fusionar los múltiples subflujos ordenados formando un único flujo, y generar un mensaje de indicación, donde el mensaje de indicación incluye primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica una posición de inicio de cada subflujo en el flujo único; donde la fusión de los múltiples subflujos ordenados formando un flujo único comprende: fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type>=2 para formar el flujo único cuando cada trama de imagen de cada subflujo contiene simplemente un fragmento; o fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type>=6 para formar el flujo único cuando cada trama de imagen de cada subflujo contiene más de un fragmento; y enviar (240, 504) el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Procedimiento y aparato para procesar un flujo de vídeo Campo técnico
La presente divulgación se refiere al campo de las tecnologías de información y, en particular, a un procedimiento y un aparato para procesar un flujo de vídeo.
Antecedentes
Con el desarrollo de las tecnologías de codificación y descodificación de vídeo y de las tecnologías de red, las tecnologías multimedia de flujo continuo se utilizan de manera generalizada. Por ejemplo, un usuario puede previsualizar un tipo de películas u otros fragmentos de vídeo, por ejemplo, "bajo demanda", y, de esta manera, es necesario mostrar múltiples fragmentos de vídeo de tamaño reducido en un terminal al mismo tiempo. Una solución directa es que el terminal adquiera desde un servidor múltiples flujos correspondientes a los fragmentos de vídeo, descodifique los flujos y reproduzca los flujos en posiciones correspondientes.
En la actualidad, un procesador usado en un terminal manual o en un terminal de ordenador no personal (PC, ordenador personal) utiliza normalmente descodificación mediante hardware, es decir, un núcleo de descodificación mediante hardware está integrado en un procesador. Sin embargo, no todos los procesadores admiten la descodificación de múltiples flujos. En chips que admiten la descodificación de múltiples flujos, la mayoría de los chips afrontan el problema usando un procedimiento de división de tiempo, es decir, múltiples flujos se descodifican al mismo tiempo de tal manera que se utiliza la división de tiempo en un núcleo de descodificación, por ejemplo, conjuntos de núcleos de gráficos PowerVR. Sin embargo, cuando se utiliza la división de tiempo, es necesario conmutar entre los procesos de descodificación de los flujos, lo que da como resultado un menor rendimiento de descodificación y, por consiguiente, una mayor lógica de control adicional.
El documento US 2007/204302 A1 da a conocer un procedimiento para generar un mosaico de vídeo personalizado a partir de múltiples fuentes de vídeo. El procedimiento incluye: recibir una selección de abonado de fuentes de vídeo que comprenden un mosaico de vídeo personalizado; desmultiplexar el flujo de vídeo de entrada; seleccionar fuentes de vídeo a partir del flujo de vídeo de entrada correspondiente a las fuentes de vídeo solicitadas que comprenden el mosaico de vídeo personalizado; multiplexar las fuentes de vídeo para generar el mosaico de vídeo personalizado; y transmitir al abonado solicitante el mosaico de vídeo personalizado, que incluye audio de programa.
Resumen
La presente invención proporciona un procedimiento y un aparato para procesar un flujo de vídeo, que pueden mejorar el rendimiento de descodificación de un terminal.
En un aspecto, se proporciona un procedimiento para procesar un flujo de vídeo según la norma H.264, donde el procedimiento incluye: adquirir un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, donde la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo; según la información de dirección, adquirir múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo; ordenar los múltiples subflujos según la información de presentación, fusionar los múltiples subflujos ordenados formando un único flujo, y generar un mensaje de indicación, donde el mensaje de indicación incluye primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica una posición de inicio de cada subflujo en el flujo único; donde la fusión de los múltiples subflujos ordenados formando un único flujo comprende: fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=2 para formar el flujo único cuando cada trama de imagen en cada subflujo solo contiene un fragmento; o fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=6 para formar el flujo único cuando cada trama de imagen en cada subflujo contiene más de un fragmento; y enviar el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
En otro aspecto, se proporciona un aparato para procesar un flujo de vídeo según la norma H.264, donde el aparato incluye: una primera unidad de adquisición, configurada para adquirir un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, donde la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo; una segunda unidad de adquisición, configurada para: según la información de dirección, adquirir múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo; una unidad de generación, configurada para ordenar los
5
10
15
20
25
30
35
40
45
50
55
múltiples subflujos según la información de presentación, fusionar los múltiples subflujos ordenados formando un único flujo, y generar un mensaje de indicación, donde el mensaje de indicación incluye primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica una posición de inicio de cada subflujo en el flujo único; donde la unidad de generación está configurada específicamente para fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=2 para formar el flujo único cuando cada trama de imagen en cada subflujo solo contiene un fragmento, o fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=6 para formar el flujo único cuando cada trama de imagen en cada subflujo contiene más de un fragmento; y una unidad de envío, configurada para enviar el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
En la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, el rendimiento de descodificación del terminal puede mejorarse.
Breve descripción de los dibujos
Para ilustrar más claramente las soluciones técnicas de las formas de realización de la presente invención, a continuación se introduce brevemente los dibujos adjuntos requeridos para describir las formas de realización de la presente invención. Evidentemente, los dibujos adjuntos de la siguiente descripción muestran simplemente algunas formas de realización de la presente invención, y un experto en la técnica puede obtener otros dibujos a partir de estos dibujos adjuntos sin realizar investigaciones adicionales.
La FIG. 1 es un diagrama esquemático de un ejemplo de un escenario de red en el que puede aplicarse una forma de realización de la presente invención.
La FIG. 2 es un diagrama de flujo esquemático de un procedimiento para procesar un flujo de vídeo según una forma de realización de la presente invención.
La FIG. 5 es un diagrama de flujo esquemático de un proceso de un procedimiento para procesar un flujo de vídeo según otra forma de realización de la presente invención.
La FIG. 6 es un diagrama esquemático de un ejemplo de un proceso para formar, mediante fusión, un único flujo usando la forma de realización mostrada en la FIG. 5.
La FIG. 7 es un diagrama de flujo esquemático de un proceso de un procedimiento para procesar un flujo de vídeo según otra forma de realización de la presente invención.
La FIG. 8 es un diagrama de flujo esquemático de un proceso de un procedimiento para procesar un flujo de vídeo según otra forma de realización de la presente invención.
La FIG. 9 es un diagrama esquemático de un ejemplo de un proceso para formar, mediante fusión, un único flujo usando la forma de realización mostrada en la FIG. 8.
La FIG. 10 es un diagrama esquemático de un proceso para formar, mediante fusión, un único flujo según otra forma de realización de la presente invención.
La FIG. 11 es un diagrama de bloques esquemático de un aparato para procesar un flujo de vídeo según una forma de realización de la presente invención.
La FIG. 12 es un diagrama de bloques esquemático de un aparato para procesar un flujo de vídeo según una forma de realización de la presente invención.
Descripción de las formas de realización
A continuación se describe de manera clara y exhaustiva las soluciones técnicas en las formas de realización de la presente invención con referencia a los dibujos adjuntos en las formas de realización de la presente invención. Evidentemente, las formas de realización descritas son simplemente una parte y no todas las formas de realización de la presente invención. El resto de formas de realización obtenidas por un experto en la técnica en función de las formas de realización de la presente invención sin realizar esfuerzos creativos estarán dentro del alcance de protección de la presente invención.
La FIG. 1 es un diagrama esquemático de un ejemplo de un escenario de red en el que puede aplicarse una forma de realización de la presente invención. Debe observarse que el ejemplo mostrado en la FIG. 1 sirve simplemente para ayudar a que un experto en la técnica entienda mejor la forma de realización de la presente invención, y no pretende limitar el alcance de la forma de realización de la presente invención.
5
10
15
20
25
30
35
40
45
50
55
60
En la FIG. 1, un servidor 110 puede ser un servidor de una tecnología multimedia de flujo continuo, por ejemplo, un servidor multimedia de flujo continuo. Un terminal 120 puede ser un terminal capaz de reproducir datos multimedia de flujo continuo, por ejemplo un teléfono móvil, un ordenador portátil, un asistente digital personal o una máquina multimedia portátil.
En la tecnología multimedia de flujo continuo, el servidor 110 puede almacenar múltiples archivos multimedia, por ejemplo una película u otros vídeos. Un usuario puede enviar al servidor 110 una solicitud de acceso a un archivo multimedia a través del terminal 120, el servidor 110 puede suministrar el archivo multimedia al que va a accederse al terminal 120 a través de una red después de que el servidor 110 reciba la solicitud, y el terminal 120 reproduce el archivo multimedia.
En lo que respecta al terminal 120, debido a razones tales como una previsualización o un entorno "bajo demanda", existe la necesidad de descodificar y mostrar múltiples pantallas pequeñas en el terminal 120 al mismo tiempo. Por ejemplo, cuando un usuario desea previsualizar un tipo de películas u otros fragmentos de vídeo en un entorno "bajo demanda", múltiples fragmentos de vídeo de tamaño reducido, en lugar de un único fragmento de vídeo, se muestran al mismo tiempo en el terminal. La fusión de todas las pequeñas pantallas puede ser dinámica y diversificada. Por ejemplo, debido a requisitos tales como un entorno "bajo demanda", pueden mostrarse 9 pequeñas pantallas en el terminal 120 mostrado en la FIG. 1. Debe observarse que, en este caso, el número es simplemente un ejemplo con fines descriptivos y no pretende limitar el alcance de la forma de realización de la presente invención.
Para hacer que el terminal 120 pueda mostrar múltiples pantallas pequeñas, es necesario procesar un flujo de vídeo. A continuación se describe en detalle un procedimiento para procesar un flujo de vídeo en una forma de realización de la presente invención.
La FIG. 2 es un diagrama de flujo esquemático de un procedimiento para procesar un flujo de vídeo según una forma de realización de la presente invención. El procedimiento mostrado en la FIG. 2 se ejecuta mediante un aparato de procesamiento de un flujo de vídeo.
210: Adquirir un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo.
En la forma de realización de la presente invención, las múltiples subpantallas de vídeo pueden ser vídeos tales como vídeos suscritos bajo demanda a través del terminal o personalizados por el usuario a través del terminal. La información de dirección de las múltiples subpantallas de vídeo puede incluir un localizador de recurso uniforme (url), y puede incluir además otro contenido de dirección, lo cual no está limitado en la forma de realización de la presente invención.
220: Según la información de dirección, adquirir múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo.
230: Fusionar los múltiples subflujos en un único flujo, y generar un mensaje de indicación usado para indicar un parámetro de imagen del flujo único.
240: Enviar el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
En la forma de realización de la presente invención, el aparato para procesar un flujo de vídeo puede fusionar directamente múltiples subflujos en un único flujo sin necesidad de descodificar primero los múltiples subflujos, y después comprime y codifica los múltiples subvídeos, obtenidos a través de la descodificación, en un único flujo y, por lo tanto, puede mejorarse la eficacia del procesamiento. Además, el terminal puede mostrar múltiples subpantallas de vídeo descodificando un único flujo; de esta manera, el terminal solo necesita admitir una descodificación de vídeo normal y no necesita descodificar los múltiples subflujos al mismo tiempo ni llevar a cabo una conmutación en la descodificación; de esta manera, el rendimiento de descodificación del terminal puede mejorarse, y puede facilitar la implementación del servicio.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación de servicio.
En la etapa 210, el mensaje de solicitud transporta además información de presentación, donde la información de presentación puede indicar un modo de presentación de las múltiples subpantallas de vídeo. En la etapa 230, el aparato de procesamiento de flujo de vídeo puede ordenar los múltiples subflujos según el modo de presentación y fusionar múltiples subflujos ordenados formando el flujo único.
5
10
15
20
25
30
35
40
45
50
55
60
65
En la forma de realización de la presente invención, el aparato de procesamiento de flujo de vídeo ordena los múltiples subflujos según el modo de presentación solicitado por el terminal, y fusiona los múltiples subflujos formando el flujo único; por lo tanto, después de que el terminal descodifique el flujo único, el terminal no tiene que ordenar de nuevo los múltiples subflujos sino que puede mostrar directamente las múltiples subpantallas de vídeo según el modo de presentación, y puede facilitarse la implementación del servicio.
En la etapa 230, el aparato de procesamiento de flujo de vídeo puede ordenar los múltiples subflujos según el modo de presentación y fusionar múltiples subflujos ordenados formando el flujo único. De esta manera, el aparato para procesar un flujo de vídeo puede generar un mensaje de indicación, y el mensaje de indicación incluye primera información, segunda información e información de datos de fragmento de cada subflujo, donde la primera información puede indicar un parámetro de tamaño de imagen del flujo único, la segunda información puede indicar un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo puede indicar una posición de inicio de cada subflujo en el flujo único.
Específicamente, las estructuras de trama de los múltiples subflujos pueden ser idénticas, es decir, los tipos de imagen de las tramas de imágenes en los múltiples subflujos pueden ser idénticos. El parámetro de tamaño de imagen, indicado por la primera información, del flujo único puede incluir una altura y una anchura de cada trama de imagen del flujo único. El parámetro de grupo de fragmento, indicado por la segunda información, de cada subflujo puede incluir un tipo de grupo de fragmentos de cada subflujo, el número de grupos de fragmentos de cada subflujo, y un parámetro de la posición de cada fragmento en cada subflujo.
Opcionalmente, como otra forma de realización, en la etapa 230, el aparato de procesamiento de flujo de vídeo puede ordenar los múltiples subflujos según el modo de presentación y fusionar múltiples subflujos ordenados formando el flujo único. De esta manera, el aparato para procesar un flujo de vídeo puede generar un mensaje de indicación, y el mensaje de indicación incluye tercera información, donde la tercera información puede indicar un parámetro de tamaño de imagen del flujo único, el número de subflujos, un parámetro de una posición de cada subflujo del flujo único, y el número de fragmentos en cada subflujo.
Específicamente, las estructuras de trama de los múltiples subflujos pueden ser idénticas. El aparato para procesar un flujo de vídeo puede indicar un parámetro relacionado del flujo único a través de la tercera información. El parámetro de tamaño de imagen del flujo único puede incluir una altura y una anchura de cada trama de imagen del flujo único.
Además, la tercera información puede estar ubicada delante de un primer fragmento del flujo único; después de que el terminal reciba la tercera información, el terminal puede descodificar el flujo único según el parámetro indicado por la tercera información. Si el terminal no recibe la tercera información, el terminal puede descodificar el subflujo recibido según la técnica anterior.
Opcionalmente, como otra forma de realización, en la etapa 230, además de la tercera información incluida en el mensaje de indicación, el mensaje de indicación puede incluir además información de imagen de cada subflujo e información de grupo de fragmentos de cada subflujo, donde la información de imagen de cada subflujo puede indicar un parámetro de tamaño de imagen de cada subflujo, y la información de grupo de fragmentos de cada subflujo indica un parámetro de grupo de fragmentos de cada subflujo.
Específicamente, el mensaje de indicación puede indicar un parámetro relacionado del flujo único a través de la tercera información, y puede incluir además un parámetro específico de cada subflujo. De esta manera, cuando las estructuras de trama de los múltiples subflujos son diferentes, el terminal puede descodificar el flujo único según la tercera información, y descodificar cada subflujo según la información de imagen y la información de grupo de fragmentos de cada subflujo. La información de imagen y la información de grupo de fragmentos de cada subflujo pueden estar ubicadas delante de un primer fragmento de cada subflujo. Por lo tanto, la forma de realización de la presente invención puede aplicarse en una condición en la que las estructuras de trama de múltiples subflujos son diferentes.
Opcionalmente, como otra forma de realización, en la etapa 230, el aparato de procesamiento de flujo de vídeo puede ordenar los múltiples subflujos según el modo de presentación y fusionar múltiples subflujos ordenados formando el flujo único. De esta manera, el aparato para procesar un flujo de vídeo puede generar un mensaje de indicación, y el mensaje de indicación puede incluir primera información e información adicional, donde la primera información puede indicar un parámetro de tamaño de imagen del flujo único, y la información adicional puede indicar el número de subflujos, un parámetro de la ubicación de cada subflujo en el flujo único y el número de fragmentos en cada subflujo.
Opcionalmente, como otra forma de realización, según la anterior manera de fusionar múltiples subflujos en un único flujo, en un proceso en el que se codifica cada subflujo, puede fijarse que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo. Puesto que el borde de una imagen de cada subflujo puede no ser ya posiblemente el borde después de que múltiples subflujos se fusionen en un único flujo, para evitar que se produzca un error en la descodificación del flujo
5
10
15
20
25
30
35
40
45
50
55
60
único formado a través de la fusión, es necesario fijar que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
Opcionalmente, como otra forma de realización, en la etapa 210, el mensaje de solicitud puede transportar además información de presentación, donde la información de presentación puede indicar que un modo de presentación de las múltiples subpantallas de vídeo es un modo de N cuadrículas, donde N es un entero positivo mayor que o igual a 2. En la etapa 230, cada subflujo se copia en N copias, y las N copias de cada subflujo se ordenan según un modo de N cuadrículas; y una copia en una posición correspondiente se selecciona de entre las N copias de cada subflujo según una posición de una subpantalla de vídeo correspondiente a cada subflujo en el modo de presentación, y las copias seleccionadas se fusionan en un único flujo.
Específicamente, el aparato para procesar un flujo de vídeo puede copiar cada subflujo en N copias, y ordenar las N copias de cada subflujo según el modo de N cuadrículas y almacenar las N copias; de esta manera, cada subflujo tiene una copia cuando cada subflujo está ubicado en una posición de diferentes de N cuadrículas. De esta manera, cuando el modo de presentación solicitado por el terminal es el modo de N cuadrículas, según una posición de una subpantalla de vídeo correspondiente a cada subflujo del modo de N cuadrículas solicitado por el terminal, las copias en posiciones correspondientes se seleccionan de entre las N copias de cada subflujo, y las copias seleccionadas se fusionan formando un único flujo. Por lo tanto, la forma de realización de la presente invención puede facilitar la implantación del servicio.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de
descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de
descodificación del terminal y facilitarse la implementación del servicio.
A continuación se describe en detalle la forma de realización de la presente invención con referencia a ejemplos específicos. Debe observarse que los ejemplos sirven para ayudar a que un experto en la técnica entienda mejor la forma de realización de la presente invención, y no pretenden limitar el alcance de la forma de realización de la presente invención.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de
descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de
descodificación del terminal y facilitarse la implementación del servicio.
La FIG. 5 es un diagrama de flujo esquemático de un proceso de un procedimiento para procesar un flujo de vídeo según otra forma de realización de la presente invención. En la FIG. 5, la descripción se realiza a través de un ejemplo en el que la codificación y la descodificación se llevan a cabo utilizando la norma H.264 (o la parte 10 de MPEG4 AVC).
501: Un aparato para procesar un flujo de vídeo adquiere un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, y la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo.
502: El aparato para procesar un flujo de vídeo adquiere múltiples subflujos correspondientes según la información de dirección de la etapa 501.
Por ejemplo, la información de dirección puede incluir un url. El aparato para procesar un flujo de vídeo puede adquirir múltiples subflujos desde un servidor según los url de múltiples subpantallas de vídeo.
En el presente documento se supone que las estructuras de trama de los múltiples subflujos pueden ser idénticas, es decir, los tipos de imagen de las tramas de imágenes en los múltiples subflujos son idénticos.
Además, puesto que un borde de una imagen de cada subflujo puede no ser un borde después de que los subflujos se fusionen en un único flujo, en un proceso en el que se codifica cada subflujo, puede fijarse que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
503: El aparato para procesar un flujo de vídeo ordena los múltiples subflujos según el modo de presentación de la etapa 501, fusiona múltiples subflujos ordenados formando un único flujo; y genera un mensaje de indicación, donde el mensaje de indicación puede incluir primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica la posición de inicio de cada subflujo en el flujo único.
5
10
15
20
25
30
35
40
45
50
55
60
Específicamente, el aparato de procesamiento de un flujo de vídeo puede ordenar las tramas de las imágenes de los múltiples subflujos según el modo de presentación de la etapa 501 y fusionar las tramas ordenadas de imágenes de los múltiples subflujos formando tramas de imágenes en el flujo único. Según la norma H.264, se necesita un modo de orden de fragmento arbitrario si el flujo único se forma mediante fusión en este momento; por lo tanto, cada subflujo puede adoptar una codificación de perfil de línea base.
Según la norma H.264 y el número de fragmentos incluidos en cada trama de imagen de cada subflujo, la formación, mediante fusión, del flujo único puede clasificarse en las dos situaciones siguientes:
(1) Cuando cada trama de imagen en cada subflujo contiene simplemente un fragmento, el flujo único puede formarse mediante fusión en un modo de "slice_group_map_type=2", es decir, cada trama de imagen del flujo único está formado por múltiples fragmentos rectangulares, y cada fragmento es un subflujo.
(2) Cuando cada trama de imagen en cada subflujo contiene más fragmentos, el flujo único puede formarse mediante fusión en un modo de "slice_group_map_type=6", es decir, se especifica específicamente que cada unidad de correlación pertenece a un fragmento determinado. Cada trama de imagen en el flujo único está formada por múltiples áreas rectangulares, cada área es un subflujo, y uno o más fragmentos están contenidos además en cada área, es decir, múltiples fragmentos del subflujo correspondiente.
Para facilitar la descripción, la descripción se presenta a continuación a través de un ejemplo en el que cada trama de imagen de cada subflujo contiene un fragmento, pero la forma de realización de la presente invención no está limitada a esto; en la situación en la que cada trama de imagen de cada subflujo contiene múltiples fragmentos, el flujo de procesamiento es similar, y los detalles no se describen de nuevo para evitar repeticiones.
Según la definición de parámetro de la norma H.264, la primera información puede ser información sps. La información sps puede indicar un parámetro de tamaño de imagen del flujo único, y el proceso para generar la información sps puede ser el siguiente:
Puesto que la información sps de los múltiples subflujos es la misma, el aparato de procesamiento de un flujo de vídeo puede seleccionar información sps de cualquier subflujo, obtener parámetros pic_height_in_map_units_minus1 y pic_width_in_mbs_minus1 en la información sps mediante análisis sintáctico, y fijar un valor del parámetro pic_height_in_map_units_minus1 a un valor de altura de una imagen del flujo único menos 1, donde una unidad del valor de altura es una unidad de correlación; y fijar un valor del parámetro pic_width_in_mbs_minus1 a un valor de anchura de una imagen del flujo único menos 1, donde una unidad del valor de anchura es un macrobloque. Valores de otros parámetros en la información sps pueden mantenerse inalterados; en lo que respecta a la definición específica de los otros parámetros, puede hacerse referencia a la norma H.264. Entonces, el aparato para procesar un flujo de vídeo puede alinear octetos posteriores a los parámetros pic_height_in_map_units_minus1 y pic_width_in_mbs_minus1 de la información sps.
Según la definición de parámetros de la norma H.264, la segunda información puede ser información de conjunto de parámetros de imagen (pps), donde la información pps puede indicar un parámetro de grupo de fragmentos de cada subflujo, y un proceso para generar la información sps puede ser como sigue:
(1) Puesto que la información pps de los múltiples subflujos es la misma, el aparato para procesar un flujo de vídeo puede seleccionar información pps de cualquier subflujo.
(2) El aparato para procesar un flujo de vídeo puede fijar a 2 un parámetro de tipo de grupo de fragmentos slice_group_map_type de la información pps.
(3) El aparato para procesar un flujo de vídeo puede fijar un parámetro de número de grupo de fragmentos num_slice_groups_minus1 al número total de fragmentos de 9 subflujos menos 1.
(4) El aparato para procesar un flujo de vídeo puede fijar un valor top_left[] en una posición superior izquierda y un valor bottom_right[] en una posición inferior derecha para cada fragmento de cada subflujo.
(5) Otros parámetros de la información pps pueden mantenerse inalterados; en lo que respecta a la definición de los otros parámetros, puede hacerse referencia a la norma H.264. El aparato para procesar un flujo de vídeo puede alinear octetos de la parte de los otros parámetros.
Según la definición de la norma H.263, los datos de cabecera de fragmento de la información de datos de fragmento de cada subflujo pueden indicar una posición de inicio de cada subflujo en el flujo único. Específicamente, el aparato para procesar un flujo de vídeo fija de manera correspondiente fija un parámetro first_mb_in_slice en los datos de cabecera de fragmento de cada subflujo, donde el parámetro first_mb_in_slice indica una posición de un primer macrobloque de una imagen de cada subflujo en una imagen del flujo único, es decir, la posición de inicio de cada subflujo en el flujo único.
5
10
15
20
25
30
35
40
45
50
55
60
Además, la información de datos de fragmento de cada subflujo puede incluir además un parámetro de número de trama frame_num y un parámetro de identidad de imagen idr_pic_id de regeneración de descodificación instantánea (IDR). Los parámetros frame_num e idr_pic_id de cada subflujo se fijan de manera correspondiente.
504: El aparato para procesar un flujo de vídeo envía al terminal el flujo único y el mensaje de indicación en la etapa 503.
505: El terminal descodifica el flujo único según el mensaje de indicación para obtener múltiples subflujos y muestra múltiples subpantallas de vídeo correspondientes según el modo de presentación en la etapa 501.
La FIG. 6 es un diagrama esquemático de un ejemplo de un proceso para formar, mediante fusión, un único flujo usando la forma de realización mostrada en la FIG. 5. En la FIG. 6 se supone que el número de subpantallas de vídeo es 9, y el modo de presentación es un modo de 9 cuadrículas.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo según el modo de presentación solicitado por el terminal, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
La FIG. 7 es un diagrama de flujo esquemático de un proceso de un procedimiento para procesar un flujo de vídeo según otra forma de realización de la presente invención. En la FIG. 7, la codificación y la descodificación pueden llevarse a cabo sin adoptar una norma H.264; la codificación y la descodificación pueden llevarse a cabo utilizando otras normas nuevas y pueden implementarse mediante un códec autopersonalizado.
701: Un aparato para procesar un flujo de vídeo adquiere un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, y la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo.
702: El aparato para procesar un flujo de vídeo adquiere múltiples subflujos correspondientes según la información de dirección de la etapa 701.
Por ejemplo, la información de dirección puede incluir un url. El aparato para procesar un flujo de vídeo puede adquirir múltiples subflujos desde un servidor según los url de múltiples subpantallas de vídeo. En el presente documento se supone que el servidor codifica cada subflujo usando la misma estructura de trama.
Además, puesto que un borde de una imagen de cada subflujo puede no ser un borde después de que los subflujos se fusionen en un único flujo, en un proceso en el que se codifica cada subflujo, puede fijarse que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
703: El aparato para procesar un flujo de vídeo ordena los múltiples subflujos según el modo de presentación de la etapa 701, fusiona múltiples subflujos ordenados formando un único flujo, y genera un mensaje de indicación, donde el mensaje de indicación incluye tercera información, y la tercera información indica un parámetro de tamaño de imagen del flujo único, el número de subflujos, un parámetro de la posición de cada subflujo en el flujo único, y el número de fragmentos en cada subflujo.
La definición de la norma H.264 se sigue usando en el presente documento y se supone que las estructuras de la información sps de los múltiples subflujos es la misma, las estructuras de información pps de los múltiples subflujos son idénticas, y las estructuras de los datos de cabecera de fragmento de los múltiples subflujos son idénticas; por lo tanto, después de que el flujo único se forme mediante fusión, puede mantenerse un conjunto de información sps, la información pps y los datos de cabecera de fragmento. Puesto que un parámetro de imagen del flujo único se indica a través de la tercera información en la forma de realización de la presente invención, la información puede no volver a fijarse.
A continuación se proporciona un ejemplo de una estructura de datos de la tercera información. El ejemplo es simplemente para ayudar a que un experto en la técnica entienda la forma de realización de la presente invención, y no pretende limitar el alcance de la forma de realización de la presente invención. Evidentemente, un experto en la técnica puede realizar diversas modificaciones o cambios equivalentes según un ejemplo proporcionado de un seudocódigo, por ejemplo la estructura de datos de la tercera información puede usar además una estructura similar definida en otras normas de codificación y descodificación de vídeo nuevas, y las modificaciones o cambios también estarán dentro del alcance de la forma de realización de la presente invención.
modify_sub_picture() {
new_pic_height_in_map_units_minus1
5
10
15
20
25
30
35
40
45
50
55
60
new_pic_width_in_mbs_minus1 num_sub_picture_minus1 for (i=0; i<= num_sub_picture_minus1; i++){ top_left[i] bottom_right[i]
num_slice_in_sub_picture_minus1
}
}
Puede observarse que las posiciones de los fragmentos de todos los subflujos están definidas en el ejemplo anterior. Por otro lado, el número de todos los fragmentos puede indicarse como:
(numsub jncture_minus 1+1) x (mimsliceinsub jictureminus 1+1).
La tercera información puede estar ubicada delante de un primer fragmento del flujo único. De esta manera, el terminal puede ser notificado, mediante la tercera información, de que el terminal descodifica el flujo único según la tercera información.
704: El aparato para procesar un flujo de vídeo envía al terminal el flujo único en la etapa 703 y la tercera información incluida en el mensaje de indicación.
705: El terminal descodifica el flujo único según la tercera información para obtener múltiples subflujos, y muestra múltiples subpantallas de vídeo correspondientes según el modo de presentación en la etapa 701.
Específicamente, si el terminal recibe la tercera información, el terminal descodifica el flujo único según la tercera información. Por ejemplo, cuando cada subflujo incluye un fragmento, el terminal puede descodificar cada fragmento, donde un área correspondiente a cada fragmento puede definirse mediante top_left[] y bottom_right[], y el área es independiente de otra área; si sucede que un vector de movimiento está más allá del área, el terminal puede realizar el procesamiento usando la técnica anterior en la que el vector de movimiento está más allá de un área de imagen, es decir, el terminal puede llevar una cabo un procesamiento de relleno.
Si cada subflujo incluye múltiples fragmentos, el terminal puede limitar los fragmentos en un área correspondiente al subflujo para realizar una exploración por trama, donde el área dentro de la cual se realiza la exploración por trama puede definirse mediante top_left[] y bottom_right[].
Además, si el terminal no recibe la tercera información, el terminal puede descodificar cada subflujo según la técnica anterior.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo según el modo de presentación solicitado por el terminal, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
Además, en la forma de realización de la presente invención, un parámetro de imagen del flujo único se indica a través de la tercera información, un paquete de datos de cada subflujo no tiene que modificarse y la implementación del servicio puede facilitarse.
En el ejemplo de la FIG. 7, puesto que las estructuras de trama de los subflujos son idénticas, solo es necesario mantener la información sps y la información pps de un subflujo.
Opcionalmente, en una situación en la que las estructuras de trama de los subflujos son diferentes, además de la tercera información incluida en el mensaje de indicación, el mensaje de indicación puede incluir además información de imagen de cada subflujo e información de grupo de fragmentos de cada subflujo, la información de imagen de cada subflujo indica un parámetro de tamaño de imagen de cada subflujo, y la información de grupo de fragmentos de cada subflujo indica un parámetro de grupo de fragmentos de cada subflujo.
Específicamente, la definición de la norma H.264 se sigue usando, donde la información de imagen de cada subflujo puede ser la información sps de cada subflujo, y la información de grupo de fragmentos de cada subflujo puede ser la información pps de cada subflujo. De esta manera, la información sps de cada subflujo y la información pps de cada subflujo puede incluirse en el mensaje de indicación. La información sps y la información pps de cada subflujo pueden estar ubicadas delante del primer fragmento de cada subflujo. De esta manera, en una situación en la que las estructuras de trama de los subflujos son diferentes, el terminal puede descodificar además el flujo único y cada subflujo según la tercera información y la información sps y la información pps de cada subflujo.
5
10
15
20
25
30
35
40
45
50
55
60
La FIG. 8 es un diagrama de flujo esquemático de un proceso de un procedimiento para procesar un flujo de vídeo según otra forma de realización de la presente invención. En la FIG. 8, se supone que las estructuras de trama de los subflujos son idénticas.
801: Un aparato para procesar un flujo de vídeo adquiere un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, y la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo.
802: El aparato para procesar un flujo de vídeo adquiere múltiples subflujos correspondientes según la información de dirección de la etapa 801.
Por ejemplo, la información de dirección puede incluir un url. El aparato para procesar un flujo de vídeo puede adquirir múltiples subflujos desde un servidor según los url de múltiples subpantallas de vídeo.
Además, puesto que un borde de una imagen de cada subflujo puede no ser un borde después de que los subflujos se fusionen en un único flujo, en un proceso en el que se codifica cada subflujo, puede fijarse que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
803: El aparato para procesar un flujo de vídeo ordena los múltiples subflujos según el modo de presentación de la etapa 801, fusiona múltiples subflujos ordenados formando un único flujo, y genera un mensaje de indicación, donde el mensaje de indicación incluye primera información e información adicional, y la primera información indica un parámetro de tamaño de imagen del flujo único y la información adicional indica el número de subflujos, un parámetro de una posición de cada subflujo del flujo único, y el número de fragmentos en cada subflujo.
Específicamente, la definición de una norma H.264 se sigue usando, donde la primera información puede ser información sps. Un proceso para generar la información sps es como sigue:
si se supone que las estructuras de la información sps de los subflujos son idénticas y que las estructuras de información pps de los subflujos son idénticas, el aparato para procesar un flujo de vídeo puede seleccionar la información sps de cualquier subflujo, obtener parámetros pic_height_in_map_units_minus1 y pic_width_in_mbs_minus1 de la información sps mediante análisis sintáctico, fijar un valor del parámetro pic_height_in_map_units_minus1 a un valor de altura de una imagen del flujo único, y fijar el parámetro pic_width_in_mbs_minus1 a un valor de anchura de la imagen del flujo único.
Además, la información adicional puede añadirse a la información sps, es decir, puede ser un elemento de sintaxis añadido a la información sps. A continuación se proporciona un ejemplo de una estructura de datos de la información adicional. El ejemplo es simplemente para ayudar a que un experto en la técnica entienda la forma de realización de la presente invención y no pretende limitar el alcance de la forma de realización de la presente invención. Evidentemente, un experto en la técnica puede realizar diversas modificaciones o cambios equivalentes según un ejemplo proporcionado de un seudocódigo, por ejemplo la estructura de datos de la información adicional puede usar además una estructura similar definida en otras normas de codificación y descodificación de vídeo nuevas, y las modificaciones o cambios también estarán dentro del alcance de la forma de realización de la presente invención.
sub_picture_merge if (sub_picture_merge==1) { num_sub_picture_minus1 for (i=0; i<= num_sub_picture_minus1; i++){ top_left[i] bottom_right[i]
num_slice_in_sub_picture_minus1
}
}
Antes de que los múltiples subflujos se fusionen en el flujo único, un valor de sub_picture_merge es 0. Después de formarse el flujo único mediante fusión, el valor de sub_picture_merge puede fijarse a 1. En el ejemplo anterior se definen las posiciones de los fragmentos de todos los subflujos. Por otro lado, el número de todos los fragmentos puede indicarse como:
(num_sub_pictoe_mínusl+l) x (num_slice_in_sub_picture_mmusl+r).
804: El aparato para procesar un flujo de vídeo envía al terminal el flujo único en la etapa 803 y la primera información y la información adicional incluidas en el mensaje de indicación.
5
10
15
20
25
30
35
40
805: El terminal descodifica el flujo único según la primera información y la información adicional para obtener múltiples subflujos, y muestra múltiples subpantallas de vídeo correspondientes según el modo de presentación en la etapa 801.
Específicamente, si el terminal determina que el valor de sub_picture_merge es 1, el terminal puede descodificar el flujo único según la primera información y la información adicional. Por ejemplo, cuando cada subflujo incluye un fragmento, el terminal puede descodificar cada fragmento, donde un área correspondiente a cada fragmento puede definirse mediante top_left[] y bottom_right[], y el área es independiente de otra área; si sucede que un vector de movimiento está más allá del área, el terminal puede realizar el procesamiento usando la técnica anterior en la que el vector de movimiento está más allá de un área de imagen, es decir, el terminal puede llevar una cabo un procesamiento de relleno.
Si cada subflujo incluye múltiples fragmentos, el terminal puede limitar los fragmentos en un área correspondiente al subflujo para realizar una exploración por trama, donde el área dentro de la cual se realiza la exploración por trama puede definirse mediante top_left[] y bottom_right[].
Además, si el terminal determina que el valor de sub_picture_merge es 0, el terminal puede descodificar cada subflujo según la técnica anterior.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo según el modo de presentación solicitado por el terminal, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
La FIG. 9 es un diagrama esquemático de un ejemplo de un proceso para formar, mediante fusión, un único flujo usando la forma de realización mostrada en la FIG. 8.
En la FIG. 9 se supone que el terminal solicita 4 subpantallas de vídeo. Un tamaño de una imagen correspondiente a un subflujo correspondiente a cada subpantalla de vídeo es 320x320, es decir, tanto la longitud como la anchura ocupan 20 MB. Cada trama de imagen de cada subflujo incluye 2 fragmentos.
Se supone que un modo de presentación, solicitado por el terminal, de las subpantallas de vídeo es un modo de N cuadrículas, y que el aparato para procesar un flujo de vídeo fusiona los 4 subflujos en un único flujo según el modo de N cuadrículas; de esta manera, el tamaño de cada trama de imagen del flujo único es 640x640, es decir, tanto la longitud como la anchura ocupan 40 MB.
Según la forma de realización mostrada en la FIG. 8, el mensaje de indicación incluye la primera información y la información adicional. La definición de H.264 se sigue usando, donde la primera información puede ser la información sps, y la información adicional puede añadirse a la información sps.
En la FIG. 9, se supone que un parámetro de la información adicional puede definirse como sigue:
5
10
15
20
25
30
35
40
sub_picture_merge= 1 num_sub_picture_minus 1 =3
top_left[0]=0 // un primer subflujo
bottom_right[0]=7 7 9 num_slice_in_sub_picture_minus 1=1
top_left[ 1 ]=20 // un segundo subflujo
bottom_right[ 1 ]=799 num_slice_in_sub_picture_minus 1 =2 top_left[2]=800 // un tercer subflujo
bottom_right[2]=1579 num_slice_in_sub_picture_minus 1 =2 top_left[3]=820 // un cuarto subflujo
bottom_right[3 ]=1599 num_slice_in_sub_picture_minus 1 =2
Para ayudar a un experto en la técnica a entender mejor la forma de realización de la presente invención, a continuación se describe en detalle un ejemplo en el que el terminal descodifica el segundo subflujo en el flujo único. Debe observarse que un proceso de descodificación de otros subflujos es similar; para evitar repeticiones, los detalles no se describen de nuevo.
Según la información adicional, un área correspondiente al segundo subflujo es un área rectangular que oscila entre 20 MB y 799 MB. Cuando un fragmento 2.1 del segundo subflujo se descodifica, se supone que una posición first_mb_in_slice de un primer macrobloque del fragmento es 0, la exploración por trama se realiza desde una posición de inicio del área rectangular, y el fragmento 2.1 se descodifica. Cuando un fragmento 2.2 del segundo subflujo se descodifica, se supone que una posición first_mb_in_slice del primer macrobloque del fragmento es 150 MB, la exploración por trama se realiza desde un 150-ésimo MB del área y el fragmento 2.2 se descodifica.
Si un vector de movimiento está más allá de un área correspondiente cuando el segundo subflujo se descodifica, se realiza una operación de relleno en el área. La operación es similar a la operación de relleno en un borde de imágenes, tal y como se regula en una norma existente; y los datos de imágenes de un área adyacente no se usan.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo según el modo de presentación solicitado por el terminal, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
La FIG. 10 es un diagrama esquemático de un proceso para formar, mediante fusión, un único flujo según otra forma de realización de la presente invención.
Un mensaje de solicitud enviado por un terminal puede transportar además información de presentación, y la información de presentación puede indicar que un modo de presentación de múltiples subpantallas de vídeo es un modo de N cuadrículas, donde N es un entero positivo mayor que o igual a 2. Un aparato para procesar un flujo de vídeo puede copiar cada subflujo en N copias, ordenar las N copias de cada subflujo según el modo de N cuadrículas, seleccionar una copia en una posición correspondiente de entre las N copias de cada subflujo según una posición de una subpantalla de vídeo correspondiente a cada subflujo en el modo de presentación, y fusionar las copias seleccionadas formando un único flujo.
En la FIG. 10 se supone que el número de subpantallas de vídeo es 9, y el modo de presentación puede ser un modo de 9 cuadrículas. De esta manera, el aparato para procesar un flujo de vídeo puede copiar cada subflujo en 9 copias, ordenar las 9 copias según el modo de 9 cuadrículas y llevar a cabo la codificación en un orden de fragmento arbitrario. Según una posición de una subpantalla de vídeo correspondiente a cada subflujo del modo de 9 cuadrículas solicitado por un terminal, las copias en posiciones correspondientes se seleccionan de entre las 9 copias de cada subflujo, y las copias se fusionan formando un único flujo.
5
10
15
20
25
30
35
40
45
50
55
60
65
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo según el modo de presentación solicitado por el terminal, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
La FIG. 11 es un diagrama de flujo esquemático de un aparato para procesar un flujo de vídeo según una forma de realización de la presente invención. Un aparato 1100 de la FIG. 11 puede estar ubicado en un servidor (por ejemplo, un servidor 110 de la FIG. 1), es decir, puede estar integrado con el servidor; y también puede estar ubicado en un terminal (por ejemplo, un terminal 120 de la FIG. 1), es decir, puede estar integrado con el terminal, lo cual no está limitado en la forma de realización de la presente invención. El aparato 1100 incluye una primera unidad de adquisición 1110, una segunda unidad de adquisición 1120, una unidad de generación 1130 y una unidad de envío 1140.
La primera unidad de adquisición 1110 adquiere un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo. La segunda unidad de adquisición 1120 adquiere, según la información de dirección, múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo. La unidad de generación 1130 fusiona los múltiples subflujos en un único flujo, y genera un mensaje de indicación usado para indicar un parámetro de imagen del flujo único. La unidad de envío 1140 envía el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
En cuanto a otras funciones y operaciones del aparato 1100, puede hacerse referencia a los procesos relacionados con el aparato para procesar un flujo de vídeo en las formas de realización de procedimiento de la FIG. 2 a la FIG. 10; para evitar repeticiones, los detalles no se describen de nuevo.
El mensaje de solicitud transporta además información de presentación, donde la información de presentación indica un modo de presentación de múltiples subpantallas de vídeo. La unidad de generación 1130 puede ordenar los múltiples subflujos según el modo de presentación y fusionar múltiples subflujos ordenados formando el flujo único.
La unidad de generación 1130 genera un mensaje de indicación, donde el mensaje de indicación puede incluir primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica la posición de inicio de cada subflujo en el flujo único.
Opcionalmente, como otra forma de realización, la unidad de generación 1130 puede generar un mensaje de indicación, donde el mensaje de indicación puede incluir tercera información, y la tercera información indica un parámetro de tamaño de imagen del flujo único, el número de subflujos, un parámetro de una posición de cada subflujo del flujo único, y el número de fragmentos en cada subflujo.
Opcionalmente, como otra forma de realización, el mensaje de indicación puede incluir además información de imagen de cada subflujo e información de grupo de fragmentos de cada subflujo, donde la información de imagen de cada subflujo indica un parámetro de tamaño de imagen de cada subflujo, y la información de grupo de fragmentos de cada subflujo indica un parámetro de grupo de fragmentos de cada subflujo.
Opcionalmente, como otra forma de realización, la unidad de generación 1130 puede generar un mensaje de indicación, donde el mensaje de indicación puede incluir primera información e información adicional, la primera información indica un parámetro de tamaño de imagen del flujo único, y la información adicional indica el número de subflujos, un parámetro de la ubicación de cada subflujo en el flujo único, y el número de fragmentos en cada subflujo.
Opcionalmente, como otra forma de realización, el mensaje de solicitud puede transportar además información de presentación, donde la información de presentación indica que un modo de presentación de las múltiples subpantallas de vídeo es un modo de N cuadrículas, donde N es un entero positivo mayor que o igual a 2. La unidad de generación 1130 puede copiar cada subflujo en N copias, ordenar las N copias de cada subflujo según el modo de N cuadrículas, seleccionar una copia en una posición correspondiente de entre las N copias de cada subflujo según una posición de una subpantalla de vídeo correspondiente a cada subflujo en el modo de presentación, y fusionar las copias seleccionadas formando un único flujo.
5
10
15
20
25
30
35
40
45
50
55
60
65
Opcionalmente, como otra forma de realización, en un proceso en el que se codifica cada subflujo adquirido por la segunda unidad de adquisición 1120, puede fijarse que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
La FIG. 12 es un diagrama de bloques esquemático de un aparato para procesar un flujo de vídeo según una forma de realización de la presente invención. Un aparato 1200 puede estar ubicado en un servidor (por ejemplo, un servidor 110 de la FIG. 1), es decir, puede estar integrado con el servidor; y también puede estar ubicado en un terminal (por ejemplo, un terminal 120 de la FIG. 1), es decir, puede estar integrado con el terminal, lo cual no está limitado en la forma de realización de la presente invención. El aparato 1200 incluye un receptor 1210, un procesador 1220, un emisor 1230 y una memoria 1240. El receptor 1210, el procesador 1220, el emisor 1230 y la memoria 1240 están conectados a través de un bus 1250, y pueden acceder entre sí mediante el bus 1250. El bus 1250 puede incluir un bus de datos y puede incluir además un bus de alimentación, un bus de control, un bus de señal de estado y similares.
El receptor 1210 adquiere un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo. El procesador 1220 adquiere, según la información de dirección, múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo. El procesador 1220 fusiona los múltiples subflujos en un único flujo, y genera un mensaje de indicación usado para indicar un parámetro de imagen del flujo único. El emisor 1230 envía el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
La memoria 1240 puede incluir una memoria de solo lectura y una memoria de acceso aleatorio, puede almacenar una instrucción o recibir un resultado de procesamiento o datos del receptor 1210, el procesador 1220 o el emisor 1230 anteriores.
En la forma de realización de la presente invención, al fusionar múltiples subflujos en un único flujo, el terminal puede mostrar múltiples subpantallas de vídeo descodificando el flujo único, de manera que la conmutación de descodificación entre los múltiples subflujos no es necesaria y, por lo tanto, puede mejorarse el rendimiento de descodificación del terminal y facilitarse la implementación del servicio.
En cuanto a otras funciones y operaciones del aparato 1200, puede hacerse referencia a procesos relacionados con el aparato para procesar un flujo de vídeo en las formas de realización de procedimiento de la FIG. 1 a la FIG. 9; para evitar repeticiones, los detalles no se describen de nuevo.
El mensaje de solicitud transporta además información de presentación, donde la información de presentación indica un modo de presentación de múltiples subpantallas de vídeo. El procesador 1220 puede ordenar los múltiples subflujos según el modo de presentación y fusionar múltiples subflujos ordenados formando el flujo único.
El procesador 1220 genera un mensaje de indicación, donde el mensaje de indicación puede incluir primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica una posición de inicio de cada subflujo en el flujo único.
Opcionalmente, como otra forma de realización, el procesador 1220 puede generar un mensaje de indicación, donde el mensaje de indicación puede incluir tercera información, la tercera información indica un parámetro de tamaño de imagen del flujo único, el número de subflujos, un parámetro de la posición de cada subflujo en el flujo único y el número de fragmentos en cada subflujo.
Opcionalmente, como otra forma de realización, el mensaje de indicación puede incluir además información de imagen de cada subflujo e información de grupo de fragmentos de cada subflujo, donde la información de imagen de cada subflujo indica un parámetro de tamaño de imagen de cada subflujo, y la información de grupo de fragmentos de cada subflujo indica un parámetro de grupo de fragmentos de cada subflujo.
Opcionalmente, como otra forma de realización, el procesador 1220 puede generar un mensaje de indicación, donde el mensaje de indicación puede incluir primera información e información adicional, la primera información indica un parámetro de tamaño de imagen del flujo único, y la información adicional indica el número de subflujos, un parámetro de una posición de cada subflujo en el flujo único y el número de fragmentos en cada subflujo.
5
10
15
20
25
30
35
40
45
50
55
60
Opcionalmente, como otra forma de realización, el mensaje de solicitud puede transportar además información de presentación, donde la información de presentación indica que un modo de presentación de las múltiples subpantallas de vídeo es un modo de N cuadrículas, donde N es un entero positivo mayor que o igual a 2. El procesador 1220 puede copiar cada subflujo en N copias, ordenar las N copias de cada subflujo según el modo de N cuadrículas, seleccionar una copia en una posición correspondiente de entre las N copias de cada subflujo según una posición de una subpantalla de vídeo correspondiente a cada subflujo en el modo de presentación, y fusionar las copias seleccionadas formando un único flujo.
Opcionalmente, como otra forma de realización, en un proceso en el que se codifica cada subflujo adquirido por el procesador 1220, puede fijarse que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
A los expertos en la técnica les resultará evidente, en combinación con los ejemplos descritos en las formas de realización dadas a conocer en esta memoria descriptiva, que las unidades y las etapas de algoritmo pueden implementarse mediante hardware electrónico, o una combinación de software informático y hardware electrónico. El que las funciones se lleven a cabo mediante hardware o software dependerá de las aplicaciones y limitaciones de diseño particulares de las soluciones técnicas. Los expertos en la técnica pueden usar diferentes procedimientos para implementar las funciones descritas de cada aplicación particular, pero no debe considerarse que la implementación va más allá del alcance de la presente invención.
Para facilitar la descripción y por brevedad, a los expertos en la técnica le resultará evidente que en lo que respecta a procesos de funcionamiento detallados del sistema, aparato y unidad anteriores, puede hacerse referencia al proceso correspondiente de las formas de realización de procedimiento anteriores, y los detalles no se describen de nuevo en el presente documento.
En las diversas formas de realización proporcionadas por la presente solicitud, debe entenderse que el sistema, aparato y procedimiento dados a conocer pueden implementarse de otras maneras. Por ejemplo, las formas de realización de aparato descritas son simplemente ilustrativas. Por ejemplo, la división en unidades es simplemente una división en funciones lógicas y puede ser otra división en una implementación real. Por ejemplo, una pluralidad de unidades o componentes pueden combinarse o integrarse en otro sistema, o algunas características pueden ignorarse o no llevarse a cabo. Además, los acoplamientos mutuos o los acoplamientos o conexiones de comunicación directos mostrados o descritos pueden implementarse por medio de varias interfaces. Los acoplamientos o conexiones de comunicación indirectos entre los aparatos o unidades pueden implementarse de manera electrónica, mecánica o de otra manera.
Las unidades descritas como partes separadas pueden estar, o no, físicamente separadas, y las partes mostradas como unidades pueden ser, o no, unidades físicas, pueden estar ubicadas en una posición o pueden estar distribuidas en una pluralidad de unidades de red. Algunas o todas las unidades pueden seleccionarse según las necesidades reales para conseguir los objetivos de las soluciones de las formas de realización.
Además, las unidades funcionales de las formas de realización de la presente invención pueden estar integradas en una unidad de procesamiento, o cada una de las unidades pueden ser independiente físicamente, o dos o más unidades están integradas en una unidad.
Cuando las funciones se implementan en forma de unidad funcional de software y se venden o usan como un producto independiente, las funciones pueden almacenarse en un medio de almacenamiento legible por ordenador. En base a esto, las soluciones técnicas de la presente invención, o la parte relativa a la técnica anterior, o algunas de las soluciones técnicas, pueden implementarse en forma de producto de software. El producto de software informático se almacena en un medio de almacenamiento e incluye varias instrucciones para hacer que un dispositivo informático (que puede ser un ordenador personal, un servidor o un dispositivo de red) ejecute todas o algunas de las etapas de los procedimientos descritos en las formas de realización de la presente invención. El medio de almacenamiento anterior incluye: cualquier medio que pueda almacenar códigos de programa, tal como una unidad de memoria USB, un disco duro extraíble, una memoria de solo lectura (ROM), una memoria de acceso aleatorio (RAM), un disco magnético o un disco óptico.
La anterior descripción se refiere simplemente a las formas de realización específicas de la presente invención, y no pretende limitar el alcance de protección de la presente invención. Cualquier variación o sustitución concebida fácilmente por los expertos en la técnica dentro del alcance técnico dado a conocer en la presente invención estará dentro del alcance de protección de la presente invención. Por lo tanto, el alcance de protección de la presente invención estará sujeto al alcance de protección de las reivindicaciones.

Claims (12)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    REIVINDICACIONES
    1. Un procedimiento para procesar un flujo de vídeo según la norma H.264, que comprende:
    adquirir (210, 501) un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, donde la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo;
    según la información de dirección, adquirir (220, 502) múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo;
    ordenar (230, 503) los múltiples subflujos según la información de presentación, fusionar los múltiples subflujos ordenados formando un único flujo, y generar un mensaje de indicación, donde el mensaje de indicación incluye primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica una posición de inicio de cada subflujo en el flujo único; donde la fusión de los múltiples subflujos ordenados formando un flujo único comprende:
    fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=2 para formar el flujo único cuando cada trama de imagen de cada subflujo contiene simplemente un fragmento; o
    fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=6 para formar el flujo único cuando cada trama de imagen de cada subflujo contiene más de un fragmento; y
    enviar (240, 504) el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
  2. 2. El procedimiento según la reivindicación 1, en el que el mensaje de indicación comprende además tercera información, donde la tercera información indica un parámetro de tamaño de imagen del flujo único, el número de subflujos, un parámetro de la posición de cada subflujo en el flujo único, y el número de fragmentos en cada subflujo.
  3. 3. El procedimiento según la reivindicación 2, en el que el mensaje de indicación comprende además información de imagen de cada subflujo e información de grupo de fragmentos de cada subflujo, la información de imagen de cada subflujo indica un parámetro de tamaño de imagen de cada subflujo, y la información de grupo de fragmentos de cada subflujo indica un parámetro de grupo de fragmentos de cada subflujo.
  4. 4. El procedimiento según la reivindicación 1, en el que el mensaje de indicación comprende además información adicional, donde la información adicional indica el número de subflujos, un parámetro de la posición de cada subflujo en el flujo único, y el número de fragmentos en cada subflujo.
  5. 5. El procedimiento según la reivindicación 1, en el que la información de presentación indica que un modo de presentación de las múltiples subpantallas de vídeo es un modo de N cuadrículas, donde N es un entero positivo mayor que o igual a 2;
    donde la fusión de los múltiples subflujos ordenados formando el flujo único comprende:
    copiar cada subflujo en N copias, y ordenar las N copias de cada subflujo según el modo de N cuadrículas; y según una posición de una subpantalla de vídeo correspondiente a cada subflujo del modo de presentación, seleccionar una copia en una posición correspondiente de entre las N copias de cada subflujo, y fusionar las copias seleccionadas formando un único flujo.
  6. 6. El procedimiento según una cualquiera de las reivindicaciones 2 a 4, en el que en un proceso en el que se codifica cada subflujo, se fija que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
  7. 7. Un aparato (1100) para procesar un flujo de vídeo según la norma H.264, que comprende:
    una primera unidad de adquisición (1110), configurada para adquirir un mensaje de solicitud desde un terminal, donde el mensaje de solicitud transporta información de dirección de múltiples subpantallas de vídeo e información de presentación de las múltiples subpantallas de vídeo, donde la información de presentación indica un modo de presentación de las múltiples subpantallas de vídeo;
    una segunda unidad de adquisición (1120), configurada para adquirir, según la información de dirección, múltiples subflujos, donde hay una correspondencia de uno a uno entre los múltiples subflujos y las múltiples subpantallas de vídeo;
    5
    10
    15
    20
    25
    30
    35
    40
    una unidad de generación (1130) configurada para ordenar los múltiples subflujos según la información de presentación, fusionar los múltiples subflujos ordenados formando un único flujo, y generar un mensaje de indicación, donde el mensaje de indicación incluye primera información, segunda información e información de datos de fragmento de cada subflujo, la primera información indica un parámetro de tamaño de imagen del flujo único, la segunda información indica un parámetro de grupo de fragmentos de cada subflujo, y la información de datos de fragmento de cada subflujo indica una posición de inicio de cada subflujo en el flujo único; donde la unidad de generación (1130) está configurada específicamente para fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=2 para formar el flujo único cuando cada trama de imagen en cada subflujo solo contiene un fragmento, o para fusionar los múltiples subflujos ordenados en un modo de slice_group_map_type=6 para formar el flujo único cuando cada trama de imagen en cada subflujo contiene más de un fragmento; y
    una unidad de envío (1140), configurada para enviar el flujo único y el mensaje de indicación al terminal, de manera que el terminal descodifica el flujo único y muestra múltiples subpantallas de vídeo descodificadas según el mensaje de indicación.
  8. 8. El aparato según la reivindicación 7, en el que el mensaje de indicación comprende además tercera información, donde la tercera información indica un parámetro de tamaño de imagen del flujo único, el número de subflujos, un parámetro de la posición de cada subflujo en el flujo único, y el número de fragmentos en cada subflujo.
  9. 9. El aparato según la reivindicación 8, en el que el mensaje de indicación comprende además información de imagen de cada subflujo e información de grupo de fragmentos de cada subflujo, la información de imagen de cada subflujo indica un parámetro de tamaño de imagen de cada subflujo, y la información de grupo de fragmentos de cada subflujo indica un parámetro de grupo de fragmentos de cada subflujo.
  10. 10. El aparato según la reivindicación 7, en el que el mensaje de indicación comprende además información adicional, y la información adicional indica el número de subflujos, un parámetro de la posición de cada subflujo en el flujo único, y el número de fragmentos en cada subflujo.
  11. 11. El aparato según la reivindicación 7, en el que la información de presentación indica que un modo de presentación de las múltiples subpantallas de vídeo es un modo de N cuadrículas, donde N es un entero positivo mayor que o igual a 2; y
    la unidad de generación (1130) está configurada específicamente para copiar cada subflujo en N copias, ordenar las N copias de cada subflujo según el modo de N cuadrículas y seleccionar una copia en una posición correspondiente de entre las N copias de cada subflujo según una posición de una subpantalla de vídeo correspondiente a cada subflujo en el modo de presentación, y fusionar las copias seleccionadas formando un único flujo.
  12. 12. El aparato según una cualquiera de las reivindicaciones 7 a 10, en el que en un proceso en el que se codifica cada subflujo adquirido por la segunda unidad de adquisición (1120), se fija que una imagen de referencia a la que se accede mediante un vector de movimiento no esté más allá de un borde de imagen correspondiente a cada subflujo.
ES13779108.3T 2012-10-17 2013-05-15 Procedimiento y aparato para procesar un flujo de vídeo Active ES2654771T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210394231.6A CN103780920B (zh) 2012-10-17 2012-10-17 处理视频码流的方法及装置
CN201210394231 2012-10-17
PCT/CN2013/075650 WO2014059788A1 (zh) 2012-10-17 2013-05-15 处理视频码流的方法及装置

Publications (1)

Publication Number Publication Date
ES2654771T3 true ES2654771T3 (es) 2018-02-15

Family

ID=50487519

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13779108.3T Active ES2654771T3 (es) 2012-10-17 2013-05-15 Procedimiento y aparato para procesar un flujo de vídeo

Country Status (4)

Country Link
EP (1) EP2739040B1 (es)
CN (1) CN103780920B (es)
ES (1) ES2654771T3 (es)
WO (1) WO2014059788A1 (es)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338290B (zh) * 2014-06-10 2019-04-12 杭州海康威视数字技术股份有限公司 码流的合成方法及装置
CN106941598A (zh) * 2016-01-04 2017-07-11 中兴通讯股份有限公司 多画面码流合成方法、多画面码流合成控制方法及装置
CN107547933B (zh) * 2016-06-23 2022-04-15 中兴通讯股份有限公司 播放画面生成方法、装置及系统
CN106411440A (zh) * 2016-12-01 2017-02-15 成都苹果与蛇科技文化创意有限公司 一种基于互联网的多用户广播系统和方法
CN108881918A (zh) * 2017-11-29 2018-11-23 北京视联动力国际信息技术有限公司 一种多路视频的处理方法和一种多媒体终端
CN110022481B (zh) * 2018-01-10 2023-05-02 中兴通讯股份有限公司 视频码流的解码、生成方法及装置、存储介质、电子装置
CN110035331B (zh) 2018-01-12 2021-02-09 华为技术有限公司 一种媒体信息的处理方法及装置
CN110519652B (zh) 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
CN113163214A (zh) * 2020-01-22 2021-07-23 华为技术有限公司 一种视频处理方法及其装置
CN113766255A (zh) * 2021-01-19 2021-12-07 北京沃东天骏信息技术有限公司 视频流合并方法、装置、电子设备及计算机介质
CN114422839A (zh) * 2021-12-31 2022-04-29 当趣网络科技(杭州)有限公司 一种多路投屏显示处理方法、装置以及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69422324T2 (de) * 1993-03-29 2000-07-27 Koninkl Philips Electronics Nv Speicherarchitektur mit Fenstern zum Bildkompilieren
US20030159143A1 (en) * 2002-02-21 2003-08-21 Peter Chan Systems and methods for generating a real-time video program guide through video access of multiple channels
KR100585534B1 (ko) * 2003-08-13 2006-05-30 엘지전자 주식회사 멀티 픽쳐를 이용한 채널 디스플레이 방법 및 장치
US8332889B2 (en) * 2006-02-10 2012-12-11 Cox Communications, Inc. Generating a personalized video mosaic in a cable services network
JP5338278B2 (ja) * 2008-11-26 2013-11-13 ソニー株式会社 映像表示装置、映像表示システム、及び映像表示方法
CN101442650B (zh) * 2008-12-22 2011-05-18 华为终端有限公司 马赛克电视业务的实现方法、装置及系统

Also Published As

Publication number Publication date
WO2014059788A1 (zh) 2014-04-24
EP2739040B1 (en) 2017-11-15
EP2739040A4 (en) 2015-02-25
CN103780920A (zh) 2014-05-07
CN103780920B (zh) 2018-04-27
EP2739040A1 (en) 2014-06-04

Similar Documents

Publication Publication Date Title
ES2654771T3 (es) Procedimiento y aparato para procesar un flujo de vídeo
CN104780378B (zh) 一种用于解码视频的方法、装置和播放器
CN110139130B (zh) 流传输数据的方法、发送和接收视频数据的方法和设备
AU2017213593B2 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
WO2019137313A1 (zh) 一种媒体信息的处理方法及装置
US11178377B2 (en) Methods and apparatus for spherical region presentation
GB2594615A (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
KR20180004029A (ko) 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US20100008419A1 (en) Hierarchical Bi-Directional P Frames
WO2019072688A1 (en) METHOD, DEVICE, AND COMPUTER PROGRAM FOR PRODUCING AND PROCESSING MULTIMEDIA CONTENT
US20210360047A1 (en) Video coding method and video decoding method
JP2011521570A5 (es)
RU2009141712A (ru) Мозаичное расположение отображаемых элементов при кодировании и декодировании видеосигнала
CN107637082B (zh) 信息处理装置以及信息处理方法
EP3888375A1 (en) Method, device, and computer program for encapsulating media data into a media file
ES2856077T3 (es) Método para generar y decodificar un vídeo digital y dispositivos de generación y decodificación relacionados
EP2974321A2 (en) Resilience in the presence of missing media segments in dynamic adaptive streaming over http
TW201031216A (en) Method and system for multiple resolution video delivery
CN109587478B (zh) 一种媒体信息的处理方法及装置
CN112602329B (zh) 用于360度视频解码的块置乱
US20180302636A1 (en) Method of mixing video bitstreams and apparatus performing the method
CN110636372A (zh) 视频解码方法、视频解码器的初始化方法以及装置
CN112817913B (zh) 数据传输方法、装置、电子设备及存储介质
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム