BR112012009148B1 - método e dispositivo para prover informação de processamento suplementar relativa a conteúdo de mídia codificado - Google Patents
método e dispositivo para prover informação de processamento suplementar relativa a conteúdo de mídia codificado Download PDFInfo
- Publication number
- BR112012009148B1 BR112012009148B1 BR112012009148-4A BR112012009148A BR112012009148B1 BR 112012009148 B1 BR112012009148 B1 BR 112012009148B1 BR 112012009148 A BR112012009148 A BR 112012009148A BR 112012009148 B1 BR112012009148 B1 BR 112012009148B1
- Authority
- BR
- Brazil
- Prior art keywords
- media
- media content
- processing information
- identifier
- decoding
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Abstract
método e dispositivo para prover informação de processamento suplementar relativa a conteúdo de mídia codificado, método para processar um conteúdo de mídia, e, terminal de mídia. informação de processamento suplementar (52, 54) definido instruções de pós-decodificação para processar conteúdo de mídia decodificado é co-organizada em um arquivo (1) junto com um pseudo-identificador de um codec de mídia empregado para codificar o conteúdo de mídia. o aborto de gatilho de co-organização de decodificação do conteúdo de mídia por um terminal de mídia de legado (210) que não reconhece o pseudo-identificador, mas habilita decodificação do conteúdo de mídia por um terminal de mídia (200) que reconhece o pseudo-identificador por esse meio para habilitar processamento de pós-decodificação do conteúdo de mídia decodificado usando a informação de processamento suplementar (52,54). a co-organização por esse meio impede os terminais de mídia de legado (210) que não podem usar a informação de processamento suplementar de decodificar o conteúdo de mídia e representar o conteúdo de mídia em uma apresentação de mídia.
Description
As concretizações geralmente relacionam-se a processamento de conteúdo de mídia, e em -particular a prover informação de processamento suplementar útil com relação a processamento de conteúdo de mídia.
H.264/MPEG-4 Parte 1O ou Codificação de Vídeo Avançada (AVC) é o padrão de codificação de vídeo do estado da técnica. É um codec híbrido que tira proveito de eliminar redundância entre quadros e dentro de um quadro. A saída do processo de codificação são dados de Camada de Codificação de Vídeo (VCL) que são ademais encapsulados em unidade de Camada de Abstração de Rede (NAL) antes de transmissão ou armazenamento.
Informação de Aprimoramento Suplementar (SEI) é provida para ajudar em processos relacionados a pós-decodificação, tal como exibição. Exemplos de mensagens de SEI incluem definir sugestões de pós- filtro e mapeamento de tom. As mensagens de SEI são projetadas de tal modo que elas não sejam obrigatórias para o processo de decodificação. Decodificadores de conformação podem descartar mensagens de SEI que eles não entendem. Mensagens de SEI são hoje encapsuladas em uma unidade de NAL exatamente como dados de VCL, mas não afetam decodificação.
De acordo com a técnica anterior, um arquivo deve ser feito com conhecimento específico das capacidades de exibição de terminais de mídia para garantir reprodução correta. Características de exibição novas somadas por informação de aprimoramento, isto é, fora da malha de decodificação, não podem ser feitas de uma maneira compatível reversa. Um exemplo disto são as mensagens de SEI de quadros espacialmente intercalados que foram acrescentadas a vídeo de H.264 para ajudar em representar imagens decodificadas em dispositivos de exibição tridimensionais (3D). Estas mensagens de SEI são derivadas do esforço de usar um codec bidimensional (2D) existente, tal como H.264, para codificar conteúdo 3D. Um exemplo disto é onde uma mensagem de SEI descreve que quadros pares são alocados à visão esquerda quadros ímpares são alocados à visão direita.
Mensagens de SEI são projetadas de um modo descartável quando vem à decodificação. E importante, porém, que o terminal de mídia possa interpretar corretamente esta informação para coisas fora de decodificação, tal como representação 3D. Um terminal de mídia de legado que não tem a capacidade para entender estas mensagens de SEI simplesmente as ignoraria e representaria as imagens decodificadas em uma exibição 2D resultando em artefatos de exibição significantes, por exemplo pulando entre visões esquerda e direita a todo quadro, para o exemplo apresentado anterior.
Além disso, hoje um terminal de mídia precisa decodificar o fluxo de bits de vídeo a fim de descobrir se e quais tipos de informação de aprimoramento são necessários. E problemático para ambas reprodução e transmissão local. Por exemplo, alguém pode ter um filme que não é completamente exibível e o terminal de mídia só descobrirá que não pode exibi-lo corretamente quando adquire a mensagem de SEI desconhecida. Em outro caso, quando vem à transmissão de mídia, um método simples e rápido de emagrecer um fluxo de bit é remover todas as mensagens de SEI como estas não são requeridas para decodificação. Isto pode conduzir a emagrecimento de mensagens de SEI que são importantes para representação.
Há, assim, uma necessidade geral dentro do campo técnico de operar eficientemente informação de processamento suplementar, tais como dados de SEI a fim de resolver ou pelo menos diminuir os problemas da técnica anterior.
E um objetivo geral habilitar a provisão de informação de processamento suplementar de um modo eficiente.
Este e outros objetivos são satisfeitos por concretizações expostas aqui.
Brevemente, um aspecto das concretizações relaciona-se a um método para prover informação de processamento suplementar relativa a ou associada com conteúdo de mídia codificado. O método envolve prover um pseudo-identificador do codec de mídia empregado para codificar o conteúdo de mídia. Informação de processamento suplementar também é provida. A informação de processamento suplementar define instruções de pós- decodificação para processar conteúdo de mídia decodificado alcançável decodificando o conteúdo de mídia codificado. O pseudo-identificador e a informação de processamento suplementar são co-organizados em um arquivo a fim de ativar aborto de decodificação do conteúdo de mídia codificado por um terminal de mídia de legado que não reconhece o pseudo-identificador. Correspondentemente, a co-organização do pseudo- identificador e a informação de processamento suplementar no arquivo habilita a decodificação do conteúdo de mídia usando o codec de mídia e habilita processamento de pós-decodificação do conteúdo de mídia decodificado usando a informação de processamento suplementar por um terminal de mídia que reconhece o pseudo-identificador.
Outro aspecto relaciona-se a um dispositivo para prover informação de processamento suplementar. O dispositivo inclui um provedor de identificador para prover o pseudo-identificador do codec de mídia. Um provedor de informação é implementado no dispositivo para prover a informação de processamento suplementar definindo as instruções de pós- decodificação. O dispositivo também inclui um organizador de arquivo para co-organizar o pseudo-identificador e a informação de processamento suplementar em um arquivo de tal modo a ativar aborto de decodificação do conteúdo de mídia codificado por um terminal de mídia de legado que não reconhece o pseudo-identificador. Um terminal de mídia que reconhece o pseudo-identificador, porém, será capaz de decodificar o conteúdo de mídia codificado usando o codec de mídia e ademais processar o conteúdo mídia seguindo decodificação baseada na informação de processamento suplementar.
Um aspecto adicional das concretizações relaciona-se a um método para processar conteúdo de mídia. O método envolve receber um arquivo incluindo o pseudo-identificador e a informação de processamento suplementar. Se o pseudo-identificador recobrado do arquivo não for reconhecido, decodificação do conteúdo de mídia codificado é abortado de forma que o conteúdo de mídia não será apresentado a um usuário. Porém, se o pseudo-identificador for reconhecido, um codec de mídia a usar para decodificar o conteúdo de mídia codificado é selecionado baseado em um identificador de codec do codec de mídia recobrado baseado no pseudo- identificador. O conteúdo de mídia codificado é então decodificado usando o codec de mídia selecionado. Informação de processamento suplementar recobrada do arquivo é empregada para processar o conteúdo de mídia decodificado para adquirir o conteúdo de mídia em uma forma satisfatória para representação para prover uma apresentação de mídia para o usuário.
Um terminal de mídia é exposto como um aspecto adicional das concretizações. O terminal de mídia inclui um receptor para receber o arquivo com o pseudo-identificador e a informação de processamento suplementar. Um controlador de decodificação do terminal de mídia é configurado para investigar o pseudo-identificador e determinar se o pseudo- identificador é reconhecível pela terminal de mídia ou não. Se o pseudo- identificador não for reconhecido, o controlador de decodificação controla um decodificador para abortar ou parar decodificação do conteúdo de mídia codificado. Se o pseudo-identificador ao invés for reconhecido, o controlador de decodificação seleciona um codec de mídia para empregar para decodificar o conteúdo de mídia codificado baseado em um identificador de codec recobrado baseado no pseudo-identificador. O decodificador é então configurado para decodificar o conteúdo de mídia codificado usando o codec de mídia selecionado para produzir conteúdo de mídia decodificado. Este conteúdo de mídia decodificado é processado por um processador de conteúdo baseado na informação de processamento suplementar recobrada do arquivo para adquirir o conteúdo de mídia em uma forma satisfatória para representação.
As concretizações provêem um modo eficiente de prover informação de processamento suplementar que é para ser usada com relação a processamento de pós-decodificação de conteúdo de mídia para adquirir o conteúdo de mídia em uma forma que habilita representação correta e apresentação a um usuário. Terminais de mídia de legado que não entendem e portanto não podem usar a informação de processamento suplementar são impedidos de representar o conteúdo de mídia sem qualquer processamento de pós-decodificação ao invés abortando a decodificação. O aborto da decodificação é ativado por uso de um pseudo-identificador em vez do verdadeiro identificador de codec como identificador de codec de mídia. Os terminais de mídia de legado são portanto impedidos de representar o conteúdo de mídia. Isto é importante desde que a representação conduziria caso contrário a artefatos perceptíveis visuais e/ou auditivos por um usuário como nenhum processamento de pós-decodificação do conteúdo de mídia usando a informação de processamento suplementar foi conduzido pelos terminais de mídia de legado faltando a capacidade para usar a informação de processamento suplementar.
A invenção, junto com objetivos e vantagens adicionais dela, pode ser entendida melhor fazendo referência à descrição seguinte levada junto com os desenhos acompanhantes, em que:
Figura 1 é um fluxograma ilustrando um método para prover informação de processamento suplementar de acordo com uma concretização;
Figura 2 é uma comparação de processamento de conteúdo de mídia de acordo com técnica anterior e de acordo com uma concretização;
Figura 3 é um fluxograma ilustrando uma concretização da etapa de co-organização na Figura 1;
Figura 4 é uma visão geral esquemática de um arquivo de recipiente de mídia de acordo com uma concretização;
Figura 5 é uma visão geral esquemática de uma caixa de entrada de amostra de acordo com uma concretização;
Figura 6 é uma visão geral esquemática de uma concretização de organizar informação de processamento suplementar em caixas de entrada de amostra de uma trilha de mídia;
Figura 7 é uma visão geral de uma rede de comunicação à qual concretizações podem ser implementadas;
Figura 8 é um diagrama de bloco esquemático de um dispositivo para prover informação de processamento suplementar de acordo com uma concretização;
Figura 9 é um fluxograma de um método para processar conteúdo de mídia de acordo com uma concretização;
Figura 10 é um fluxograma de etapas adicionais do método na Figura 9 de acordo com uma concretização;
Figura 11 é um fluxograma de etapas adicionais do método na Figura 9 de acordo com outra concretização;
Figura 12 é diagrama de bloco esquemático de um terminal de mídia acordo com uma concretização; e
Figura 13 é um fluxograma ilustrando outra concretização da etapa de co-organização na Figura 1.
Ao longo dos desenhos, os mesmos números de referência são usados para elementos semelhantes ou correspondentes.
As concretizações geralmente relacionam-se a processamento de conteúdo de mídia e em particular à provisão e uso de informação de processamento suplementar que pode ser empregada por terminais de mídia e reprodutores para processar e/ou representar conteúdo de mídia decodificado.
As concretizações provêem modos eficientes de comunicar tal informação de processamento suplementar a terminais de mídia. A comunicação da informação de processamento suplementar permite a terminais de mídia que reconhecem a informação de processamento suplementar recobrarem e usá-la para processar o conteúdo de mídia antes ou durante representação. Porém, a informação de processamento suplementar é comunicada vantajosamente de tal modo que terminais de mídia de legado que não reconhecem a informação de processamento suplementar não representarão o conteúdo de mídia. Isto é preferido desde que tal representação de conteúdo de mídia conduziria a artefatos visuais e/ou auditivos percebidos pelo usuário como nenhum processamento de pós- decodificação baseado em qualquer informação de processamento suplementar foi conduzido pelos terminais de mídia de legado.
Informação de processamento suplementar (SPI) ou informação de aprimoramento suplementar (SEI) como também é denotado na técnica define instruções de pós-decodificação que podem ser usadas por terminais de mídia e reprodutores para processar conteúdo de mídia decodificado a qual a informação de processamento suplementar está associada. Estas instruções de pós-decodificação podem portanto prover informação e instruções aos terminais de mídia como eles deveriam processar os dados a fim de prover uma representação correta do conteúdo de mídia durante uma sessão de mídia. A informação de processamento suplementar poderia ser obrigatória para os terminais de mídia em termos de omitir o processamento do conteúdo de mídia decodificado baseado na informação de processamento suplementar impede o terminal de mídia de representar o conteúdo de mídia ou o terminal de mídia pode representar o conteúdo de mídia, mas a apresentação de mídia resultante terá vários artefatos visuais e/ou auditivos mais ou menos severos, que serão percebidos pelo usuário. Informação de processamento suplementar também pode ser opcional em termos de não ser exigido representar o conteúdo de mídia, mas aumentará a representação, talvez aumentando os efeitos visuais e/ou auditivos da apresentação de mídia ou buscando facilitar operações na apresentação de mídia.
Por exemplo, AVC especifica mensagens de SEI que podem ser usadas para melhorar decodificação e representação do VCL de um fluxo de bits de AVC. Esta informação é projetada de tal modo que não seja obrigatória para o processo de decodificação, isto é, SEI contém informação que não é necessária para decodificar o VCL e pode ser descartada conformando decodificadores.
Embora SEI não seja crucial para o processo de decodificação, ela pode especificar ações exigidas para o processo de representação subsequente. Um exemplo é a mensagem de SEI de informação de vídeo estéreo que indica que os quadros/campos codificados da sequência de vídeo consistem em pares de imagens formando conteúdo de visão estéreo. Um exemplo mais recente é a mensagem de SEI de "tabuleiro de damas" de quadros espacialmente intercalados. Ela informa o decodificador que a imagem decodificada de saída contém amostras de um quadro consistindo em múltiplos quadros espacialmente intercalados distintos e como desintercalar apropriadamente as amostras para propósitos de exibição.
Se um terminal de mídia de legado tentar decodificar e representar um fluxo de bits de AVC contendo estas mensagens de SEI sem entender seu significado, as descartará e decodificará o fluxo de bits sem saber que as imagens decodificadas não fazem sentido nenhum sem desintercalação adicional. Diretamente produzir a uma exibição 2D, o resultado estará cheio de artefatos e certamente não o que o provedor de conteúdo pretendia.
O formato de arquivo de AVC define armazenamento de AVC em formatos de arquivo baseado no formato de arquivo de mídia básico ISO, tal como MP4 e 3GP. Os fluxos de bits de AVC contidos em tais arquivos podem incluir mensagens de SEI, que podem ser úteis para o processo de decodificação. Porém, não há nenhum constrangimento nos tipos de mensagens de SEI que podem ser incluídas e não há nenhum mecanismo de sinalização que informa o reprodutor atualmente que o fluxo de bits de AVC pode conter SEI que é requerido para representação correta dos dados decodificados. Até mesmo se o reprodutor analisar o fluxo de bits de AVC e procurar mensagens de SEI, não pode contar se quaisquer das mensagens de SEI detectadas impõe ações fora da malha de decodificação a menos que as reconheça e seu significado. Descartar SEI aparentemente inofensiva, mas desconhecida pode conduzir assim a resultados inesperados. Consequentemente, um arquivo deve de acordo com a técnica anterior ser feito com conhecimento específico das capacidades de exibição de terminais para garantir reprodução correta. Novas características de exibição adicionadas por informação de processamento suplementar, tais como mensagens de SEI fora da malha de decodificação, não podem ser feitas hoje de uma maneira compatível reversa.
Conteúdo de mídia como exposto aqui relaciona-se a dados de mídia que podem ser comunicados a um terminal de mídia para decodificação e representação nele para prover uma apresentação de mídia a um usuário. Conteúdo de mídia pode ser então conteúdo de vídeo ou dados que são reproduzidos e apresentados em uma tela de exibição. Altemativamente, ou além disso, conteúdo de mídia pode ser conteúdo de áudio ou dados que são reproduzidos e podem ser escutados por um usuário usando um alto-falante.
Figura 1 é um fluxograma de um método para prover informação de processamento suplementar relativa a conteúdo de mídia codificado de acordo com uma concretização. O método começa na etapa S1, onde um pseudo-identificador de um codec de mídia é provido. O codec de mídia define o codificador de mídia empregado para codificar o conteúdo de mídia pertinente. Etapa SI provê um pseudo-identificador em vez do verdadeiro identificador de codec do codec de mídia. Pseudo-identificador deveria ser interpretado aqui como um pseudônimo para o identificador de codec. O pseudo-identificador é ademais selecionado para ser reconhecível e pode ser interpretado por alguns terminais de mídia, mas não é reconhecido e não pode ser interpretado por outros terminais de mídia, denotados terminais de mídia de legado aqui.
Uma próxima etapa S2 provê informação de processamento suplementar, abreviada em SPI nas figuras. A informação de processamento suplementar define instruções de pós-decodificação para processar conteúdo de mídia decodificado alcançável decodificando o conteúdo de mídia codificado associado com a informação de processamento suplementar.
O pseudo-identificador e a informação de processamento suplementar são co-organizados na etapa S3 em um arquivo de tal modo a ativar aborto de decodificação ou impedir decodificação do conteúdo de mídia codificado por um terminal de mídia de legado que não reconhece o pseudo- identificador. Assim, o pseudo-identificador preferivelmente ativa o terminal de mídia de legado para abortar a decodificação do conteúdo de mídia e por esse meio não representar conteúdo de mídia. Porém, a co-organização no arquivo é ademais conduzida de tal modo que habilita um terminal de mídia que reconhece o pseudo-identificador decodificar o conteúdo de mídia codificado usando o decodificador de mídia definido pelo codec de mídia e para processar em pós-decodificação o conteúdo de mídia decodificado usando a informação de processamento suplementar.
Assim, a co-organização do pseudo-identificador e a informação de processamento suplementar no arquivo na etapa SI impedirá um terminal de mídia de legado de decodificar o conteúdo de mídia codificado ou ativar o terminal de mídia para abortar decodificação do conteúdo de mídia codificado quando recobra o pseudo-identificador. A razão para isto é que o terminal de mídia de legado não reconhece e portanto não pode usar a informação de processamento suplementar. Isto significa que embora o terminal de mídia de legado possa decodificar o conteúdo de mídia codificado, ele não pode executar corretamente o processamento de pós- decodificação do conteúdo de mídia decodificado usando a informação de processamento suplementar. Isto conduzirá a problemas, que as concretizações resolvem usando o pseudo-identificador para ativar um aborto da decodificação antes que representação possa ser iniciada no terminal de mídia de legado.
Figura 2 ilustra esquematicamente este conceito. Neste exemplo ilustrativo, conteúdo de vídeo é provido com restrições em termos de requerer informação de processamento suplementar a fim de habilitar uma representação e exibição corretas dos dados de vídeo ao usuário. Por exemplo, a informação de processamento suplementar poderia definir quais quadros de vídeo dos dados vídeos codificados ou conteúdo que corresponde a uma visão esquerda e quais quadros de vídeo que correspondem a uma visão direita por representação estéreo ou 3D. A informação suplementar poderia então definir que todo quadro impar do conteúdo de vídeo representa uma primeira visão (esquerda ou direita), enquanto todo quadro par do conteúdo de vídeo representa a segunda visão (direita ou esquerda). De acordo com a técnica anterior, um terminal antigo, isto é, terminal de mídia de legado, decodificará corretamente o conteúdo de mídia codificado. Porém, desde que não reconhece a informação de processamento suplementar, ignorará simplesmente a informação. Isto resultará em uma reprodução ou representação incorreta do conteúdo de vídeo com pulo entre visões esquerda e direita todo quadro desde que o terminal de mídia de legado não está ciente da intercalação particular de quadros de vídeo de visões diferentes. A apresentação de mídia portanto será altamente sem atrativo a um usuário espectador e estará cheia de artefatos visuais devido ao pulo de visão a todo quadro.
Na técnica anterior, decodificação e representação de mídia é conduzida nos terminais de mídia de legado, embora os terminais de mídia de legado não reconheçam a informação de processamento suplementar precisada a fim de alcançar uma apresentação de mídia correta.
O pseudo-identificador e a co-organização do pseudo- identificador e a informação de processamento suplementar no arquivo de acordo com as concretizações resolvem este problema com a técnica anterior ativando aborto ou parada da decodificação do conteúdo de mídia codificado para esses terminais de mídia de legado que não reconhecem o pseudo- identificador. Isto significa que o conteúdo de mídia preferivelmente nunca é representado no terminal de mídia de legado e o usuário pode ao invés ser informado que seu terminal de mídia não suporta representação do conteúdo de mídia presente.
Este conceito é ilustrado esquematicamente à direita na Figura 2. Assim, quando um terminal de mídia de legado, isto é, terminal antigo na figura, recebe o arquivo com o pseudo-identificador e a informação de processamento suplementar, o terminal de mídia de legado recobra o pseudo- identificador. O terminal de mídia então conclui que não reconhece o pseudo- identificador e portanto para a decodificação do conteúdo de mídia.
Em uma concretização particular, alguma informação adicional ou externa poderia ser provida junto com o arquivo para aumentar a autoconsciência do terminal de mídia. Por exemplo, tal meta-informação pode, por exemplo, ser uma ligação para informar o terminal de mídia que seu decodificador está obsoleto para decodificar o fluxo de bits e que alguma atualização é precisada. Isto é ilustrado ademais na figura, onde o terminal de mídia poderia procurar atualizações de codec a fim de operar eficientemente o arquivo, reconhecer o pseudo-identificador e processar conteúdo de mídia decodificado usando a informação de processamento suplementar. O terminal de mídia pode por esse meio ser configurado para pedir apoio ou atualizações de alguma fonte externa pré-configurada.
O pseudo-identificador pode portanto ser pensado como um meio para esconder o verdadeiro identificador de codec do codec de mídia desses terminais de mídia de legado que não reconhecerão a informação de processamento suplementar. A ocultação assim do identificador de codec por esse meio impede os terminais móveis de legado de decodificarem e por esse meio representarem o conteúdo de mídia.
A co-organização do pseudo-identificador e a informação de processamento suplementar é executada preferivelmente de tal modo que o terminal de mídia só recobrará a informação de processamento suplementar do arquivo se reconhecer e puder interpretar o pseudo-identificador. Isto impede efetivamente terminais de mídia de legado de tentarem recobrar e interpretar informação de processamento suplementar que eles não reconhecem.
As concretizações serão descritas agora ademais com relação a exemplos de implementação particulares diferentes.
Figura 3 é um fluxograma ilustrando a etapa de co-organização na Figura 1 de acordo com uma concretização particular. O método continua da etapa S2 da Figura 1. Uma próxima etapa S10 gera e provê um arquivo de recipiente de mídia. O arquivo de recipiente de mídia pode ser considerado como um pacote de entrada completo que preferivelmente inclui, além do conteúdo de mídia per se, informação e instruções requeridas pelos terminais de mídia para executar a decodificação e representação do conteúdo de mídia. O formato de arquivo de mídia básico ISO pode ser empregado vantajosamente como formato de arquivo para o arquivo de recipiente de mídia, incluindo vários formatos de armazenamento derivados ou baseados no formato de arquivo base mídia ISO, tal como o formato de arquivo de AVC. O formato de arquivo de AVC em troca especifica como H.264 (MPEG-4 AVC) é levado em vários formatos de arquivo derivados do formato de arquivo de mídia base ISO, por exemplo o formato de arquivo MP4 e 3GP.
O arquivo de recipiente de mídia gerado na etapa S10 inclui pelo menos uma trilha de mídia definindo o conteúdo de mídia e pelo menos um recipiente de conteúdo de mídia ou caixa incluindo o conteúdo de mídia codificado. Um exemplo de tal recipiente de arquivo de mídia 1 é ilustrado na Figura 4. O arquivo de recipiente de mídia 1 inclui, neste exemplo, uma trilha de mídia respectiva 20, 30 para cada conteúdo de mídia a ser representado durante uma apresentação de mídia. Consequentemente, uma primeira trilha de mídia 20 defme conteúdo de vídeo e uma segunda trilha de mídia 30 define conteúdo de áudio correspondente. As trilhas de mídia 20, 30 são preferivelmente organizadas em um recipiente de filme ('moov') ou caixa 10, que é um recipiente para os metadados relativos ao conteúdo de mídia. A figura também ilustra o recipiente de dados de mídia ('mdat') ou caixa 40, que é o recipiente para os dados de mídia atuais para a apresentação de mídia.
Uma próxima etapa Sll do método na Figura 2 provê uma caixa de entrada de amostra no arquivo de recipiente de mídia. Esta caixa de entrada de amostra define o pseudo-identificador. Um exemplo de tal caixa de entrada de amostra pode parecer como:
VisualSampleEntry e AVCSampleEntry definem que o conteúdo de mídia é conteúdo de vídeo. A caixa de entrada de amostra é projetada de tal modo que tenha uma base virtual: SampleEntry (formato) estende Caixa (formato). O que está no campo de "formato" é indefinido e é deixado para sua entrada derivada nomeá-lo um valor. Por exemplo, no caso de vídeo, nós temos VisualSampleEntry (codingname) estende SampleEntry (codingname). No caso presente, "codingname"corresponde a 'resv' que representa o pseudo-identificador. Assim, em vez de definir o codec de mídia particular empregado para codificar o conteúdo de mídia, tal como 'avcl', a presente concretização substitui o identificador de codec do codec de mídia com o pseudo-identificador 'resv'.
Uma caixa de informação de processamento suplementar é provida na caixa de entrada de amostra na etapa S12. A caixa de informação de processamento suplementar inclui a informação de processamento suplementar aplicável ao conteúdo de mídia. Esta caixa de informação de processamento suplementar pode ser arranjada no arquivo de recipiente de mídia de acordo com várias concretizações. Em uma primeira concretização, a caixa de informação de processamento suplementar é provida diretamente na caixa de entrada de amostra. A caixa de entrada de amostra pode ser então estendida para ler como, onde SeilnformationBox corresponde à caixa de informação de processamento suplementar:
Em uma concretização alternativa, a caixa de informação de processamento suplementar é provida mais profundamente na caixa de informação de esquema restringida em vez de diretamente na caixa de entrada de amostra. A caixa de informação de esquema restringida poderia então ser definida como:
Em tal caso, a caixa de informação de processamento suplementar pode ser contida na caixa de informação de esquema. A inclusão da caixa de informação de processamento suplementar na caixa de informação de esquema poderia, em uma concretização particular, ser condicional ao usar 'aSEP, isto é, AVC SEI, como o tipo de esquema.
Em qualquer caso, a caixa de informação de processo suplementar pode, em uma concretização particular, ser definida como:
Assim, nesta concretização particular, a informação de processamento suplementar pode ser dividida em informação de processamento suplementar obrigatória (requiredSEI_ID), que deve ser usada pelo terminal de mídia durante o processamento de pós-decodificação do conteúdo de mídia e informação de processamento suplementar opcional (NotrequiredSEIID). O último não é obrigatório, mas geralmente melhorará ou aumentará a apresentação de mídia ou a representação do conteúdo de mídia se empregado pelo terminal de mídia. numRequiredSEIs e numNotRequiredSEIs definem o número de versões de informação de processamento suplementar obrigatórias e opcionais presentes no arquivo de recipiente de mídia e relativo ao conteúdo de mídia particular. requiredSEI_ID assume o valor "payloadType" de uma mensagem de informação de processamento suplementar, tal como mensagem de SEI, presente no fluxo de mídia e que é julgado necessário pelo autor ou criador de arquivo para representação ou reprodução correta. NotrequiredSEI ID assume correspondentemente o valor "payloadType" de uma mensagem de informação de processamento suplementar (mensagem de SEI) que não é julgado necessário pelo autor de arquivo para representação correta.
A caixa de informação de processamento suplementar portanto preferivelmente só inclui identificadores respectivos das mensagens de informação de processamento suplementar que podem ser usados com relação ao conteúdo de mídia particular. As mensagens de informação de processamento suplementar particulares referidas por estes identificadores podem então ser providas em outro lugar no arquivo de recipiente de mídia, que é descrito ademais aqui.
A próxima etapa S13 da Figura 3 provê uma caixa de formato de mídia na caixa de entrada de amostra. A caixa de formato de mídia inclui o identificador de codec do codec de mídia.
Em uma concretização particular, o tipo de entrada de amostra original, isto é, identificador de codec, está contido em um OriginalFormatBox, representando a caixa de formato de mídia. O OriginalFormatBox pode então ser contido dentro da RestrictedSchemelnfoBox mencionada acima:
Assim, no exemplo acima, "datajformat" representa o verdadeiro identificador de codec de mídia e pode levar vários valores, tais como 'avd', 'mp4v', e assim por diante dependendo do codec de mídia particular.
Figura 5 ilustra esquematicamente os vários recipientes ou caixas que podem ser usados para definir o pseudo-identificador, o identificador de codec e a informação de processamento suplementar. Nesta concretização particular, a caixa de entrada de amostra 80 tem seu código de quatro caracteres tradicional, tal como 'avcl', substituído pelo pseudo- identificador representado por 'resv' na figura denotando "vídeo restringido". Neste exemplo, a caixa de entrada de amostra 80 em troca inclui, entre outras, a caixa de informação de esquema restringido 70, denotada 'rinf na figura. A informação de caixa de esquema restringido 70 inclui a caixa de formato original 60 (denotada 'frma' na figura) com o identificador de codec 62, tal como 'avcl'. Em uma concretização particular, a informação de caixa de esquema restringido 70 também inclui a caixa de informação de processamento suplementar 50 denotada 'seii' na figura. A caixa de informação de processamento suplementar 50 inclui ou lista os identificadores 52 das mensagens de informação de processamento suplementar exigidas ou obrigatórias e os identificadores 54 das mensagens de informação de processamento suplementar requeridas ou opcionais.
Figura 6 é uma figura representando uma trilha de mídia 20 do arquivo de recipiente de mídia. Esta figura ilustra que a trilha de mídia 20 pode ser dividida em múltiplas caixas de entrada de amostra 80, onde cada tal caixa de entrada de amostra 80 está associada a uma porção respectiva do conteúdo de mídia codificado contido na caixa de conteúdo de mídia do arquivo de recipiente de mídia. Em tal caso, a informação de processamento suplementar 50 pode estar presente nas caixas de entrada de amostra 80 como mencionado previamente. Em uma concretização particular, a informação de processamento suplementar 50 definindo instruções aplicáveis a uma porção subsequente de pós-decodificação do conteúdo de mídia codificado é provida em uma caixa de entrada de amostra associada com uma porção prévia do conteúdo de mídia codificado. Esta porção prévia do conteúdo codificado então tem um tempo de decodificação precedendo o tempo de decodificação da porção subsequente do conteúdo de mídia codificado. Assim, a informação de processamento suplementar 50 definindo instruções de pós-decodificação relativas à porção de conteúdo de mídia k, k+1, k+2 é provida na caixa de entrada de amostra 80 relativo a porção de conteúdo mídia de k-1, k, k+1. Em tal caso, o terminal de mídia terá tempo para identificar e prover a informação de processamento suplementar e suas instruções de pós-decodificação definidas quando a versão de conteúdo de mídia pertinente foi decodificada pelo terminal de mídia. Assim, qualquer atraso no processamento de decodificação e pós-decodificando portanto será reduzido.
Porém, na maioria das concretizações, as caixas de entrada de amostra 80 e as trilhas de mídia são enviadas tipicamente juntas antes que os dados reais presentes no recipiente de dados de mídia sejam transmitidos. Assim, para estas concretizações, não há geralmente nenhuma necessidade para prover informação de processamento suplementar 50 definindo instruções de pós-decodificação relativas a conteúdo de mídia k na caixa de entrada de amostra 80 relativo à porção de conteúdo de mídia k-1. Em contraste claro, a informação de processamento suplementar 50 poderia ao invés ser provida na caixa de entrada de amostra relativa à porção de conteúdo de mídia k.
As instruções de pós-decodificação atuais definidas pela informação de processamento suplementar podem ser providas no fluxo de bits atual. Assim, as instruções de pós-decodificação, tais como mensagens de SEI, podem ser encapsuladas em unidades de NAL e são então situadas fundo no fluxo de bits, onde elas são contidas pela caixa de dados de mídia. Outro lugar que as instruções de pós-decodificação atuais podem ser localizadas é em alguma caixa especial, por exemplo ViewScalabilitylnfoSEIBox, que apenas faz uma cópia das instruções de pós-decodificação atuais no fluxo de bits.
Concretizações adicionais do arquivo de recipiente de mídia poderiam substituir a entrada de amostra tradicional, tal como entrada de amostra de AVC, de um modo tal que terminais de mídia de legado não poderão decodificá-la. A nova entrada de amostra está então definida de um modo semelhante à sintaxe original, mas com adição da caixa de informação de processamento suplementar. Em tal caso, esta nova entrada de amostra corresponderá o pseudo-identificador do codec de mídia. Por exemplo, a caixa de entrada de amostra e o pseudo-identificador poderiam ser denotados 'avcr' para AVC com restrições:
Em ainda outra concretização, uma nova versão do AVCDecoderConfigurationRecord é definida e consequentemente um novo valor para configurationversion em AVCDEcoderConfigurationRecord é usado. Isto é feito de forma que terminais de mídia de legado que não usam informação de processamento suplementar não poderão decodificar o arquivo.
Em um caso opcional, a nova definição de AVCDecoderConfigurationRecord contém também informação sobre a informação de processamento suplementar exigida e/ou opcional. Um exemplo desta sintaxe é mostrado abaixo:
Em uma concretização alternativa, o arquivo no qual o pseudo- identificador e a informação de processo suplementar são co-organizados não é necessário um arquivo de recipiente de mídia. Figura 13 ilustra esta concretização. O método continua da etapa S2 da Figura 1. Uma próxima etapa S50 envolve gerar um arquivo de Protocolo de Descrição de Sessão (SDP) e co-organizar o pseudo-identificador e a informação de processamento suplementar como linhas de atributo diferentes no arquivo de SDP. Como é conhecido na técnica, Protocolo de Transporte Real (RTP) é projetado para transmissão de dados em tempo real. Formatos de carga útil diferentes estão definidos para codecs de mídia diferentes e estes regulam as regras de empacotamento. Informação lateral também é enviada tipicamente no arquivo de SDP entre o remetente e o receptor de forma que ambas as partes estejam cientes do estado do conteúdo de mídia sendo transmitido estabelecendo um modelo de oferta/resposta de SDP.
O arquivo de SDP pode então ser modificado para ter uma primeira linha de atributo incluindo o pseudo-identificador e uma segunda linha de atributo incluindo a informação de processamento suplementar. Terminais de mídia de legado que não podem utilizar a informação de processamento suplementar para processamento de pós-decodificação do conteúdo de mídia não reconhecerão o pseudo-identificador recobrado do arquivo de SDP. Decodificação do conteúdo de mídia é por esse meio parado e impedido.
Em uma concretização particular, o pseudo-identificador é usado como um novo tipo de marca em vez da marca antiga, tal como substituindo H264 por H264-RES, que significa H.264 com restrições. Também novos parâmetros de propriedade de fluxo são definidos declarando quais restrições são aplicadas. Estes parâmetros de propriedade de fluxo correspondem à informação de processamento suplementar que pode ser especificada como mensagens de SEI requeridas/não requeridas. Um exemplo é mostrado abaixo:
Quando um receptor de terminal de mídia de legado recebe a oferta de SDP acima, o pseudo-identificador H264-RES pára decodificação errônea desde que o terminal de mídia de legado rejeitará esta oferta antecipadamente. Só terminais de mídia que reconhecem H264-RES aceitarão a oferta e portanto podem decodificar e representar corretamente conteúdo de mídia com a informação de processamento suplementar. Estes terminais de mídia, assim, mapearão ou traduzirão o pseudo-identificador H264-RES para o identificador de codec, isto é, H264. Isto significa que estes terminais de mídia foram configurados para entender o pseudo-identificador e conduzir o mapeamento ou tradução de identificador exigido.
As concretizações expostas no antecedente foram exemplificadas principalmente com H.264/AVC. Porém, isto somente deveria ser visto como exemplos ilustrativos, mas não limitantes. Por exemplo, concretizações equivalentes com extensões de H.264/AVC, tais como Codificação de Vídeo Expansível (SVC) e Codificação de Vídeo de Multivisão (MVC), entre outros, trabalham de uma maneira bem parecida estendendo seus registros de configuração específicos e/ou tipos de entrada de amostra de um modo semelhante.
As concretizações portanto habilitam a detecção de presença de informação de processamento suplementar por um terminal de mídia sem examinar o fluxo de bits. Em contraste claro, é suficiente investigar a parte pertinente do arquivo de recipiente de mídia ou o arquivo de SDP ou oferta como exemplificado acima. A informação de processamento suplementar além disso vantajosamente só será vista por aqueles terminais de mídia que podem interpretar e usar a informação de processamento suplementar. Um terminal de mídia de legado portanto não tentará exibir um fluxo de bits decodificado que teria requerido pós-processamento adicional antes de representação.
Figura 7 é uma visão geral esquemática de uma porção de rede de comunicação, na qual concretizações podem ser implementadas. A rede de comunicação é exemplificada uma rede de comunicação baseada em rádio provendo, entre outros, serviços de comunicação a terminais móveis 200, 210 e outros dispositivos de usuário, por meio de estações base 310 ou nós de rede. A rede de comunicação também inclui um servidor de mídia 300 implementado dentro ou conectado a uma tal estação base 310 para prover conteúdo de mídia a um ou mais terminais de mídia pedintes, tais como os terminais móveis 200, 210. A figura ilustra uma possível concretização de implementação de um dispositivo para prover informação de processamento suplementar 100, denotado dispositivo de provisão de SPI nas figuras. Este dispositivo 100 é configurado para gerar um arquivo 1 como exposto aqui incluindo o pseudo-identificador e a informação de processamento suplementar. O arquivo 1 é então transmitido ao terminal móvel 200, 210 por meio da estação base 310 conectada. Na figura, o terminal móvel 210 podería representar um terminal de mídia de legado, enquanto o terminal móvel 200 indica um terminal de mídia que reconhece o pseudo-identificador e pode usar informação de processamento suplementar.
O dispositivo 100 não tem necessariamente que ser implementado no servidor de mídia 300, mas pode altemativamente ser implementado em outro nó de rede da rede de comunicação. Uma implementação distribuída em múltiplos tais nós de rede também é possível e dentro da extensão das concretizações.
Figura 8 é um diagrama de bloco esquemático do dispositivo para prover informação de processamento suplementar 100 de acordo com uma concretização. O dispositivo 100 inclui um provedor de identificador 110 configurado para prover o pseudo-identificador do codec de mídia empregado para codificar o conteúdo de mídia. Um provedor de informação 130 é configurado para prover a informação de processamento suplementar representando instruções de pós-decodificação para processar conteúdo de mídia decodificado alcançável decodificando o conteúdo de mídia codificado. O dispositivo 100 também inclui um organizador de arquivo 120 configurado para co-organizar o pseudo-identificador do provedor de identificador 110 e a informação de processamento suplementar do provedor de informação 130 em um arquivo. A co-organização no arquivo é, como foi exposto aqui, conduzida pelo organizador de arquivo 120 de forma que ative aborto de decodificação do conteúdo codificado por um terminal de mídia de legado que não reconhece o pseudo-identificador. Porém, a co-organização habilita decodificação do conteúdo de mídia codificado usando o codec de mídia e habilita processamento de pós-decodificação do conteúdo de mídia decodificado usando a informação de processamento suplementar por um terminal de mídia que reconhece o pseudo-identificador.
O provedor de informação 130 podería prover ambas informação de processamento suplementar exigida representando instruções de pós-decodificação obrigatórias para processar o conteúdo de mídia decodificado e informação de processamento suplementar não exigida representando instruções de pós-decodificação opcionais para processar o conteúdo de mídia decodificado.
Em uma concretização particular, o organizador de arquivo 120 é configurado para gerar um arquivo de recipiente de mídia incluindo pelo menos um trilha de mídia definindo o conteúdo de mídia e pelo menos uma caixa de conteúdo de mídia incluindo o conteúdo de mídia codificado. O provedor de identificador 110 podería então prover uma caixa de entrada de amostra no arquivo de recipiente de mídia. A caixa de entrada de amostra define o pseudo-identificador e inclui uma caixa de formato de mídia incluindo o identificador de codec como descrito previamente. O provedor de informação 130 preferivelmente provê uma caixa de informação de processo suplementar incluindo a informação de processamento suplementar na caixa de entrada de amostra. Em uma concretização particular, o provedor de informação 130 provê a informação de processamento suplementar definindo instruções de pós-decodificação aplicáveis a uma porção de conteúdo de mídia k na caixa de entrada de amostra associada com uma porção de conteúdo de mídia prévia k-1 tendo um tempo de decodificação precedendo o tempo de decodificação da porção de conteúdo de mídia k. Em outra concretização, o provedor de informação 130 provê a informação de processamento suplementar definindo instruções de pós-decodificação aplicáveis à porção de conteúdo de mídia k na caixa de entrada de amostra associada com a porção de conteúdo de mídia k.
Em uma concretização alternativa, o organizador de arquivo 120 é configurado para gerar um arquivo de SDP incluindo o pseudo- identificador do provedor de identificador 110 como uma primeira linha de atributo e a informação de processamento suplementar do provedor de informação 130 como uma segunda linha de atributo.
As unidades 110 a 130 do dispositivo 100 podem ser implementadas ou providas como hardware ou uma combinação de hardware e software. No caso de uma implementação baseada em software, um produto de programa de computação implementando o dispositivo 100 ou uma parte dele inclui software ou um programa de computação corrido em um computador de propósito geral ou especialmente adaptado, processador ou microprocessador. O software inclui elementos de código de programa de computação ou porções de código de software ilustradas na Figura 8. O programa pode ser armazenado em todo ou parte, ou em um ou mais meios legíveis por computador não transitórios satisfatórios ou meio de armazenamento de dados tais como discos magnéticos, CD-ROMs, discos de DVD, memórias de USB, discos rígidos, memória magneto-óptica, em memória RAM ou volátil, em memória ROM ou flash, como firmware, ou em um servidor de dados.
O dispositivo 100 pode ser implementado vantajosamente dentro ou com relação a um servidor de mídia 300 como ilustrado na Figura 7.
Figura 9 é um fluxograma ilustrando um método para processar conteúdo de mídia em um terminal de mídia de acordo com uma concretização. O método começa na etapa S20, onde um arquivo incluindo o pseudo-identificador e a informação de processamento suplementar são recebidos. Uma próxima etapa S21 verifica se o pseudo-identificador, abreviado em PID nas figuras, é reconhecível. Se o pseudo-identificador não for reconhecível, o método continua na etapa S22, onde decodificação de conteúdo de mídia é abortado ou impedido. Como era discutido no antecedente, o conteúdo de mídia codificado pode tanto ser provido no mesmo arquivo como o pseudo-identificador e a informação de processamento suplementar ou provido separadamente na etapa S20 ou em outra etapa (não exposta). Se o pseudo-identificador ao invés for reconhecível, o método continua da etapa S21 à etapa S23. Esta etapa S23 seleciona um codec de mídia para decodificar o conteúdo de mídia baseado em um identificador de codec recobrado baseado no pseudo-identificador. A próxima etapa S24 decodifica o conteúdo de mídia usando o codec de mídia selecionado. O conteúdo de mídia decodificado é processado na etapa S25 baseado na informação de processamento suplementar a fim de adquirir conteúdo de mídia em uma forma satisfatória para representação, tal como exibição ou reprodução.
O método então poderia terminar. Altemativamente, conteúdo de mídia poderia ser dividido em porções de conteúdo de mídia diferentes onde informação de processamento suplementar poderia ser associada e aplicável a tais porções de mídia diferentes. Em tal caso, as etapas S24 e S25 são repetidas para cada tal porção de conteúdo de mídia.
Figura 10 é um fluxograma ilustrando as etapas adicionais do método na Figura 9 de acordo com uma concretização. O método continua da etapa S20 da Figura 9, que envolve receber um arquivo de recipiente de mídia incluindo pelo menos uma trilha de mídia definindo o conteúdo de mídia, pelo menos uma caixa de conteúdo de mídia incluindo o conteúdo de mídia codificado e pelo menos uma caixa de entrada de amostra. A caixa de entrada de amostra define o pseudo-identificador e inclui uma caixa de informação de processamento suplementar com a informação de processamento suplementar e uma caixa de formato de mídia com o identificador de codec.
Uma próxima etapa S30 recobra o pseudo-identificador da caixa de entrada de amostra e investiga na etapa S21 da Figura 9 se o pseudo- identificador é reconhecível. Se isto for verdade, o método continua na etapa S31, onde o identificador de codec é recobrado da caixa de formato de mídia. O método então continua na etapa S23 da Figura 9, onde o codec de mídia é selecionado baseado no identificador de codec recobrado.
Figura 11 é um fluxograma ilustrando as etapas adicionais do método na Figura 9 de acordo com outra concretização. O método continua da etapa S20 na Figura 9, que envolve receber um arquivo de SDP incluindo uma primeira linha de atributo incluindo o pseudo-identificador e uma segunda linha de atributo incluindo a informação de processamento suplementar. Uma próxima etapa S40 lê a primeira linha de atributo no arquivo de SDP para identificar o pseudo-identificador. O método então continua na etapa S21 na Figura 9 para investigar se o pseudo-identificador é reconhecível. Se isto for verdade, o método continua na etapa S41. Etapa S41 mapeia ou traduz o pseudo-identificador no identificador de codec. O método então continua na etapa S23 da Figura 9, onde o codec de mídia é selecionado baseado no identificador de codec mapeado.
Se a informação de processamento suplementar definir instruções de pós-decodificação que permitem a identificação de quais quadros de vídeo pertencem a uma visão esquerda e quais quadros de vídeo pertencem a uma visão direita de representação estéreo ou 3D, a etapa de processamento na Figura 9 poderia incluir identificar os quadros de vídeo dos dados de vídeo codificados correspondendo à visão esquerda e os quadros de vídeo correspondendo à visão direita baseado na informação de processamento suplementar.
Figura 12 é um diagrama de bloco esquemático de um terminal de mídia 200 de acordo com uma concretização. O terminal de mídia 200 é exemplificado por um terminal móvel na figura. Porém, isto deveria ser visto somente como um exemplo ilustrativo. Terminal de mídia poderia ser qualquer entidade ou dispositivo ou agregação de múltiplos dispositivos que tem capacidade de decodificação e representação. Um único tal dispositivo poderia ser um terminal móvel, tal como telefone móvel ou laptop, um computador, um conversor de TV para uma TV ou qualquer outra dispositivo de processamento de mídia. A funcionalidade de decodificação e representação pode estar presente em dispositivos diferentes que são então capazes de conduzir comunicação por fios ou sem fios entre si. Terminal de mídia portanto também abrange uma tal concretização de implementação distribuída.
O terminal de mídia 200 inclui um receptor 210 exemplificado por um transceptor (TX/RX) na figura. O receptor 210 é configurado para receber um arquivo incluindo o pseudo-identificador e a informação de processamento suplementar. Um controlador de decodificação 220 é configurado para recobrar o pseudo-identificador do arquivo e verificar se o pseudo-identificador é reconhecível. Se não for reconhecido pelo controlador de decodificação 220, o controlador de decodificação 220 controla o decodificador 230 para abortar a decodificação do conteúdo de mídia codificado ou pára o decodificador 230 de começar com o processo de decodificação. Se o controlador de decodificação 220 ao invés reconhecer o pseudo-identificador, ele seleciona o codec de mídia 235 a usar pelo decodificador 230 para decodificar o conteúdo de mídia. Esta seleção de codec é conduzida baseado em um identificador de codec determinado pelo controlador de decodificação 220 usando o pseudo-identificador.
O decodificador 230 então decodifica o conteúdo de mídia codificado usando o codec de mídia selecionado 235 para obter conteúdo de MB mídia decodificado. O conteúdo de mídia decodificado é processado ademais por um processador de conteúdo 240 baseado na informação de processamento suplementar recobrada do arquivo para adquirir conteúdo de mídia em uma forma satisfatória para representação. O terminal de mídia 200 então poderia ter um reprodutor de mídia (não ilustrado), que representa o conteúdo de mídia processado para exibição em uma tela de exibição 250. Altemativamente ou além disso, o reprodutor de mídia poderia reproduzir conteúdo de áudio em um alto-falante (não ilustrado) do terminal de mídia 200.
Em uma concretização particular, o receptor 210 recebe um arquivo de recipiente de mídia com pelo menos uma trilha de mídia definindo o conteúdo de mídia, pelo menos uma caixa de conteúdo de mídia incluindo o conteúdo de mídia e preferivelmente as instruções de pós-decodificação definidas pela informação de processamento suplementar. Pelo menos uma caixa de entrada de amostra também é incluída no arquivo de recipiente de mídia e define o pseudo-identificador e inclui a caixa de informação de processamento suplementar com a informação de processamento suplementar e a caixa de formato de mídia com o identificador de codec. Em tal caso, o terminal de mídia 200 preferivelmente inclui um provedor de identificador 225 configurado para recobrar o pseudo-identificador da caixa de entrada de amostra. O provedor de identificador 225 preferivelmente também recobra, se o pseudo-identificador for reconhecível pelo controlador de decodificação 220, o identificador de codec da caixa de formato de mídia.
Em uma concretização alternativa, o receptor 210 recebe um arquivo de SDP incluindo uma primeira linha de atributo incluindo o pseudo- identificador e uma segunda linha de atributo incluindo a informação de processamento suplementar. O provedor de identificador 225 é então configurado para ler a primeira linha de atributo para recobrar o pseudo- identificador e então, se o pseudo-identificador for reconhecível pelo controlador de decodificação 220, mapear o pseudo-identificador ao identificador de codec do codec de mídia 235 usando dados de mapeamento pré-configurados armazenados no terminal de mídia 200. Tais dados de mapeamento pré-configurados poderiam ser uma lista incluindo os pseudo- identificadores que são reconhecidos pelo controlador de decodificação 220 e os identificadores de codec de casamento.
As unidades 210 a 240 do terminal de mídia 200 podem ser implementadas ou providas como hardware ou uma combinação de hardware e software. No caso de uma implementação baseada em software, um produto de programa de computação implementando o terminal de mídia 200 ou uma parte disso inclui software ou um programa de computação corrido em um computador de propósito geral ou especialmente adaptado, processador ou microprocessador. O software inclui elementos de código de programa de computação ou porções de código de software ilustradas na Figura 12. O programa pode ser armazenado em todo ou parte, no ou em um ou mais meios legíveis por computador não satisfatórios ou meio de armazenamento de dados tais como discos magnéticos, CD-ROMs, discos de DVD, memórias de USB, discos rígidos, memória magneto-óptica, em memória RAM ou volátil, em memória ROM ou flash, tal como firmware, ou em um servidor de dados.
As concretizações descritas acima são para serem entendidas como alguns exemplos ilustrativos da presente invenção. Será entendido por aqueles qualificados na técnica que várias modificações, combinações e mudanças podem ser feitas às concretizações sem partir da extensão da presente invenção. Em particular, soluções de parte diferentes nas concretizações diferentes podem ser combinadas em outras configurações, onde tecnicamente possível. A extensão da presente invenção, porém, está definida pelas reivindicações anexas.
Claims (8)
1. Método para prover informação de processamento suplementar (52, 54) relativa a conteúdo de mídia codificado, o dito método compreendendo: prover (S2) informação de processamento suplementar (52, 54) definindo instruções de pós-decodificação para terminais de mídia (200, 210) para processar conteúdo de mídia decodificado obtido por decodificação do dito conteúdo de mídia codificado para prover uma correta renderização do dito conteúdo de mídia decodificado durante uma sessão de mídia, caracterizado por: prover (S1) um pseudo-identificador ‘resv’ como um pseudônimo de um codec de mídia empregado para codificar o dito conteúdo de mídia; co-organizar (S3) dito pseudo-identificador ‘resv’ e dita informação de processamento suplementar (52, 54) em um arquivo (1) para ativar aborto de decodificação de dito conteúdo de mídia codificado por um terminal de mídia legado (210) que não reconhece dito pseudo-identificador ‘resv’ e para habilitar decodificação de dito conteúdo de mídia codificado usando dito codec de mídia e processamento de pós-decodificação de dito conteúdo de mídia decodificado usando dita informação de processamento suplementar (52, 54) por um terminal de mídia (200) que reconhece dito pseudo-identificador ‘resv’, em que co- organizar (S3) dito pseudo-identificador ‘resv’ e dita informação de processamento suplementar compreende: gerar (S10) um arquivo de recipiente de mídia (1) compreendendo pelo menos uma trilha de mídia (20) definindo dito conteúdo de mídia e pelo menos uma caixa de dados de mídia (40) compreendendo dito conteúdo de mídia codificado; prover (S11), em dito arquivo de recipiente de mídia (1), uma caixa de entrada de amostra (80) com dito pseudo-identificador ‘resv’ como amostra do tipo de entrada e compreendendo uma caixa de informação de esquema restrito (70); prover (S12), em dita caixa de informação de esquema restrito (70) uma caixa de informação de processamento suplementar (50) compreendendo dita informação de processamento suplementar (52, 54); e prover (S13), em dita caixa de informação de esquema restrito (70), uma caixa de formato original (60) compreendendo um identificador de codec (62) de dito codec de mídia como representante de um tipo de entrada de amostra original.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que dita trilha de mídia (20) compreende múltiplas caixas de entrada de amostra (80), cada uma sendo associada a uma porção respectiva de dito conteúdo de mídia codificado contido em dita pelo menos uma caixa de dados de mídia (40), em que prover (S12) dita caixa de informação de processamento suplementar (50) compreende prover (S12) uma caixa de informação de processamento suplementar (50) definindo instruções de pós-decodificação aplicáveis a uma porção subsequente de dito conteúdo de mídia codificado em uma caixa de entrada de amostra (50) associada com uma porção prévia de dito conteúdo de mídia codificado tendo um tempo de decodificação precedendo um tempo de decodificação de dita porção subsequente de dito conteúdo de mídia codificado.
3. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que prover (S2) dita informação de processamento suplementar (52, 54) compreende prover (S2) pelo menos uma de informação de processamento suplementar (52) representando instruções de pós-decodificação obrigatórias para processar dito conteúdo de mídia decodificado e informação de processamento suplementar (54) representando instruções de pós- decodificação opcionais para processar dito conteúdo de mídia decodificado.
4. Dispositivo (100) para prover informação de processamento suplementar (52, 54) relativa a conteúdo de mídia codificado, dito dispositivo (100), o dito dispositivo (100) compreendendo: um provedor de informação (130) configurado para prover informação de processamento suplementar (52, 54) definindo instruções de pós-decodificação para terminais de mídia (200, 210) para processar conteúdo de mídia decodificado obtido por decodificação do dito conteúdo de mídia codificado para prover uma correta renderização do dito conteúdo de mídia decodificado durante uma sessão de mídia, caracterizado por: um provedor de identificador (110) configurado para prover um pseudo- identificador ‘resv’, como um pseudônimo de um codec de mídia empregado para codificar o dito conteúdo de mídia; um organizador de arquivo (120) configurado para co-organizar dito pseudo-identificador ‘resv’ provido por dito provedor de identificador (110) e dita informação de processamento suplementar (52, 54) provida por dito provedor de informação (130) em um arquivo (1) para ativar aborto de decodificação de dito conteúdo de mídia codificado por um terminal de mídia legado (210) que não reconhece dito pseudo-identificador ‘resv’ e para habilitar decodificação de dito conteúdo de mídia codificado usando dito codec de mídia e processamento de pós-decodificação de dito conteúdo de mídia decodificado usando dita informação de processamento suplementar (52, 54) por um terminal de mídia (200) que reconhece dito pseudo-identificador ‘resv’, em que. dito organizador de arquivo (120) é configurado para gerar um arquivo de recipiente de mídia (1) compreendendo pelo menos uma trilha de mídia (20) definindo dito conteúdo de mídia e pelo menos uma caixa de dados de mídia (40) compreendendo dito conteúdo de mídia codificado; dito provedor de identificador (110) é configurado para prover em dito arquivo recipiente de mídia (1), uma caixa de entrada de amostra (80), com dito pseudo-identificador ‘resv’ como amostra do tipo de entrada e compreendendo um caixa de informação de esquema restrito (70) e prover, em dita caixa de informação de esquema restrito (70) uma caixa de formato original (60) compreendendo um identificador de codec (62) de dito codec de mídia como representante de um tipo de entrada de amostra original; e dito provedor de informação (130) é configurado para prover, em dita caixa de informação de esquema restrito (70), uma caixa de informação de processamento suplementar (50) compreendendo dita informação de processamento suplementar (52, 54).
5. Dispositivo, de acordo com reivindicação 4, caracterizado pelo fato de que dita trilha de mídia (20) compreende múltiplas caixas de entrada de amostra (80), cada uma sendo associada a uma porção respectiva de dito conteúdo de mídia codificado contido em dita pelo menos uma caixa de dados de mídia (40), em que dito provedor de informação (130) é configurado para prover uma caixa de informação de processamento suplementar (50) definindo instruções de pós- decodificação aplicáveis a uma porção subsequente de dito conteúdo de mídia codificado em uma caixa de entrada de amostra (50) associada com uma porção prévia de dito conteúdo de mídia codificado tendo um tempo de decodificação precedendo um tempo de decodificação de dita porção subsequente de dito conteúdo de mídia codificado.
6. Dispositivo, de acordo com a reivindicação 4 ou 5, caracterizado pelo fato de que dito provedor de informação (130) é configurado para prover pelo menos uma de informação de processamento suplementar (52) representando instruções de pós-decodificação obrigatórias para processar dito conteúdo de mídia decodificado e informação de processamento suplementar (54) representando instruções de pós-decodificação opcionais para processar dito conteúdo de mídia decodificado.
7. Servidor de mídia (300), caracterizado por compreender um dispositivo (100) para prover informação de processamento suplementar (52, 54) como definido em qualquer uma das reivindicações 4 a 6.
8. Nó de rede (310), caracterizado por compreender um servidor de mídia (300) como definido na reivindicação 7.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US25312809P | 2009-10-20 | 2009-10-20 | |
| US61/253,128 | 2009-10-20 | ||
| PCT/SE2010/051119 WO2011049517A1 (en) | 2009-10-20 | 2010-10-18 | Provision of supplemental processing information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112012009148A2 BR112012009148A2 (pt) | 2017-08-08 |
| BR112012009148B1 true BR112012009148B1 (pt) | 2021-05-25 |
Family
ID=43900546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112012009148-4A BR112012009148B1 (pt) | 2009-10-20 | 2010-10-18 | método e dispositivo para prover informação de processamento suplementar relativa a conteúdo de mídia codificado |
Country Status (18)
| Country | Link |
|---|---|
| US (3) | US9609368B2 (pt) |
| EP (2) | EP2491720B1 (pt) |
| JP (1) | JP2013509084A (pt) |
| CN (2) | CN102648629B (pt) |
| AU (1) | AU2010308600B2 (pt) |
| BR (1) | BR112012009148B1 (pt) |
| CA (1) | CA2778064C (pt) |
| DK (1) | DK2491720T3 (pt) |
| ES (1) | ES2671520T3 (pt) |
| HU (1) | HUE037388T2 (pt) |
| IN (1) | IN2012DN03081A (pt) |
| MX (1) | MX2012004534A (pt) |
| NO (1) | NO2491720T3 (pt) |
| NZ (1) | NZ599303A (pt) |
| PL (1) | PL2491720T3 (pt) |
| RU (1) | RU2540804C2 (pt) |
| WO (1) | WO2011049517A1 (pt) |
| ZA (1) | ZA201202647B (pt) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102291580B (zh) * | 2011-07-28 | 2013-03-20 | 南京联慧通信技术有限公司 | 基于Android系统的视频传输方法 |
| DE202012013660U1 (de) | 2011-08-29 | 2019-04-18 | Aibuy, Inc. | Container Software zum viralen Kopieren von einem Endpunkt zum Anderen |
| US9584793B2 (en) | 2012-04-09 | 2017-02-28 | Intel Corporation | Signaling three-dimensional video information in communication networks |
| US9607330B2 (en) | 2012-06-21 | 2017-03-28 | Cinsay, Inc. | Peer-assisted shopping |
| US10789631B2 (en) | 2012-06-21 | 2020-09-29 | Aibuy, Inc. | Apparatus and method for peer-assisted e-commerce shopping |
| US20140079116A1 (en) * | 2012-09-20 | 2014-03-20 | Qualcomm Incorporated | Indication of interlaced video data for video coding |
| US9161039B2 (en) | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
| GB2519746B (en) * | 2013-10-22 | 2016-12-14 | Canon Kk | Method, device and computer program for encapsulating scalable partitioned timed media data |
| US10028002B2 (en) * | 2013-12-16 | 2018-07-17 | Samsung Electronics Co., Ltd. | Server device for sharing contents, client device, and method for sharing contents |
| US9716900B2 (en) * | 2014-06-20 | 2017-07-25 | Qualcomm Incorporated | Extensible design of nesting supplemental enhancement information (SEI) messages |
| WO2017152037A1 (en) * | 2016-03-04 | 2017-09-08 | 1Usf, Inc. | Systems and methods for media codecs and containers |
| US10979691B2 (en) * | 2016-05-20 | 2021-04-13 | Qualcomm Incorporated | Circular fisheye video in virtual reality |
| US10536721B2 (en) * | 2017-01-09 | 2020-01-14 | Qualcomm Incorporated | Restricted scheme design for video |
| US10999605B2 (en) * | 2017-01-10 | 2021-05-04 | Qualcomm Incorporated | Signaling of important video information in file formats |
| US10805650B2 (en) * | 2017-03-27 | 2020-10-13 | Qualcomm Incorporated | Signaling important video information in network video streaming using mime type parameters |
| US10735806B2 (en) * | 2018-09-07 | 2020-08-04 | Disney Enterprises, Inc. | Configuration for detecting hardware-based or software-based decoding of video content |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4183587B2 (ja) * | 2003-09-12 | 2008-11-19 | シャープ株式会社 | 画像記録装置 |
| US7650036B2 (en) * | 2003-10-16 | 2010-01-19 | Sharp Laboratories Of America, Inc. | System and method for three-dimensional video coding |
| JP2005167584A (ja) | 2003-12-02 | 2005-06-23 | Matsushita Electric Ind Co Ltd | Ｍｐ４ファイルフォーマットのメディア・ストリームを保護する装置 |
| US7689051B2 (en) | 2004-04-15 | 2010-03-30 | Microsoft Corporation | Predictive lossless coding of images and video |
| CN100433159C (zh) * | 2004-09-23 | 2008-11-12 | 北京凯诚高清电子技术有限公司 | 多制式信息记录介质，信息记录及播放的方法和装置 |
| US8046479B2 (en) * | 2006-11-07 | 2011-10-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Media channel management |
| US8463019B2 (en) | 2007-07-19 | 2013-06-11 | JVC Kenwood Corporation | Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method |
| WO2009024926A1 (en) | 2007-08-20 | 2009-02-26 | Nokia Corporation | Segmented metadata and indexes for streamed multimedia data |
| US8400497B2 (en) | 2007-09-07 | 2013-03-19 | Samsung Electronics Co., Ltd | Method and apparatus for generating stereoscopic file |
| US8171541B2 (en) | 2007-12-18 | 2012-05-01 | Nokia Corporation | Enabling provider network inter-working with mobile access |
| WO2009099307A1 (en) * | 2008-02-05 | 2009-08-13 | Samsung Electronics Co., Ltd | Apparatus and method for generating and displaying media files |
| CN102461183B (zh) * | 2009-06-16 | 2015-08-19 | Lg电子株式会社 | 广播发射机、广播接收机及其3d视频处理方法 |
| CA2777038C (en) * | 2009-10-13 | 2017-01-03 | Lg Electronics Inc. | Broadcast receiver and 3d video data processing method thereof |
-
2010
- 2010-10-18 NO NO10825288A patent/NO2491720T3/no unknown
- 2010-10-18 PL PL10825288T patent/PL2491720T3/pl unknown
- 2010-10-18 CA CA2778064A patent/CA2778064C/en active Active
- 2010-10-18 EP EP10825288.3A patent/EP2491720B1/en active Active
- 2010-10-18 BR BR112012009148-4A patent/BR112012009148B1/pt active IP Right Grant
- 2010-10-18 CN CN201080057965.4A patent/CN102648629B/zh active Active
- 2010-10-18 MX MX2012004534A patent/MX2012004534A/es active IP Right Grant
- 2010-10-18 DK DK10825288.3T patent/DK2491720T3/en active
- 2010-10-18 CN CN201510124970.7A patent/CN104661115B/zh active Active
- 2010-10-18 HU HUE10825288A patent/HUE037388T2/hu unknown
- 2010-10-18 EP EP18151710.3A patent/EP3346711A1/en not_active Withdrawn
- 2010-10-18 NZ NZ599303A patent/NZ599303A/en unknown
- 2010-10-18 IN IN3081DEN2012 patent/IN2012DN03081A/en unknown
- 2010-10-18 AU AU2010308600A patent/AU2010308600B2/en active Active
- 2010-10-18 US US13/502,242 patent/US9609368B2/en active Active
- 2010-10-18 ES ES10825288.3T patent/ES2671520T3/es active Active
- 2010-10-18 RU RU2012120698/08A patent/RU2540804C2/ru active
- 2010-10-18 JP JP2012535164A patent/JP2013509084A/ja active Pending
- 2010-10-18 WO PCT/SE2010/051119 patent/WO2011049517A1/en active Application Filing
-
2012
- 2012-04-12 ZA ZA2012/02647A patent/ZA201202647B/en unknown
-
2017
- 2017-03-27 US US15/469,669 patent/US10085036B2/en active Active
-
2018
- 2018-08-13 US US16/102,404 patent/US10397595B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| AU2010308600B2 (en) | 2014-09-25 |
| EP2491720B1 (en) | 2018-03-07 |
| US9609368B2 (en) | 2017-03-28 |
| NO2491720T3 (pt) | 2018-08-04 |
| US20120201521A1 (en) | 2012-08-09 |
| CA2778064C (en) | 2019-06-04 |
| ZA201202647B (en) | 2013-06-26 |
| HUE037388T2 (hu) | 2018-08-28 |
| PL2491720T3 (pl) | 2018-08-31 |
| US10397595B2 (en) | 2019-08-27 |
| AU2010308600A1 (en) | 2012-05-17 |
| CN104661115B (zh) | 2020-08-04 |
| CA2778064A1 (en) | 2011-04-28 |
| MX2012004534A (es) | 2012-06-08 |
| DK2491720T3 (en) | 2018-06-06 |
| CN102648629B (zh) | 2015-05-06 |
| US10085036B2 (en) | 2018-09-25 |
| US20180352244A1 (en) | 2018-12-06 |
| CN102648629A (zh) | 2012-08-22 |
| BR112012009148A2 (pt) | 2017-08-08 |
| IN2012DN03081A (pt) | 2015-07-31 |
| CN104661115A (zh) | 2015-05-27 |
| EP2491720A4 (en) | 2013-12-11 |
| RU2012120698A (ru) | 2013-12-10 |
| ES2671520T3 (es) | 2018-06-06 |
| EP3346711A1 (en) | 2018-07-11 |
| WO2011049517A1 (en) | 2011-04-28 |
| EP2491720A1 (en) | 2012-08-29 |
| JP2013509084A (ja) | 2013-03-07 |
| NZ599303A (en) | 2014-06-27 |
| US20170201762A1 (en) | 2017-07-13 |
| RU2540804C2 (ru) | 2015-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112012009148B1 (pt) | método e dispositivo para prover informação de processamento suplementar relativa a conteúdo de mídia codificado | |
| JP5542912B2 (ja) | メディア・コンテナ・ファイル管理 | |
| WO2015096540A1 (zh) | 码流的生成和处理方法、装置及系统 | |
| BR112020000328A2 (pt) | empacotamento região a região, cobertura de conteúdo e sinalização de empacotamento de quadro para conteúdo de mídia | |
| US11638066B2 (en) | Method, device and computer program for encapsulating media data into a media file | |
| BR112020000015A2 (pt) | processamento de mídia de dados usando um descritor genérico para caixas de formato de arquivo | |
| CN105960804B (zh) | 用于提供特技播放服务的信号发送、接收方法及装置 | |
| CN113545095A (zh) | 优化封装后的媒体内容的一部分的传输的方法、装置和计算机程序 | |
| JP7241874B2 (ja) | カプセル化されたメディアコンテンツの利用可能な部分をシグナリングするための方法、装置、及びコンピュータプログラム | |
| CN113822966A (zh) | 生成媒体文件的方法、装置和计算机可读存储介质 | |
| WO2022148650A1 (en) | Method, device, and computer program for encapsulating timed media content data in a single track of encapsulated media content data | |
| GB2599171A (en) | Method and apparatus for encapsulating video data into a file | |
| JP7348962B2 (ja) | メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム | |
| US11871092B2 (en) | Method and apparatus for encapsulating derived tracks | |
| CN117581551A (zh) | 动态封装媒体内容数据的方法、装置及计算机程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B15K | Others concerning applications: alteration of classification |
Ipc: H04N 7/00 (2011.01) |
|
| B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Free format text: A CLASSIFICACAO ANTERIOR ERA: H04N 7/00 Ipc: H04N 19/13 (2014.01), H04N 19/176 (2014.01), H04N |
|
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 18/10/2010, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF |