BRPI0714090A2

BRPI0714090A2 - método de codificação de vìdeo

Info

Publication number: BRPI0714090A2
Application number: BRPI0714090-8A
Authority: BR
Inventors: Sam Liu; Debargha Mukherjee
Original assignee: Hewlett Packard Development Co
Priority date: 2006-07-31
Filing date: 2007-07-31
Publication date: 2013-01-01
Also published as: DE112007001773T5; US20080025408A1; WO2008016600A3; CN101523918B; GB2453506B; JP5068316B2; JP2009545918A; WO2008016600A2; KR20090046812A; GB0902251D0; GB2453506A; CN101523918A

Abstract

MéTODO DE CODIFICAçãO DE VìDEO Uma configuração de acordo com a invenção se refere a um método (600) que inclui a etapa de determinar (602) uma restrição associada a um decodificador (808). Ademais, o método inclui a etapa de determinar (604) um número máximo de quadros-B de referência que pode ser usado para codificar um conteúdo de vídeo (802) . Deve ser notado que o número máximo se baseia na restrição associada ao decodificador.

Description

"MÉTODO DE CODIFICAÇÃO DE VÍDEO" Histórico da Invenção

Atualmente há diversos padrões de compactação de vídeo usados para compactar/descompactar um conteúdo de vídeo.

Por exemplo, a "Moving Pictures Experts Group - (MPEG)" definiu diferentes padrões de compactação de vídeo. Um dos padrões de compactação de vídeo desenvolvido pela MPEG é o MPEG-4 AVC (de Advanced Vídeo Coding {Codificação de Vídeo Avançado)) também chamado MPEG-4 PARTE 10. Nota-se que o MPEG-4 AVC é similar ao padrão de compactação H2 64 da "International Telecommunication Union - (ITU)".

Uma das razões que permitiu a ampla difusão do MPEG-4 AVC é sua maior capacidade de lidar com grandes quantidades de conteúdo de vídeo que os padrões correntes, tal como MPEG-2. Esta capacidade é altamente desejável, já que o padrão HD de vídeo (de High Definition (Alta Definição)) vem se tornando cada vez mais popular, e compreende uma quantidade de dados muitas vezes maior que de sistemas de vídeo tradicionais. Em vista disto, é muito desejável, pelos transmissores de conteúdo de vídeo, que um número maior de canais HD seja acomodado na largura de banda que vem sendo usada tradicionalmente.

Um dos problemas do padrão MPEG-4 AVC é que a sintaxe do fluxo de bits permite um número quase ilimitado de quadros para prever e estimar movimentos para compactar um conteúdo de vídeo. Deve ser notado que, à medida que aumenta o número de quadros para prever e estimar movimentos, também aumenta o número de buffers de quadro requerido por um decodificador para descompactar um conteúdo de vídeo. No entanto, buffers de quadro são caros, daí inviabilizando uma solução de codificação economicamente viável, se não forem implementadas restrições ao processo de compactação do fluxo de bits de vídeo. No entanto, quanto mais limitações forem aplicadas, mais a qualidade do fluxo de bits será prejudicada. Portanto, é desejável usar o padrão MPEG-4 AVC para prover uma melhor qualidade de fluxo de bits, com base em uma solução de decodificação economicamente viável.

Descrição Resumida dos Desenhos A figura 1 mostra uma estrutura de referência a movimento exemplar de um fluxo de video MPEG-I e MPEG-2; A figura 2 mostra uma estrutura de referência a movimento exemplar de um processo de video MPEG-4 AVC diversa daquela que pode ser usada de acordo com várias configurações da invenção;

A figura 3 é uma ordenação de quadro exemplar de fluxo de bits com base em diferentes tipos de quadro de video de fluxo de bits da apresentação mostrado na figura 1; A figura 4 ilustra um atraso de um quadro exemplar provocado por acumulação em buffer de quadros de video decodificados, de acordo com MPEG-I MPEG-2;

A figura 5 ilustra um atraso de dois quadros exemplar provocado por acumulação em buffer de quadros de video decodificados associado a MPEG-4 AVC; A figura 6 é um diagrama de blocos de um método exemplar de acordo com várias configurações da invenção; A figura 7 é um diagrama de fluxo de outro método exemplar, de acordo com várias configurações da invenção; A figura 8 é um diagrama de blocos de um sistema exemplar, de acordo com várias configurações da invenção. Descrição Detalhada da Invenção

Referindo-se em detalhes às várias configurações da invenção, com referência às quais alguns exemplos serão ilustrados nos desenhos anexos. Embora a invenção seja descrita em conexão com várias configurações, deve ser entendido que estas várias configurações não foram construídas com propósito limitante. Ao contrário, a invenção pretende cobrir alternativas, modificações, e equivalentes que estejam incluídas no escopo da invenção, o escopo sendo definido pelas reivindicações anexas. Ademais, na descrição detalhada que se segue de várias configurações, numerosos detalhes específicos serão estabelecidos para prover um pleno entendimento da invenção. No entanto, deve ser aparente àqueles habilitados na técnica que a invenção poderá ser praticada sem tais detalhes. Ademais, métodos, procedimentos, componentes, e circuitos, que são per si bem conhecidos, não serão descritos mais minuciosamente, para não dificultar o entendimento de aspectos da presente invenção.

Várias configurações de acordo com a presente invenção compreendem compactação de vídeo. Uma das técnicas que pode ser usada para compactação de vídeo diz respeito a prever ou estimar movimentos de vídeo, que se trata de uma técnica bem conhecida por aqueles habilitados na técnica. Ademais, deve ser entendido que seqüências de vídeo contêm uma quantidade significativa de redundâncias temporais, sendo que as diferenças entre quadros consecutivos, que podem ser provocadas por objeto, movimento de câmara, ou ambos, podem ser exploradas para compactação de vídeo. A previsão ou estimativa de movimentos é uma técnica que remove as redundâncias temporais incluídas nas seqüências de vídeo. Deve ser notado que há diferentes padrões para compactação de vídeo. Por exemplo, a Moving Pictures Experts Group (MPEG) definiu diferentes padrões de compactação de vídeo. De acordo com padrões de compactação de vídeo MPEG, um quadro de vídeo pode ser particionado em blocos retangulares não-sobrepostos, e cada bloco pode ser comparado com outro bloco em um quadro de referência de movimento - o que também chamado "Estimativa por Similaridade de Bloco" (Block Matching Prediction). Salienta-se que quanto maior a similaridade observada, maior será o grau de compactação possível. Os padrões de compactação de vídeo MPEG-I e MPEG-2 se baseiam em estimativa ou previsão de movimento, pelo fato de haver uma quantidade muita grande de redundâncias entre quadros consecutivos, e explorando estas redundâncias será possível obter uma maior compactação. Daí, é desejável que o menor número possível de bits para representar um fluxo de bits de vídeo, conquanto mantendo seu conteúdo em uma qualidade visual otimizada. Como parte da etapa de estimar movimento, os padrões MPEG-I e MPEG-2 incluem três tipos de quadros: quadro-I, quadro-P, quadro-B. Em particular, o quadro-I não usa movimentos interquadros (não estima tais movimentos) independentemente decodificável, como na compactação de imagem estática, tal como JPEG (Joint Photografic Experts Group). Ademais, um quadro-P pode ser definido como um quadro de vídeo que usa apenas um quadro de referência de movimento, quer quadro-P ou quadro-I anterior, o quadro que vier antes. Deve ser notado que ambos, quadro-I e quadro-P podem ser quadros de referência de movimento, uma vez que outros quadros de vídeo podem usá-los para previsão de movimento. Por fim, um quadro-B pode usar dois quadros de vídeo de referência de movimento para previsão, um quadro de vídeo anterior (quer quadro-I ou quadro-P) e um quadro de vídeo futuro (quer quadro-I ou quadro-P). No entanto, quadros-B não são quadros de referência de movimento, e não podem ser usados por qualquer outro quadro de vídeo para previsão ou estimativa de movimento. Deve ser notado que ambos quadro-I e quadro-B não são decodificáveis de modo independente, uma vez que dependem de outros quadros para reconstrução. Deve ser notado que os quadros-B provêem uma compactação melhor que os quadros-P, que por sua vez provêem uma compactação melhor que os quadros I. A figura 1 ilustra uma estrutura de referência a movimento exemplar de um fluxo de vídeo de apresentação MPEG-I e MPEG-2 100. Salienta-se que se mostra a referência a movimento para todos quadros de vídeo. Especificamente, a previsão ou estimativa de movimento para um quadro-P pode compreender um quadro-I ou quadro-P anterior (o quadro que vier antes) que compreende usar um buffer de quadro para prever ou estimar movimentos. Por exemplo, para quadros-P, tal como o quadro-P4 do fluxo de vídeo de apresentação 100, uma estimativa de movimento pode compreender o uso de um quadro-Il anterior, como indicado pela seta 102. Adicionalmente, um quadro-P7 do fluxo de vídeo de apresentação 100 pode compreender o uso de um quadro-P4 anterior para prever ou estimar movimentos, como indicado pela seta 104. Deve ser entendido que uma estimativa de movimento para um quadro-B compreende o uso de um quadro-I ou quadro-P anteriores (o quadro que vier antes) e quadro-I e quadro- P posterior (o quadro que vier antes) que compreende o uso de dois buffers de quadro para uma estimativa ou previsão de movimento bidirecional. Por exemplo, para quadros-B, tal como quadro-B2 do fluxo de vídeo de apresentação 100, uma estimativa de movimento pode compreender o uso de um quadro-Il anterior (indicado pela seta 112) junto com um quadro-P4 futuro (indicado pela seta 110) para prever ou estimar movimentos. Ademais, um quadro-B6 do fluxo de vídeo de apresentação 100 pode compreender o uso de um quadro-P4 (indicado pela seta 108) junto com um quadro-P7 futuro (indicado pela seta 106) para estimar ou prever movimentos.

Na figura 1, o fluxo de vídeo de apresentação 100 inclui quadros de vídeo exemplares, mas não se limitando a estes, começando pelo quadro-Il, seguido pelo quadro- B2, seguido pelo quadro-B3, seguido pelo quadro-P4, seguido pelo quadro-B5, seguido pelo quadro-B6, seguido pelo quadro-P7, seguido pelo quadro-B8, seguido pelo quadro-B9, seguido pelo quadro-110, que por sua vez pode ser seguido por outros quadros de vídeo.

Como mencionado acima, os esquemas de compactação de vídeo MPEG-I e MPEG-2 restringem a previsão ou estimativa de movimento a um máximo de dois quadros de vídeo de referência. No entanto, MPEG-4 AVC (Advanced Video Coding), ao contrário, generaliza a estimativa de movimento, permitindo um número muito maior de quadros de vídeo de referência. Deve ser notado que o MPEG-4 AVC (também conhecido como MPEG-4 parte 10) é similar ao H264 da International Telecommunication Union (ITU). Deve ser entendido que o padrão MPEG-4 AVC codec provê a liberdade de definir um número arbitrário de quadros de movimento de referência. Por exemplo, quase todos quadros de vídeo que tenham sido previamente codificados podem ser um quadro de vídeo de referência, desde que disponível para estimar ou prever movimentos. Deve ser salientado que os quadros de vídeo anteriormente codificados podem ser quer quadros anteriores ou futuros {em relação ao quadro de vídeo corrente a ser codificado). Ao contrário, em MPEG-I MPEG-2, os quadros-I e quadros-P podem ser usados como quadros de referência a movimento, mas não quadros-B. No entanto, no padrão MPEG-4 AVC, os quadros-B também podem ser quadros de vídeo de referência (quadros- Br). Em MPEG-4 AVC, as definições de quadros de vídeo P e B genéricos são mostradas a seguir. O quadro-P pode usar múltiplos quadros de vídeo de referência de movimento, desde que estes sejam anteriores. Ademais, os quadros-B podem usar múltiplos quadros de vídeo de referência de movimento a anteriores ou futuros, desde que previamente codificados.

A figura_2 ilustra uma estrutura de referência exemplar (ou estimativa) de uma ordem de fluxo de vídeo de apresentação MPEG-4 AVC 200 que pode ser utilizada de acordo com várias configurações da invenção. Deve ser salientado que a referência de movimento (ou estimativa) não é mostrada para todos quadros de vídeo. Deve ser notado que dentro da ordem de quadro de apresentação 200, "Br" indica um quadro-B de referência. Como mostrado pela ordem de quadro de vídeo de apresentação MPEG-4 AVC 200, há muitas possibilidades nas quais pode ser realizada a estimativa de movimento. Por exemplo, uma estimativa de movimento para quadros-P, tal como quadro-Ρθ, pode compreender o uso de qualquer quadro de referência anterior, como quadro-Il (como indicado pela seta 202), quadro-Br3 (como indicado pela seta 204), e/ou quadro-P5 (como indicado pela seta 206). Como no caso de quadros-B, há dois tipos diferentes associados ao MPEG-4 AVC: quadros-Br de referência e quadros-B. Especificamente, uma estimativa de movimento para um quadro-Br, tal como quadro-Br3, pode compreender o uso de outros quadros de vídeo de referência a partir de ambos, tempo passado e tempo futuro, desde que já codificados. Por exemplo, uma estimativa de movimento para o quadro-Br3 na ordem de quadro de apresentação 200 pode compreender o uso do quadro-Il anterior (como indicado pela seta 102) e o quadro-P5 futuro (como indicado pela seta 210) .

Por último na figura 2, uma estimativa de movimento para quadros-B (por exemplo, quadro-B10) também pode usar quadros de referência incluindo quadros-Br anteriores ou futuros, mas sendo que os mesmos não podem ser usados como quadros de referência. Por exemplo, uma estimativa de movimento para quadro-B10 da ordem do quadro de apresentação 200 pode compreender o uso do quadro-P9 anterior {como indicado pela seta 220), o quadro-Brll futuro (como indicado pela seta 224) e quadro-113 futuro (como indicado pela seta 222). Ademais, a estimativa de movimento para quadro-B8 pode compreender um quadro-Br7 anterior (como indicado pela seta 216) e um quadro-P9 futuro (como indicado pela seta 218) . Ainda, a estimativa de movimento para um quadro-B6 pode compreender um quadro-P5 anterior (como indicado pela seta 212) e um quadro-Br7 futuro (como indicado pela seta 214). Deve ser notado que durante a estimativa de movimento, é desejável utilizar quadros de referência tão próximos quanto possível do quadro corrente. Assim, é desejável utilizar quadros-Br (tal como, Brll, Br7), como mostrado na ordem de quadro de vídeo de apresentação 200. Por exemplo, se houver um quadro de referência mais afastado do quadro corrente, o quadro de referência pode ser incapaz de prover uma boa correspondência de movimento, porque o objeto pode estar fora do campo de visão ou ter a orientação alterada. Na figura 2, a ordem de quadro de apresentação 200 inclui quadros de video exemplares, mas não se limitando a estes, começando pelo quadro-Il, seguido pelo quadro-B2, seguido pelo quadro-Br3, seguido pelo quadro-B4, seguido pelo quadro-P5, seguido pelo quadro-B6, seguido pelo quadro-Br7, seguido pelo quadro-B8, seguido pelo quadro- P9, seguido pelo quadro-B10, seguido pelo quadro-Brll, seguido pelo quadro-B12, seguido pelo quadro-113, que por sua vez pode ser seguido por outros quadros de video. Deve ser notado que a figura 1 ilustra a ordem de apresentação ou display 100 de quadros de video que é uma seqüência temporal de como os quadros de video devem ser apresentados na apresentação. Deve ser apreciado que os quadros-B de ordem de fluxo de bits de apresentação 100 dependem de quadros de video futuros e anteriores, devido à previsão (ou estimativa) de movimento bidirecional. No entanto, o uso de quadros futuros compreende mesclar a ordem de quadros de video de ordem de fluxo de video de apresentação 100, de modo que os quadros de referência apropriados sejam disponíveis para codificação/ decodificação do quadro corrente. Por exemplo, ambos quadro-B5 e quadro-B6 se baseiam no quadro-P4 e quadro-P7, que precisam ser codificados antes do quadro-B5 e quadro-B6. Portanto, a ordenação de quadros de vídeo em fluxo de vídeo MPEG não é temporal e difere da ordem de apresentação corrente.

Por exemplo, a figura 3 é uma ordenação exemplar de quadros de fluxo de bits 300 com base em diferentes tipos de quadro de vídeo de fluxo de vídeo de apresentação 100, como na figura 1. Especificamente, o primeiro quadro de vídeo do fluxo de bits de vídeo 300 é o quadro-Il, desde que sua codificação não se baseie em qualquer quadro de vídeo de referência e ademais seja o primeiro quadro de vídeo do fluxo de vídeo de apresentação 100. Segue o quadro-P4, desde que sua codificação se baseie no quadro-Il e tenha sido codificado antes da codificação do quadro-B2. Segue o quadro-B2, desde que sua codificação se baseie em ambos, quadro-Il e quadro-P4. Segue o quadro B3, desde que sua codificação se baseie também em ambos, quadro-Il e quadro-P4. Segue o quadro- P7, desde que sua codificação se baseie no quadro-P4 e tenha sido codificado antes da codificação do quadro-B5. Segue o quadro-B5, desde que sua codificação se baseie em ambos, quadro-P4 e quadro-P7. Segue o quadro-B6, desde que sua codificação também se baseie em ambos, quadro-P4 e quadro-P7. Segue o quadro-110, desde que tenha sido codificado antes da codificação do quadro-B8 e quadro-B9. Segue o quadro-B8, desde que sua codificação se baseie em ambos, quadro-P7 e quadro-110. Segue o quadro-B9, desde que sua codificação também se baseie em ambos, quadro-P7 e quadro-110. Assim, uma ordenação de quadro de fluxo de bits 300 pode ser gerada com base na ordenação do fluxo de video de apresentação 100 (como na figura 1). Por conseguinte, utilizando a ordenação de quadro de fluxo de bits 300, podem ser disponibilizados quadros de referência apropriados para codificar/decodificar o quadro de video corrente.

Na figura 3, o fluxo de bits de video 300 inclui quadros de video exemplares, mas não se limitando a estes, começando pelo quadro-Il que é seguido pelo quadro-P4, seguido pelo quadro-B2, seguido pelo quadro-B3, seguido pelo quadro-P7, seguido pelo quadro-B5, seguido pelo quadro-B6, seguido pelo quadro-110, seguido pelo quadro- B8, seguido pelo quadro-B9, que por sua vez pode ser seguido por outros quadros de vídeo.

Deve ser notado que por causa da ordenação de quadros mesclada (shuffing) do fluxo de vídeo de apresentação 300, um quadro de vídeo não pode ser imediatamente apresentado durante sua decodificação. Por exemplo, depois de decodificado, o quadro de vídeo P4 do fluxo de bits de vídeo 300 pode ser armazenado, uma vez que não poderá ser mostrado ou apresentado até que os quadros de vídeo B2 e B3 tenham sido decodificados e apresentados. No entanto, este tipo de acumulação em buffer pode acarretar atrasos.

Por exemplo, a figura 4 ilustra um atraso exemplar de um quadro causado pela acumulação em buffer de quadros de video decodificados por MPEG-I e MPEG-2. Especificamente, a figura 4 inclui a ordem de quadros de fluxo de bits de video 300 (da figura 3) junto com a correspondente ordem de apresentação de video 100 (da figura 1) sob a ordem de fluxo de bits 300. Ademais, a ordenação de apresentação 100 é deslocada para a direita uma posição de quadro, que representa um atraso de quadro causado pelo processo de acumulação em buffer de quadros de video decodificados de fluxo de bits 300, antes de serem apresentados. Por exemplo, uma vez decodificado o quadro-Il do fluxo de bits 300, este não pode ser apresentado, uma vez que quadro de video seguinte - quadro -B2 - não pode ser decodificado e apresentado até depois de o quadro-P4 ter sido decodificado. Assim, o quadro-Il pode ser armazenado ou acumulado em buffer. A seguir, uma vez decodificado o quadro P4 usando o quadro-Il, este último pode ser apresentado, enquanto o quadro-P4 deve ser acumulado em buffer ou armazenado. Depois disso, o quadro-B2 pode ser decodificado, usando quadro-I1 e quadro-P4, de modo que o quadro-B2 possa ser apresentado. Deve ser entendido que a decodificação do fluxo de bits 300 produz um atraso de um quadro, que pode ser chamado atraso de apresentação por decodificação. Para MPEG-I e MPEG-2, deve ser apreciado que o atraso máximo é um quadro, independente da estrutura de referência a movimento.

Deve ser notado que, em virtude do atraso de um quadro da figura 4, o decodificador deve ter um buffer de quadro para atraso, e dois buffers de quadro adicionais para armazenar dois quadros de referência durante a decodificação.

Atrasos de apresentação por decodificação, no entanto, constituem um problema sério para os novos padrões de compactação/ descompactação de video, tal como MPEG-4 AVC em virtude de o atraso de apresentação poder ser ilimitado por causa da estrutura de referência a um movimento flexível do MPEG-4 AVC.

Por exemplo, a figura 5 ilustra um atraso de dois quadros provocado por acumulação em buffer de quadros de video decodificados associados a MPEG-4 AVC. Especificamente, a figura 5 inclui uma ordem de quadro de fluxo de bits de vídeo 500 correspondente à ordem de quadro de apresentação de vídeo 200 (da figura 2) sob a ordem de fluxo de bits 500. Adicionalmente, a ordenação de quadros de apresentação 200 é deslocada para a direita duas posições de quadro, que representa um atraso de dois quadros, causado pelo processo de acumulação em buffer de quadros de vídeo decodificados da ordem de quadros do fluxo de bits 500, antes de serem apresentados. Especificamente, como pode ser visto na figura 5, usando um quadro-Br de referência (por exemplo, Br3) entre pares consecutivos de quadros IeP (quadros I/P) ou pares consecutivos de quadros PeP (quadros P/P), o atraso de apresentação aumenta um em relação ao atraso de apresentação da figura 4. Deve ser notado que o valor do atraso de apresentação da figura 5 pode aumentar sem limite, à medida que mais quadros-Br de referência fiquem dispostos entre quadros consecutivos I/P ou P/P. Na prática, pode ser desejável que alguns decodificadores correntes restrinjam o atraso de apresentação. Por exemplo, à medida aumenta que o atraso de apresentação, também aumenta o número de buffers de quadro de decodificador, daí tornando o decodificador mais caro. Ademais, à medida que aumenta o atraso de apresentação, o decodificador se torna incapaz de operar apropriadamente em uma teleconferência, onde atrasos de apresentação usualmente são inaceitáveis. No entanto, deve ser notado que à medida que mais decodif icadores vão sendo implementados para restringir atrasos, a qualidade de vídeo do fluxo de bits MPEG-4 AVC vai piorando de modo correspondente.

Na figura 5, deve ser apreciado que a ordem de fluxo de bits de vídeo 500 pode ser gerada de maneira similar àquela da ordem de fluxo de bits de video 300. No entanto, a ordem de fluxo de bits de vídeo 500 da figura 5 pode se basear na codificação por estimativa de movimento descrita acima com referência à ordem de quadros de apresentação de vídeo 200 da figura 2. A figura 6 é um diagrama de fluxo de um método exemplar 600 de acordo com várias configurações da invenção para otimizar a qualidade de fluxo de bits de vídeo em pelo menos uma restrição de decodificador. O método 600 inclui processos exemplares de várias configurações da invenção que podem ser executados por processadores e componentes eletrônicos sob controle de instruções (ou códigos) executáveis e legíveis por computador, por exemplo, software. As instruções (ou códigos) executáveis e legíveis por computador podem residir, por exemplo, em dispositivos de armazenamento de dados, tal como uma memória volátil ou não-volátil e/ou um dispositivo de armazenamento de dados de massa utilizáveis por computador. No entanto, as instruções (códigos) legíveis e executáveis por computador podem ser localizadas em qualquer tipo de meio legível por computador. Embora operações específicas sejam descritas no método 600, tais operações são apenas exemplares. O método 600 pode incluir outras operações e/ou variações de operações, como mostrado na figura 6 e, ademais, a seqüência de operações do método 600 pode ser modificada. Deve ser notado que as operações do método 600 podem ser executadas manualmente, por software, por firmware, por hardware, ou combinação destes.

Especificamente, o método 600 pode incluir determinar pelo menos uma restrição associada a decodificador de vídeo. Pode ser determinado o número máximo de quadros-B de referência que pode ser utilizado para codificar um conteúdo de vídeo. Deve ser notado que o número máximo pode se basear em pelo menos uma restrição associada ao decodificador de vídeo. Pelo menos uma característica de video pode ser detectada no conteúdo de vídeo e pelo menos uma característica de vídeo também pode ser usada para codificar um conteúdo de vídeo.

Na operação 602 da figura 6, pelo menos uma restrição pode ser determinada associada ao decodificador de vídeo. Deve ser notado que a operação 602 pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações o decodificador de vídeo pode incluir, mas não se limitando a estes, uma pluralidade de buffers de quadro. Em várias configurações, a restrição pode ser uma ou mais das seguintes, mas não se limitando a estes: igual ao número de buffers da pluralidade de buffers de quadro incluídos pelo decodificador de vídeo; igual a um atraso de quadro de apresentação admissível associado ao decodificador de vídeo. Em várias configurações, deve ser notado que o decodificador de vídeo pode informar um decodificador de vídeo quantos buffers de quadro o decodificador deve decodificar. Deve ser salientado que, em algumas situações, o atraso de quadro de apresentação não é realmente um problema. Por exemplo, em várias configurações, o atraso de apresentação do play-back de um DVD usualmente não é problema. No entanto, para uma atividade interativa, tal como comunicação, tipo por videotelefonia ou videoconferência, o atraso pode ser um problema sério. Deve ser notado que atrasos de apresentação e/ou buffers de referenciamento de movimento podem ser relacionados à quantidade de buffers de quadro usada na decodificação. Tais atrasos exercem um pequeno efeito sobre o fluxo de bits MPEG-I e MPEG-2, porque estes empregam valores pequenos, contudo no caso de MPEG-4 AVC, os valores podem ser grandes demais para uma implementação prática, o que os torna uma variável de projeto importante. No mercado de vídeos digitais, tal como players DVD, os decodificadores são destinados às massas, e, por conseguinte, seu custo deve ser baixo para prover boa lucratividade. Memórias em forma de buffers de quadro - são relativamente caras, dai a limitação de buffers de apresentação e/ou referenciamento de movimento é tipicamente determinada na parte de decodificação (por exemplo, players DVD) . Tais restrições de hardware de decodificadores podem ter implicações com respeito à qualidade de video do fluxo de bits MPEG-4 AVC. Assim, o método 600 pode empregar valores de parâmetro pré-ajustados, e então determinar como o fluxo de bits de video pode ser otimizado na parte de codificação. Deve ser notado que a operação 602 pode ser implementada de maneira similar àquela descrita aqui, mas não se limitando a esta.

Na operação 604, pode ser determinado o número máximo de quadros-B de referência que pode ser usado para codificar um conteúdo de video. Deve ser notado que o número máximo pode se basear na restrição associada ao decodificador de video. Deve ser entendido que a operação 604 pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações, o número máximo pode ser, mas não se limitando a, igual ao número de buffers da pluralidade de buffers de quadro menos dois, e/ou igual ao atraso de quadro de apresentação admissível associado ao decodificador de vídeo menos um. Especificamente, dado um número N de buffers de quadro de referência de movimento, o número máximo de quadros-Br é N-2. Dado D para o atraso de quadro de apresentação,

D-I é o número máximo de quadros-Br. Assim, o número final de quadros-Br será o valor menor de {N-2, D-1}. No entanto, deve ser entendido que N-2 ou D-I podem ser usados como número máximo para operação 604. Deve ser entendido que, uma vez MPEG-4 AVC permita quadros-B de referência (quadros-Br), é desejável usar tantos quadros- Br quanto possível entre pares I/P consecutivos da estrutura de referência a movimento de codificação. Como mencionado, o número máximo de quadros-Br é determinado por ambos, atraso de apresentação por decodificação e buffers disponíveis de referência a movimento por decodif icação. Deve ser notado que a operação 604 pode ser implementada de maneira similar àquela descrita aqui, mas não se limitando a esta.

Na operação 606 da figura 6, pelo menos uma característica de vídeo pode ser detectada no conteúdo de vídeo. Deve ser apreciado que a operação 606 pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações, a operação 606 pode ser implementada de maneira similar àquela descrita nesta, mas não se limitando a esta. Na operação 608, pelo menos uma característica de vídeo também pode ser usada para codificar um conteúdo de vídeo. Deve ser entendido que a operação 608 pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações, a operação 608 pode ser implementada de maneira similar àquela descrita nesta, mas não se limitando a esta.

A figura 7 é um diagrama de fluxo de um método 700 exemplar, de acordo com várias configurações da invenção, para adaptar a codificação de um conteúdo de vídeo com base em pelo menos uma característica de vídeo do conteúdo de vídeo. O método 700 inclui processos exemplares de várias configurações da invenção que podem ser executados por processadores e componentes eletrônicos sob controle de instruções (códigos) legíveis e executáveis por computador, i.e. software. As instruções (códigos) legíveis e executáveis por computador podem ser localizadas, por exemplo, em um dispositivo de armazenamento de dados, tal como uma memória volátil ou não-volátil e/ou dispositivos de armazenamento de massa que possam ser usados em computador. Contudo, as instruções (códigos) legíveis e executáveis por computador podem usar qualquer tipo de meio legível por computador. Conquanto operações específicas tenham seguido descritas no método 700, tais operações têm um caráter meramente exemplar. O método 700 pode não incluir todas operações ilustradas e/ou variações das operações mostradas na figura 7. Ademais, a seqüência das operações do método 700 pode ser modificada. Deve ser notado que as operações do método 700 podem ser realizadas manualmente, por software, por firmware, por hardware, ou uma combinação destes.

Especificamente, o método 700 pode incluir detectar pelo menos uma característica de vídeo no conteúdo de vídeo. A codificação do conteúdo de vídeo pode se basear em pelo menos uma característica de vídeo para melhorar a qualidade de vídeo do conteúdo de vídeo. O método 700 pode incluir determinar uma restrição associada ao decodificador de vídeo, sendo que tal codificação também pode se basear na restrição. Deve ser entendido que

0 método 700, em várias configurações, pode ser usado para determinar as melhores localizações de quadro-Br na

estrutura de referência de movimento de codificação.

Por exemplo, dado um Br entre dois I/P consecutivos, (assumindo N= 3 e D= 2, como acima) as localizações possíveis de Br serão:

wP B Br B Ρ", "P Br B B P", e "Ρ B B Br P" O fluxo de bits deve usar a estrutura que dê a melhor qualidade de vídeo. O resultado vai depender das características de vídeo, tal como quantidade de movimento entre quadros, mudanças de cenas, oclusão de objeto, etc.. Como exemplo de quão adaptativo Br pode ser usado com respeito a qualidade de vídeo em mudanças de cena, toma-se a estrutura mais simples I Br B P ou

1 B Br P. 0 I Br B P pode ser escolhido, se a mudança de cena de conteúdo seguir imediatamente depois do quadro-I (daí, tornando o quadro-I basicamente inútil para

estimativa de movimento) , ou I B Br P, se a mudança de cena de conteúdo ocorrer logo antes do quadro-P (daí, tornando o quadro-P basicamente inútil para estimativa de movimento).

Na operação 702 da figura 7, pelo menos uma característica de vídeo pode ser detectada no conteúdo de vídeo. Deve ser notado que a operação 702 pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações, as características de vídeo na operação 702 podem ser, mas não se limitando a estes, pelo menos uma mudança de cena de conteúdo no conteúdo de vídeo, pelo menos um objeto ocluído, uma quantidade de movimentos entre pelo menos dois quadros do conteúdo de vídeo, etc.. Em várias configurações, pelo menos uma característica de vídeo pode ser implementada gerando o fluxo de bits com base em diferentes padrões de referência de movimento (por exemplo) e escolher a que produza o menor número de bits. Em várias configurações, pelo menos uma característica de vídeo pode ser implementada na parte do codificador por codificação, e então decodificando o conteúdo de vídeo, e comparando um vídeo decodificado diferente com o vídeo original. Então um parâmetro pode ser usado para comparar os vídeos decodificados, e escolher o mais apropriado. Deve ser entendido que a operação 702 pode ser implementada de maneira similar àquela descrita nesta, mas não se limitando a esta. Na operação 704, a codificação do conteúdo de vídeo pode se basear em pelo menos uma característica de vídeo para melhorar a qualidade visual do conteúdo de vídeo. Deve ser entendido que a operação 704 pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações, pelo menos uma característica de vídeo pode ser usada para determinar a estrutura de quadro de referência a movimento, que resulta no uso de tantos quadros de referência quanto possível para estimar/ prever movimentos e codificar quadros-Br e quadros-B. Deve ser notado que a operação 704 pode ser implementada de maneira similar àquela descrita nesta, mas não se limitando a esta.

Na operação 706 da figura 7, pelo menos uma restrição pode ser determinada associada a um decodificador de vídeo, sendo que a codificação da operação 704 também pode se basear nesta restrição. Deve ser apreciado que a operação pode ser implementada em uma ampla variedade de modos. Por exemplo, em várias configurações, a operação 706 pode ser implementada de maneira similar àquela descrita nesta, mas não se limitando a esta. Deve ser notado que os métodos 600 e 700 podem ser combinados em uma ampla variedade de modos. Por exemplo, a codificação de um conteúdo de vídeo pode se basear no número de buffers de quadro de referência a movimento, atraso do quadro de apresentação desejado, e/ou modificando a codificação com base em pelo menos uma característica de vídeo do conteúdo de vídeo. Deve ser notado que cada um destes pode ser usado individualmente ou em combinação, mas que se ressalte que usando todos em conjunto se produz um resultado melhor que se usando apenas um deles. Por exemplo, pode se escolher o número máximo de quadros-Br, mas o padrão da estrutura de referência de movimento pode ser fixo. Ou ao invés de usar o número máximo de quadros-Br, o padrão da estrutura de referência de movimento pode ser adaptativo. A figura 8 é um diagrama de blocos ilustrando um sistema codificador/ decodificador 800 de acordo com várias configurações da invenção. O sistema 800 pode incluir, mas não se limitando a, buffers de quadros 804, e buffers de quadros de movimento 805 que podem ser acoplados ao vídeo de entrada 802 e ao codificador de vídeo 806. Deve ser notado que os buffers de quadro 804 e 805 podem ser implementados com uma ou mais memórias de buffer de quadro. O codificador de vídeo 8 06 pode ser acoplado a um decodificador de vídeo 808. O decodificador de vídeo 808 pode ser acoplado a buffers de quadro de movimento 809 e buffers de quadro de saída 810, que podem ser acoplados para produzir um vídeo 812. Deve ser notado que buffers de quadro 809 e 810 podem ser implementados com uma ou mais memórias de buffer de quadro. Deve ser entendido que o decodificador de vídeo 808 pode ser acoplado aos buffers de quadro 809 e 810 e ao codificador de vídeo 806. Assim, o decodificador de vídeo 808 pode informar ou transmitir o número de buffers de quadro que o mesmo pode usar para decodificar para o codificador de video. Deve ser entendido que o sistema 800 pode ser implementado com menos elementos e/ou elementos adicionais em relação àqueles mostrados na figura 8. Deve ser notado que codificador de video 806 e decodificador de video 808, respectivamente 806 podem ser implementados com software, firmware, hardware, ou combinação destes. Na figura 8, deve ser apreciado que o sistema 800 pode ser usado para determinar a estrutura de referência a movimento para produzir um fluxo de bits de qualidade de video melhor ou ótimo similar em qualquer maneira àquele descrita neste, mas não se limitando a este. Em várias configurações, o sistema 800 pode ser implementado em uma variedade de modos. Por exemplo, o sistema 800 pode ser implementado como combinação de player DVD e codificador DVD. Especificamente, em várias configurações, o decodificador de video 8 08 e os buffers de video 809, 810 podem ser implementados como parte de um sistema codificador DVD. No entanto, deve ser notado que o codificador de video 806 deve ter ciência das restrições do decodificador de video 808 e dos buffers de quadro 809 e 810 do player DVD, para determinar a estrutura de referência a movimento a ser usada para codificar o vídeo 802.

As descrições das várias configurações especificas, de acordo com a invenção, foram apresentadas apenas com propósito de ilustração e descrição, sem, contudo, limitar a invenção àquelas formas descritas, e deve ser aparente àqueles habilitados na técnica que muitas modificações e variações poderão ser introduzidas à luz dos ensinamentos ministrados por esta especificação. A presente invenção, ademais, será construída de acordo com as reivindicações e seus equivalentes.

35

Claims

1.Método de codificação de vídeo, caracterizado pelo fato de compreender as etapas de: determinar (602) a restrição associada a um decodificador (808); e determinar (604) um número máximo de quadros-B de referência que possa ser usado para codificar um conteúdo de vídeo (802), sendo que o citado número máximo se baseia na citada restrição associada ao citado decodificador.

2.Método, de acordo com a reivindicação 1, caracterizado pelo fato de o citado decodificador compreender uma pluralidade de buffers de quadro (809).

3.Método, de acordo com a reivindicação 2, caracterizado pelo fato de a citada restrição ser igual ao número de buffers da citada pluralidade de buffers de quadro.

4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de o citado número máximo ser igual à citada restrição menos dois.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de a citada restrição ser igual a um atraso de quadro de apresentação admissível associado ao citado decodificador.

6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de o citado número máximo ser igual à citada restrição menos um.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de adicionalmente compreender a etapa de: detectar (606) uma mudança de cena de conteúdo no citado conteúdo de vídeo.

8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de adicionalmente compreender a etapa de: utilizar (608) a citada mudança de cena de conteúdo para codificar o citado conteúdo de vídeo.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de adicionalmente compreender as etapas de: detectar (606) uma quantidade de movimento entre pelo menos dois quadros do citado conteúdo de vídeo.

10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de adicionalmente compreender: detectar (606) um objeto ocluído no conteúdo de video.