BR112012009533A2

BR112012009533A2 - método para decodificar um fluxo de bit.

Info

Publication number: BR112012009533A2
Application number: BR112012009533-1A
Authority: BR
Inventors: Robert A. Cohen; Anthony Vetro; Huifang Sun
Original assignee: Mitsubishi Electric Corporation
Priority date: 2009-10-21
Filing date: 2010-09-16
Publication date: 2020-07-07
Also published as: DE112010004109T5; EP2491716A2; CN102763410B; WO2011048909A3; BR112012009533B1; KR20120079137A; PL2491716T3; US20110090952A1; DE112010004109B4; WO2011048909A2; KR101351714B1; EP2491716B1; MX2012004642A; JP5409909B2; ES2793499T3; CN102763410A; JP2013507794A; RU2486691C1

Abstract

MÉTODO PARA DECODIFICAR UM FLUXO DE BIT. É descrito um fluxo de bit que inclui uma sequência de quadros. Cada quadro é particionado em blocos codificados. Para cada bloco, um conjunto de caminhos é determinado em um ângulo da transformada determinado a partir de um índice de transformadda no fluxo de bit. Coeficientes de transformada são obtidos a partir do fluxo de bit. Os coeficientes de transformada incluem um coeficiente de CC para cada caminho. Uma transformada inversa é aplicada nos coeficientes de transformada para produzir um vídeo decodificado.

Description

«2 «puaqTEEECOOQqí|COCGELOQCCECEESSESSEGCEESSSSSTELFEE..S.SSSSEEEMEMMMMLMM 1 “MÉTODO PARA DECODIFICAR UM FLUXO DE BIT”

CAMPO DA INVENÇÃO A invenção diz respeito, no geral, a codecs de vídeo e, mais particularmente, a transformadas direcionais usadas durante a codificação e a E 5 — decodificação de blocos de pixéis em quadros de vídeo e imagens. - FUNDAMENTOS DA INVENÇÃO Codecs Um codec de vídeo digital comprime e descomprime um vídeo. Codecs podem ser encontrados em equipamento de difusão, televisões, — computadores pessoais, gravadores e reprodutores de vídeo, satélites, bem como dispositivos móveis e em linha. Codecs particionam cada quadro do vídeo em blocos de pixéis e processam os blocos um de cada vez.

Durante codificação, redundâncias espacial e temporal são eliminadas para reduzir a taxa de dados. A invenção preocupa-se, particularmente, com as transformadas que são usadas durante a codificação e a decodificação de vídeos. A transformada mais comum é uma transformada discreta de cosseno (DCT), da forma especificada nos padrões MPEG e H.264/AVC. A DCT converte intensidades de pixel no domínio espacial em coeficientes de transformada no domínio de frequência. Então, os coeficientes são quantizados e codificados por entropia para produzir um fluxo de bit comprimido. O fluxo de bit pode ser armazenado em uma mídia (DVD) ou comunicado diretamente ao decodificador. Durante a decodificação, as etapas são invertidas. Depois da decodificação por entropia e da quantização inversa, uma transformada inversa é aplicada para recuperar o vídeo original.

No geral, o número de decodificadores, por exemplo, produtos ao consumidor em todo o mundo, excede muito o número de codificadores. Portanto, para habilitar a interoperabilidade, somente o fluxo de bit e o processo de decodificação são padronizados. Tipicamente, o processo de codificação não é especificado em um padrão.

Transformadas A DCT inclui uma DCT 1D horizontal aplicada em cada linha de pixéis no bloco e uma DCT 1D vertical aplicada em cada coluna. Para blocos com recursos predominantemente horizontais ou verticais, a DCT 2D é ' 5 eficiente. Entretanto, a DCT 2D não transforma eficientemente blocos que - contêm recursos que não são horizontais ou verticais, isto é, recursos direcionais, em que direcional diz respeito a orientações diferentes de horizontal e vertical.

No geral, há dois métodos que implementam transformadas direcionais. O primeiro método aplica as DCTs 2D ao longo de caminhos pré- definidos no bloco. O segundo método aplica um filtro direcional, seguido pela DCT 2D. Tipicamente, um filtro de ventilador particiona o bloco em um conjunto de sub-bandas direcionais. Transformadas são subsequentemente aplicadas em cada sub-banda. Transformadas direcionais, tais como contourlets, são implementadas desta maneira. Contourlets transformam eficientemente quadros contêm regiões uniformes separadas por limites curvos.

Transformadas direcionais foram usadas para complementar a DCT 2D ou tipo de transformada DCT existentes para métodos de codificação

20. de vídeo existentes, tal como H.264/AVC. Durante o processo de codificação, o codificador H.264/AVC seleciona a partir de um conjunto de transformadas, tal como a transformada 2D convencional, e de um conjunto de transformadas direcionais. Então, a única transformada que produz o melhor desempenho, em um sentido de taxa / distorção, é selecionada para a codificação e a — decodificação.

Depois da transformada, melhorias poder ser feitas na codificação por entropia dos dados correspondentes pela alavancagem da estatística dos dados direcionais. No H.264/AVC, um codificador aritmético binário adaptável ao contexto (CABAC) ou um codificador de comprimento

—————-———C q aq—.——.occss-xasCcsssssssss]ssss= 3 variável adaptável ao contexto (CAVLC) são usados para codificar por entropia diferentes tipos de dados. Os símbolos inseridos são mapeados em palavras-códigos binárias e comprimidos por um codificador aritmético. Contextos são usados para adaptar a estatística usada pelo codificador — aritmético. Cada contexto armazena o símbolo mais provável (tanto O quanto - 1), e a probabilidade correspondente.

O padrão H.264/AVC é desenhado para usar a DCT 2D. Métodos existentes podem usar transformadas direcionais para aumentar o desempenho dos codificadores H.264/AVC. Entretanto, estes métodos ainda geram e codificam a decisões e dados relacionados a direção usando a estrutura H.264/AVC convencional. Assim, há uma necessidade de representar eficientemente informação direcional, bem como uma necessidade de aumentar as eficiências de codificação.

O propósito da transformada é converter um bloco de valores de pixel variáveis em um bloco de coeficientes para o qual a maior parte dos coeficientes é zero. No caso de DCT, um conjunto de arranjo dos pixéis é convertido em um conjunto de coeficientes da DCT que representa dados de baixa frequência até alta frequência no bloco. A frequência mais baixa é o coeficiente de CC, que diz respeito ao valor médio de todos os pixéis convertidos pelas transformadas. O próximo coeficiente representa a magnitude da onda cosseno de frequência mais baixa que está contida no sinal. Coeficientes subsequentes correspondem a frequências crescentes. Se os dados forem bem adequados para a DCT, então, muitos dos coeficientes de frequência são zero, e não são necessários pelo decodificador para reconstruir —ovídeo.

Um problema com transformadas direcionais existentes, que usam um conjunto de transformadas 1D paralelas, é que o comprimento de cada transformada 1D pode variar, dependendo da posição da transformada no bloco. Por exemplo, para transformar um bloco 8 x 8 usando uma

—:“ Cs .0(.Q>...s!.==—— 4 transformada direcional orientada em 45 graus, a transformada 1D ao longo da diagonal principal do bloco tem oito elementos, a 1D adjacente tem sete elementos e assim por diante para transformadas de um ou dois elementos, que são ineficientes. Uma transformada de um elemento é, na melhor das É 5 — hipóteses, um escalonamento de um valor de pixel, que faz pouco para - melhorar a eficiência de codificação. Assim, há uma necessidade de um método para transformar blocos usando estas transformadas de uma maneira que não sofre das ineficiências exibidas para pequenos caminhos de transformada, ainda mantendo as propriedades direcionais da transformada original.

Também há uma necessidade de um método para aplicar um segundo conjunto de transformadas na saída do primeiro conjunto de transformadas, de uma maneira que aumente adicionalmente a eficiência de codificação sem degradar o desempenho, da maneira que uma DCT 2D faria, quando os dados estiverem incorretos na segunda direção ortogonal.

Além do mais, há uma necessidade de versões particionadas desta transformada que são adequadas para blocos residuais de previsão de codificação que são comumente encontrados em codificadores preditivos, tal como H.264/AVC.

— SUMÁRIO DA INVENÇÃO Um fluxo de bit inclui uma sequência de quadros. Cada quadro é particionado em blocos codificados. Para cada bloco, um conjunto de caminhos é determinado em um ângulo da transformada determinado a partir de um índice de transformada no fluxo de bit. Coeficientes de transformada — são obtidos a partir do fluxo de bit. Os coeficientes de transformada incluem um coeficiente de CC para cada caminho. Uma transformada inversa é aplicada nos coeficientes de transformada para produzir um vídeo decodificado.

DESCRIÇÃO RESUMIDA DOS DESENHOS

———————————s2s s

A figura 1A é um diagrama de blocos de um sistema de vídeo de acordo com modalidades da invenção;

a figura 1B é um diagrama de blocos de um decodificador de acordo com modalidades da invenção;

Í 5 a figura IC é um diagrama de blocos de um codificador de - acordo com modalidades da invenção;

a figura 2 é um diagrama de blocos de um módulo de processamento direcional de sub-bloco e partição de acordo com modalidades da invenção;

a figura 3 é um diagrama de blocos de um módulo de decisão de tipo e direção de transformada de acordo com modalidades da invenção;

a figura 4 é um diagrama de blocos do módulo de inferência de direção de acordo com modalidades da invenção;

a figura 5 é um diagrama de blocos de um módulo de previsão

— direcional de acordo com modalidades da invenção;

a figura 6 é um diagrama de blocos de um módulo de codificação do índice direcional de acordo com modalidades da invenção;

a figura 7 é uma representação esquemática de uma primeira modalidade do módulo codificador de índice direcional de acordo com modalidades da invenção;

a figura 8 é uma representação esquemática de uma segunda modalidade do módulo codificador de índice direcional de acordo com modalidades da invenção;

as figuras 9-10 são fluxogramas para um módulo de geração

— de contexto de acordo com modalidades da invenção;

as figuras 11A-B são representações esquemáticas de caminhos para transformadas direcionais primária e secundária de acordo com modalidades da invenção;

as figuras 12A-F são diagramas de blocos para transformadas

I— —— .--——>c[ ——..-"———— 6 direcionais primárias para blocos de pixéis 8 x 8 de acordo com modalidades da invenção; e a figura 13 é um diagrama de blocos de um conjunto de transformadas direcionais particionadas de acordo com modalidades da i 5 invenção. - DESCRIÇÃO DAS MODALIDADES Codec A figura 1A mostra um sistema de vídeo de acordo com modalidades desta invenção.

O sistema inclui um codificador 10 e um decodificador 20, em combinação um codec 30. O codec pode ser implementado em processadores que incluem memórias e interfaces de entrada / saída conhecidos na tecnologia.

O codificador comprime um vídeo de entrada 1 em um fluxo de bit 15. O codificador aplica transformada, quantização e codificação por entropia no vídeo de entrada da forma descrita com detalhes a seguir.

Para garantir que o vídeo de saída reflita precisamente o vídeo de entrada, o decodificador 20 realiza as etapas inversas em uma ordem inversa.

Além do mais, tipicamente, o codificador inclui o equivalente do decodificador para prover realimentação para o processo de codificação.

Em virtude de todas as variáveis do codificador estarem prontamente disponíveis no codificador, o decodificador no codificador é relativamente simples.

A invenção preocupa- se particularmente com as transformadas direcionais inversas 25. Da forma descrita a seguir, e mostrada na figura 11B, as transformadas podem incluir transformadas primárias e secundárias.

Durante a codificação, a transformada primária opera nas intensidades de pixel para determinar coeficientes de transformada, por exemplo, coeficientes CC e CA.

A transformada secundária opera somente nos coeficientes de CC 1160 para produzir coeficientes de transformada secundários 1170 para reduzir adicionalmente redundâncias de dados.

As transformadas inversas incluem

—— aa—— —— ec——ww . .pp—— ue 7 uma transformada secundária inversa 26 para reconstruir os coeficientes de CC, e as transformadas primárias inversas 27 recuperam as intensidades de pixel para o vídeo decodificado. Para garantir a interoperabilidade entre o codificador e o — decodificador, tipicamente, padrões de codificação de vídeo especificam - somente o fluxo de bit e o processo de decodificação. Entretanto, entende-se que uma descrição do processo de codificação, da forma detalhada a seguir, é suficiente para que versados na técnica deduzam exatamente o processo de , decodificação inverso. Decodificador A figura 1B mostra partes relevantes deste decodificador 20. O decodificador recebe o codifica o fluxo de bit 15 e a informação 160. O fluxo de bit é apresentado a um decodificador por entropia CABAC 191, que produz coeficientes de transformada quantizados 192 de acordo com a informação. Para o primeiro bloco, a informação pode ser um contexto inicial. Subsequentemente, a informação diz respeito a blocos previamente processados (decodificados).

Os coeficientes são inversamente quantizados 24 e inversamente transformados 25, de forma que os blocos decodificados formem o vídeo de saída ou decodificado 2. A transformada pode ser uma transformada inversa discreta de cosseno (IDCT). As transformadas podem incluir um transformada inversa discreta de cosseno 2D e um conjunto de transformadas direcionais inversas. Transformadas secundárias inversas também podem ser aplicadas da forma descrita a seguir com mais detalhes.

A informação 160 é apresentada ao módulo de geração de contexto (CGM) do decodificador, que encaminha contextos selecionados 921-922 ao decodificador CABAC. Indicadores de transformada previstos (PTD 501 dos blocos previamente decodificados 160 são apresentados a um módulo de decodificação do índice direcional (DIDM) 601, que gera um

= 8 indicador de transformada 602 para a transformada inversa 25. AÀ transformada inversa pode usar qualquer uma das transformadas inversas, por exemplo, DCTs inversas horizontal 1D e vertical 1D (IDCT 2D) 41, um conjunto de transformadas direcionais inversas 42 e quaisquer outras á 5 — transformadas inversas conhecidas 43.

- Percebe-se que padrões de codificação de vídeo atuais usam somente uma única transformada pré-especificada, de forma que um índice para diferentes transformadas não seja necessário. Também, padrões atuais não consideram informação complementar relacionada a blocos previamente —decodificados durante a transformada inversa. Codificador A figura 1C mostra os detalhes relevantes do codificador 10. O codificador usa transformadas direcionais de acordo com modalidades da invenção. As etapas do método mostradas podem ser realizadas em um — processador de um codificador. O processador inclui memória e interfaces de entrada / saída, da forma conhecida na tecnologia.

A entrada no codificador é um bloco 101 de um quadro de um vídeo a ser codificado. Da forma aqui definida, blocos incluem macroblocos, sub-blocos e partições de bloco, no geral, um arranjo de pixéis. Na maioria das aplicações de codificação, as operações são preferivelmente realizadas nos macroblocos e nos sub-blocos. O bloco pode conter dados de vídeo originais, resíduos provenientes de uma previsão com compensação espacial ou de movimento dos dados de vídeo, ou outros dados relacionados a textura a serem transformados. O bloco pode ser particionado em sub-blocos por um —módulode processamento de partição direcional de sub-bloco (SPDPM) 200. Aqui, os sub-blocos são processados um de cada vez como "blocos".

Cada bloco é transformado usando transformadas selecionadas adicionalmente um transformada discreta de cosseno bidimensional convencional (DCT 2D) 120, um conjunto de transformadas direcionais 130

O Ltecqc«cqcEq—... 9 ou outras transformadas, no geral, transformadas 125. A saída da transformada é medida por um módulo de decisão de tipo e direção de transformada (TTDDM) 300. O TIDDM usa uma métrica, tal como um custo de taxa / distorção, para determinar qual das transformadas provê o melhor í 5 — desempenho. O custo de taxa / distorção é uma soma de uma taxa de - codificação e um escalar multiplicado pela distorção. O tipo e a direção da transformada com um custo mínimo são selecionados para a transformada. O desempenho pode ser, mas sem limitações, uma medida da eficiência de codificação. A ideia é que a transformada que tem o melhor desempenho é — selecionada para a codificação, e a transformada selecionada é sinalizada ao decodificador como em um índice 16 no fluxo de bit.

O TTDDM também pode receber entrada a partir de um módulo de inferência de direção (DIM) 400. A entrada no DIM é uma coleção de dados 160 que indica as transformadas e direções usadas para blocos — adjacentes previamente processados. A saída do DIM é um valor ou conjunto de valores correspondentes aos dados 160, tais como direções preferidas 431. O TTDDM usa esta informação para tomar a decisão em relação a quais transformadas e direções são usadas para codificar o bloco 101. O TIDDM também pode encaminhar um indicador de particionamento final (FPI) 141 no —SPDPM como um guia para o particionamento. O módulo TTDDM produz o bloco transformado 102 e um indicador de transformada selecionado (STI) 145 que representa a transformada e a direção selecionadas.

Então, o bloco transformado 102 pode ser apropriadamente codificado 150 usando codificação por entropia para produzir um bloco de — saída codificado 17.

O módulo de previsão de direção (DPM) 500 também recebe informação a partir do DIM e informação relacionada aos blocos previamente processados 160. O DPM usa esta informação para gerar um indicador de transformada previsto (PTI) 501. O PTI é inserido em um módulo de

I— w— codificação do índice direcional (DIEM) 600, juntamente com o STI 145. O DIEM converte a representação em uma palavra-código binária 603 para codificação por um codificador aritmético binário adaptável ao contexto (CABAC) 190. É 5 Os contextos usados pelo CABAC são determinados por um - módulo de geração de contexto (CGM) 900. A entrada no CGM é informação sobre as transformadas e direções usadas por blocos adjacentes previamente codificados do DIM, ou informação já codificada do bloco atual. O CGM produz contextos para que o CABAC codifique o índice direcional binário. O 10 —CABAC transmite um índice de transformada codificado 16. Módulo de Processamento Direcional de Sub-bloco e Partição A figura 2 mostra detalhes do SPDPM 200. Os pixéis no bloco de entrada 101 podem representar informação relacionada a vídeo, tais como dados de quadro de vídeo, resíduos de previsão de movimento compensado e resíduos de previsão espacial. O SPDPM particiona o bloco em partições 210, no geral, arranjos de pixéis. As transformadas convencionais ou direcionais 125 são aplicadas nas partições. O indicador de particionamento final 141 produzido pelo TIDDM indica quais partições usar para o melhor desempenho. Módulo de Decisão de Tipo e Direção da Transformada A figura 3 mostra o TIDDM 300 para selecionar as melhores transformada e direção para usar para transformar o bloco 210. Um seletor de transformada 310 escolhe quais, dentre tipos de transformada disponíveis, devem ser enviadas ao módulo de medição 320, que determina uma métrica —321,tal como o custo de taxa / distorção (R/D), que é usado para selecionar a transformada. O seletor de transformada pode ser influenciado pelo DIM

400. O DIM, por exemplo, pode examinar blocos adjacentes para determinar quais direções são mais prováveis de desempenhar bem para o bloco atual.

Então, a medição pode ser limitada a um subconjunto de direções disponíveis, assim, reduzindo o tempo de processamento. Depois que estas medições forem usadas para determinar as melhores direção ou transformada, o indicador de transformada selecionado 145 e o correspondente bloco À 5 — transformado 102 são transmitidos. Se o TTDDM estiver operando em uma . seleção de partições, então, o indicador de particionamento final 141 que produz o melhor desempenho também é transmitido ao SPDPM. Módulo de Inferência de Direção A figura 4 mostra o DIM 400. O módulo de seleção de bloco usaos blocos previamente processados e informação complementar 160 para determinar possíveis direções da transformada 411 para o bloco atual. As possíveis direções da transformada são usadas para determinar um conjunto de direções preferidas 431. Este é subsequentemente usado pelo DPM para reduzir o número de bits necessários para representar esta informação, o que resulta em uma maior eficiência no codificador e no decodificador.

Um módulo de seleção de bloco (BSM) 410 realiza seleção a partir dos blocos 160 com base em critérios, tal como uma distância dos blocos selecionados até o bloco atual. O módulo de decisão de confiabilidade (RDM) 420 estima a confiabilidade dos blocos selecionados. O módulo RDM — pode usar informação de textura, a posição e outros dados do bloco 412. Um fator de confiabilidade 421 de cada um dos blocos selecionados e a correspondente direção da transformada 411 são alimentados no módulo de determinação de direção preferencial (PDDM), em que as direções preferidas 431 são identificadas.

—Módulode Previsão Direcional A figura 5 mostra o DPM 500 para determinar o indicador de transformada previsto 501 para o DIEM 600 e o CGM. Um previsor de primeiro estágio 510 seleciona candidatos 515 a partir das direções preferidas

431. Um previsor de segundo estágio 420 usa estes candidatos e a informação

EEE Eae e re asse 12 complementar codificada 160 para selecionar o indicador de transformada preferido 501. Para codificar resíduos de textura transformados, o indicador de direção da transformada selecionado 145 pode ser correlacionado com um í 5 — previsor de textura, tal como um modo intraprevisão usado em H.264/AVC. - Portanto, a informação complementar alimentada no DPM pode incluir, por exemplo, o modo intraprevisão para selecionar o indicador 501. Módulo de Codificação do Índice Direcional A figura 6 mostra o DIEM 600. A entrada inclui o indicador de transformada selecionado 145 e o indicador de transformada previsto 501, que são mapeados 605-606 para uma representação significativa das direções.

Diferentes mapeamentos 605-606 podem ser usados para os indicadores de transformada selecionados e previstos.

Uma diferença entre as duas direções é determinada 610 como uma diferença do indicador de transformada 612. Em virtude de a previsão ser uma aproximação razoável da direção da transformada selecionada, pequenas diferenças de ângulo devem resultar em palavras-códigos similares que podem ser efetivamente codificadas.

A diferença é binarizada 620 na palavra-código 603, que é codificada por entropia pelo CABAC 190 como o índice de transformada codificado 16. Entende-se que qualquer codificador por entropia adaptável ao contexto pode ser usado, bem como codificação com comprimento variável (VLC). O cálculo da diferença pode ser desviado 611 da forma descrita a seguir.

A figura 7 mostra esquematicamente uma primeira modalidade do DIEM 600. Por exemplo, há oito possíveis direções da transformada 701 e — correspondentes previsões 702. A direção da transformada é selecionada pelo i indicador de transformada selecionado 145, e a previsão é selecionada pelo PTI 501. Os indicadores de transformada são mapeados to um código de Gray, no qual direções adjacentes diferem somente em um bit.

As palavras- códigos para as direções selecionadas e previstas são comparadas bit a bit

EEE 13 com uma operação OU exclusivo (XOR) 610 para obter a diferença 611. Para um preciso previsor, isto resulta em um fluxo de bit com a maior parte de zeros para uma baixa entropia.

Em virtude de os mapeamentos do indicador 605-606 usarem representações binárias, a binarização 620 não é usada. : 5 A figura 8 mostra uma segunda modalidade do DIEM.

Nesta - modalidade, as direções são representadas por uma sequência de números uniformemente contínua.

A diferença 610 é A=(Is-Ilp+N)modN, em que Iç e Ip são os índices mapeados dos indicadores de direção selecionados e previstos, respectivamente, e N é o número de possíveis direções, por exemplo, oito.

Em virtude de pequenas diferenças serem mais prováveis, a binarização 620 codifica diferenças próximas de zero (0, 1, N-l, 2, N-2, ...) com menos bits.

O cálculo da diferença pode ser desviado 611 e o indicador de transformada mapeado é encaminhado diretamente ao módulo de —Dbinarização 620. Neste caso, o módulo de geração de contexto 900 usa o indicador de transformada previsto para selecionar um contexto apropriado.

Módulo de Geração de Contexto As figuras 9-10 mostram modalidades do CGM 900. O CGM seleciona contextos 921-922 para o CABAC 190. Mais de dois contextos também podem ser selecionados.

Para determinar os contextos, o CGM pode usar a informação de bloco processado preferido 160, o PTI 501 e as direções preferidas 431. Os contextos A e B distinguem precisas direções previstas e previsões imprecisas.

A figura 9 mostra como as direções preferidas 431 são usadas para determinar os contextos.

Uma máxima diferença q é determinada 910 e comparada 920 com um limite pré-determinado T.

Se a diferença for menor que o limite, então, a previsão é precisa no contexto À 921, caso contrário, o contexto B 922 é impreciso.

Por exemplo, se o DIEM for usado, então, os bits alimentados no CABAC são quase todos zeros, e o contexto À é selecionado para se adequar a esta probabilidade.

A seleção de contexto do

I— ——.—w Uw —.V.-"—s—— 14 CGM 900 também pode considerar outros fatores, tal como posição do bit, para decidir entre mais de dois contextos.

A modalidade mostrada na figura 10 considera que o DIEM desvia 611 o cálculo da diferença 610. O indicador de transformada previsto É 5 SO0leum índice posicionali 1001 que representa qual bit do índice 603 deve - ser codificado são inseridos. O PTI 501 é mapeado 1010 para uma palavra- código binária com o mesmo mapeamento do indicador 605 usado no DIEM. Em virtude de ambas as palavras-códigos deverem ser iguais, o bit mais provável do CABAC deve ser igual ao bit atual CW[i] de 1030. Assim, se a comparação 1030 indicar que o bit atual é 1, o contexto A 921, que prefere 1, é selecionado, caso contrário, o contexto B 922, em que 0 é o bit preferido, é selecionado. Transformadas Direcionais Primária e Secundária A figura 11A mostra a transformada direcional de acordo com modalidades desta invenção. Entende-se que, durante a decodificação, a transformada é uma transformada inversa. A transformada (ou sua inversa) opera em um bloco M x N 1100 de pixéis. Com o propósito da transformada, os valores 110 associados com os pixéis podem ser intensidades ou coeficientes de transformada, dependendo do estágio da codificação ou da decodificação.

A transformada inclui um conjunto de transformadas 1D fTo, Ti, .... Tn) 1102, em que N é o número total de transformadas 1D aplicadas no bloco. O comprimento |; da transformada T; indica o número de pixéis nos quais a transformada 1D opera. Assim, as transformadas f To, Ti, ..., Tn1t no — conjuntotêm comprimentos correspondentes flo, 11, ..., In-1t- Cada transformada é aplicada nos pixéis ao longo de um caminho 1102 no bloco. Tipicamente, um caminho inclui um conjunto de pixéis contíguos ou adjacentes. Entretanto, pixéis não contíguos também podem ser incluídos no caminho.

= 15 Da forma mostrada na figura 11B, se os valores dos pixéis no caminho forem coeficientes, então, o primeiro coeficiente para cada caminho é o coeficiente de CC, seguido pelos coeficientes de CA.

Todos os primeiros coeficientes 1150 são coletados em um conjunto de coeficientes de i 5 — transformada secundários (STC) 1170. O primeiro coeficiente secundário no - conjunto é um coeficiente CC secundário (SDC). Durante a decodificação, a transformada direcional secundária 26 pode ser aplicada no conjunto de coeficientes de transformada secundários para reconstruir o coeficiente de CC de cada caminho.

Durante a codificação, o primeiro coeficiente ou coeficiente de ce de cada caminho é descartado depois que o conjunto de coeficientes de transformada secundários 1170 for formado.

Cada caminho é orientado, em relação à direção vertical 1103, em um ângulo da transformada 0 1105, que é determinado pelo índice de transformada direcional.

Como exposto, o índice de transformada, que é determinado durante a codificação, é parte do fluxo de bit a ser decodificado.

Os caminhos para um bloco e transformada em particular são, no geral, orientados na mesma direção.

Os caminhos são gerados como segue.

Um mínimo comprimento do caminho de transformada Lmin 1110 é especificado para o bloco.

Tipicamente, o caminho de transformada começa em um pixel de início 1120 localizado em uma borda (ou canto) do bloco 1100. Como exposto, se os valores para os pixéis forem coeficientes, o valor para o pixel de início é o coeficiente de CC.

O caminho continua ao longo do ângulo 6 até um pixel final 1121 em uma outra borda.

O comprimento do caminho, em pixéis, é m.

Se o pixel de início estiver em uma borda ou canto, então o comprimento m = 1. Se m > Lmin, então, o caminho é considerado completo.

Se o bloco ainda contiver todos os pixéis que não estão em um caminho, então, um novo caminho é iniciado.

O novo caminho pode iniciar em qualquer pixel não

——————>——————— 16 transformado no bloco. Tipicamente, o próximo caminho começa em um pixel adjacente ou próximo do início do caminho prévio, ou o caminho pode iniciar em um canto oposto do bloco, de forma que a distribuição dos comprimentos de caminho no bloco seja substancialmente simétrica. O i 5 — processo continua com a Etapa 2 até que todos os pixéis sejam transformados. - Se m < Lmin, então, o caminho é muito curto, e o processo continua pela inclusão de um pixel adjacente em um pixel previamente processado. Se houver mais de um pixel adjacente, então, outros caminhos no bloco são usados para determinar o caminho atual. Se um pixel não processado estiver disponível, o pixel torna-se parte do caminho, o comprimento do caminho m é incrementado, e o processo continua com a Etapa 2 na direção (180 - O) até que a borda do bloco seja alcançada. Assim, a direção 0 é definida em (180 - 0), efetivamente, uma reversão, antes de continuar com a Etapa 2.

As figuras 12A-C mostram transformadas direcionais para Lnin = 3 e ângulos de 45, 30 e 90 graus, respectivamente. As figuras 12D-F mostram transformadas direcionais para Lmin = 5. Modalidades alternativas são possíveis quando caminhos terminam no interior do bloco em vez de em uma borda.

A transformada inversa 26 opera ao longo dos mesmos caminhos, como exposto, exceto coeficientes de transformada inversa. Por exemplo, se uma DCT 1D for usada para cada caminho, então, a transformada inversa usará o DCT Inversa 1D (IDCT).

Transformadas Direcionais Secundárias A figura 11B mostra a transformada direcional secundária 26. Depois que a transformada direcional primária foi aplicada, a transformada secundária pode ser adaptativamente aplicada em cada bloco ao longo de um caminho que contém os coeficientes iniciais de cada caminho da transformada inicial. Tipicamente, estes coeficientes correspondem aos coeficientes de CC s—"———— s——npcC-p—ps—«<p—q—pn——————-——— Í 17 de uma transformada 1D, tal como a DCT.

A transformada secundária inversa opera ao longo do mesmo caminho, como exposto, exceto coeficientes de transformada secundária inversa. À transformada direcional secundária inversa é realizada antes da ] 5 — transformada direcional inversa durante a decodificação.

. A transformada secundária reduz adicionalmente a redundância nos componentes CC dos coeficientes da transformada direcional. Alternativamente, o componente CC de uma transformada — — direcional pode ser usado para prever o componente CC de uma outra transformada direcional.

Transformadas Direcionais Particionadas A figura 13 mostra uma transformada direcional particionada. Um bloco M X N (8x8) de pixéis 1300 é particionado em duas partições de bloco A e B aproximadamente ao longo de uma linha 1310 com um ângulo de partição q em relação à vertical. O ângulo de partição é perpendicular ao ângulo da transformada 6 1105.

Então, transformadas direcionais são geradas usando as etapas supradescritas, com a restrição de que a partição de bloco A tem um conjunto de caminhos orientado no ângulo 6, e a partição B tem um conjunto de caminhos orientado no ângulo Og. O ângulo primário da transformada direcional 0 é considerado igual a 61. À medida que um caminho é gerado na partição, a linha 1310 se aproxima da borda da partição. Assim, cada pixel na transformada direcional fica tanto na partição A quanto na partição B. Os ângulos 9, e Og podem ser diferentes.

Em uma modalidade da invenção, a transformada direcional secundária é aplicada em ambas as partições B. Para inverter o processo, a transformada secundária inversa é aplicada e, então, as transformadas direcionais inversas são aplicadas independentemente nas partições A e B. Em uma outra modalidade da invenção, a transformada secundária é aplicada

É e es e 18 independentemente em cada partição.

Isto é, qualquer uma de ambas as transformadas secundárias inversas pode ser aplicada antes das transformadas primárias inversas, ou a transformada secundária inversa e a transformada primária inversa podem ser í S aplicadas nas partições independentemente. Esta decisão é tomada . adaptativamente em uma base por bloco. Ordem de Escalonamento e Quantização Depois que as transformadas primárias e secundárias forem concluídas, os coeficientes resultantes são escalonados, ordenados e —quantizados.

O escalonamento dos coeficientes de transformada depende do comprimento m do caminho de cada transformada direcional 1D ou de um local do coeficiente no bloco. Uma transformada 1D de comprimento m tem um fator de escala Sr. Assim, todos os coeficientes no caminho de comprimento m são escalonados por Sm. Tipicamente, o fator de escala é selecionado de forma que as magnitudes dos coeficientes de CC sejam iguais durante a transformação de valores de pixel idênticos. Se uma transformada com comprimento m = 4 transformar quatro pixéis, cada qual com valor v, e uma transformada com comprimento m = 5 transformar cinco pixéis, cada com valor v, então, o fator de escala S,, é selecionado de forma que ambas as transformadas transmitam os primeiros coeficientes (CC) com o mesmo valor.

Métodos de escalonamento alternativos também são possíveis. A transformadas mais curtas podem ser dados menores ou maiores fatores de escala com base no comprimento m ou na direção 0. O escalonamento também pode se tornar parte da própria transformada para simplificar a implementação deste processo.

Os coeficientes escalonados são arranjados em uma ordem de varredura. Em uma modalidade, o conjunto de transformadas (To, Ti, ..., Tw. 1) é varrido independentemente e na ordem. Em cada transformada, o

MN — 19 primeiro coeficiente de CC é varrido primeiro, seguido pelos seguintes coeficientes de CA na mesma ordem do caminho para esta transformada.

Em uma outra modalidade, todos os primeiros coeficientes de CC provenientes de cada transformada são varridos, seguidos por todos os h 5 — segundos coeficientes provenientes de cada transformada, e assim por diante, “ até a última transformada.

Na segunda modalidade, a ordem na qual as transformadas são varridas pode variar.

Por exemplo, as transformadas podem ser varridas na ordem de seu índice, isto é, a primeira varredura usa os coeficientes de CC provenientes do conjunto de transformadas (To, Ti, -.., Tn- ;) na ordem (O, 1, -. N-l). Alternativamente, as transformadas podem ser varridas na ordem de seu comprimento flo, li, -.., lN-1). Os coeficientes podem ser varridos com base em suas posições relativas no bloco.

Por exemplo, todos os coeficientes ao longo de uma borda do bloco podem ser varridos primeiro, seguidos pelos coeficientes que estão deslocados da borda.

Embora a invenção tenha sido descrita a título de exemplos das modalidades preferidas, deve-se entender que várias outras adaptações e modificações podem ser feitas no espírito e no escopo da invenção.

Portanto, é o objetivo das reivindicações anexas cobrir todas tais variações e modificações que caem nos verdadeiros espírito e escopo da invenção.

Claims

TMN" 1 REIVINDICAÇÕES

1. Método para decodificar um fluxo de bit, em que o fluxo de bit corresponde a um vídeo decodificado, em que o vídeo codificado inclui uma sequência de quadros, em que cada quadro é particionado em blocos i 5 codificados, para cada bloco codificado, caracterizado pelo fato de que . compreende as etapas de: determinar um conjunto de caminhos no bloco, em que cada caminho fica em um ângulo da transformada determinado a partir de um índice de transformada no fluxo de bit; obter coeficientes de transformada a partir do fluxo de bit, em que os coeficientes de transformada incluem um coeficiente de CC para cada caminho; e aplicar uma transformada primária inversa nos coeficientes de transformada em cada caminho para produzir um vídeo decodificado, em que as etapas de determinação, obtenção e aplicação são realizadas em um decodificador.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que cada caminho tem um primeiro coeficiente para formar um conjunto de primeiros coeficientes, e em que a obtenção compreende — adicionalmente: aplicar uma transformada secundária inversa no conjunto de primeiros coeficientes para obter o coeficiente de CC para cada caminho.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que cada caminho tem um primeiro coeficiente para formar um conjunto de primeiros coeficientes, e em que a obtenção compreende adicionalmente: prever o componente CC para cada caminho a partir do conjunto de primeiros coeficientes.

4. Método, de acordo com a reivindicação 1, caracterizado

É SS 2 pelo fato de que compreende adicionalmente: associar um comprimento com cada caminho.

5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que os comprimentos são diferentes.

: 5

6. Método, de acordo com a reivindicação 1, caracterizado . pelo fato de que a transformada primária inversa é com base em uma transformada inversa discreta de cosseno.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: particionar o bloco em um conjunto de partições de acordo com um ângulo de partição.

8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que o ângulo de partição é perpendicular ao ângulo da transformada.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os blocos incluem macroblocos, sub-blocos, partições de bloco ou um arranjo de pixéis.

10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: quantizar inversamente os coeficientes de transformada de acordo com um parâmetro de quantização; e escalonar os coeficientes de transformada de acordo com um local dos coeficientes de transformada no bloco.

11. Método, de acordo com a reivindicação 4, caracterizado — pelofatode que compreende adicionalmente: quantizar inversamente os coeficientes de transformada de acordo com um parâmetro de quantização; e escalonar os coeficientes de transformada de acordo com os comprimentos.

TN snsmsescssssse— 3

12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que uma ordem de varredura para os coeficientes depende de uma ordem em que os coeficientes são quantizados.

13. Método, de acordo com a reivindicação 1, caracterizado í 5 — pelo fato de que uma ordem de varredura para cada transformada inversa é . realizada independentemente.

= 117 a wu o = Q & o <

E é BEM 8 ks E o no us . "uu ã ae f oz > à

NL 217 uu ” o ; FE i so << | < vv = Us

26 > [11 | FE = H | ss e | ls 8 | a 3 É " QA = — | q É o | Sig nº Na FT Fm EÉ | = <u E QN 23 E az "” | .ã&% | = < 2 jo Ss Tm É as - S& 265 oo | &— o q o = = ã 3 & o D 8 > uu o uu o g||o = e a 4 - A | ! 8 õ % f- 3 lo5 S = jozZ9 E Sã ã ar= 8 s s o e Exa!

T o õ& ã 8/8 We . o mm - s &e s &s q 8 nn g UA: ã E E õ “. O E Lad Z E Hd, 5 8 T ão - RR 1 o : FT ; ; — i : ; | o 1 — E < &< 1 of o = Ss 1 uu ELO 1 no nO ' z4á zZ2<OoO 8 se ser ral F= F=o ' e ; = : LH : & s Se : q E ão : vê of EE: ; 5a 28 so ' us os E TprTrREA=A=A PES Et 8a ou So o SE Ea £o São OE o mBERUZO = Wu Z as 8% 9 mu

Us ss SSSSSSSSSSSSSDSSSSNSSSNSSSSSSSõttããSSNSNãteeeea es o 4/17 h < o q = õ o Ss)

Z Fr [| [| LIT IT] = e Zailu “fo Ho um a <s <a so so eo fe) “| = /5e| [38| |és| |8S .& S & 3%| [3% 3& 3% & << I% TZ I< A |ú- no no Ba mm qn - e< =) as o

FE 9z au

LOL sA7 f =

É & = ' = : ! á : < ' us=z , ss 1 o foco = as a sá 8 = aÉ a < e

E Jones ds < Í 8 1 us ' ao€ 1 :; uz H >

BÊ Tv W< s a 2 | ãáa |V - - nº fx as a a 2 A 2º us É é E || ÀS É V| sos oe sê ao Er) e... uu os = o o ou o os z<o às | |8332 ||83928 ||S20E |

E IES 2ÉS ars ||3Esô | |arás

—————————— 6/17 = né ns FU oz Oui

FE

E sao 8

PMN 7117 = Ã : uu ao Es

FE mo É& = .% 7 R& o o < a 2 Ss wu ao o

E za

É o = Fe no se Wu

E Ex oo

- 4 8 > De >

FE VV ' no o < e e ' É À << : = ; m ; e ; = f e : ; À vs = SS. = p= | . e, = ' < Ss VC õ< a & ; oo = i 9 s , 3u ; o“ ; 3 ; <E ; oo 1

À o% “ 8 26 u< zo =o u< 8 <o ze =&S|4.iz 72 so &o = zo se = e Ss Ss o - 4 js &

— —e———— [> /2"—-- 9/17 . s s é õ . = 8/5868 à o << = 200 noo uu pontennensens neon soro onooeneneensnercenenmenanano] 1 2 t sS. » ' Q o 1 So o S i 1 N CE H Le < É ; ; ? H i Í E) i ; i : i ; = : ' e ' nm = E: Es ss E ' os : E o VU as do BR o : & E : x oa : : ' í 1 s . :; ds :& Hs : i 288 Es or , e 1 Dc Z | 1 o so ê zo : 18 a o u< ' 1 a sa =2 i 8: E <$ã : = = &S : Es go É8 ' CE H E 1 ' E : 8 : LoznuemnreLrpnerersases anna Rad mma ml e e a = - - € |E o & - nn ss A —— 10/17 Ss 8 s da. õ . x = 58 E íax Wu oo x . Lona W postonsesnesesn en dossmsnnssmesmrmerremenmncmesnssncoo 1 ' ; 1 À uu o H : So Ss : : gx rá ; Ss ox S ; ' au = : 16 SE < : Wi E ã : : o 1 ' : : Ieneatetatedeenr recordes rbabadalesaeeenabeerdere=ne) postessamanennsnmmnfostessnmnesmete names trnmmesmontan a 1 ' : = : : co : ' + < ' &: a SE " Ss E: Sm 28 io 8 WU ' am R& "o| o À to 28 í = E << ' i <q = sã : Í : 1 ro or rr toe proonbabendoanncan Cs x 8 : ES [E e. ox : ço S + ; > : ” d< : i ES À = À - ss ; t nÊ Ss: ” : to so ea e ' “o = o CU S : E s $ jE mn - nn a——— ww mm > ÔÔ =. 11/17 a & m > < ui = õ 8 o s a E Ss " q há Ss so - && 1a o HÁ [e T | oã “ OE <ã O =r & Es ZE z aÉ | És q Lo Ss o ú mu >

Ts 12/17 Ss - s s Ss = mn nm o o x é É o o 8 o s R = = o s - < > - - ie “ o e z e o < = E zo o u< Ns sã z o zo ” = o 8 e

Ó—N———— LEE 1317 Z 3 — - 3 “7” Ó : Z ã om - TP. du 1 to oo s >m lan o são LA Re ! My Ss — » s Dá: ss =

UN Db , .— (A - | Ê e & = &< nn " Draw / à = E Sã e = 8 a =

S !

VV QUO e "e.

A o E

RIO OCO :ia£< o < Ss ' ; : ; ima! so : É =. : * R& o ... O - NONOMO) "AR d <

A PQ IDO O ss AL < <

: FATO]

À IO ' * | III 7 E EH Ss & A > | IA e

: FE : Eq ooo a Fr E e do dE] e Fos=s= ErmFms== PrFHFEFR]

FA « EAAAAAZE) sas AAA 8

EAR

FAAO

FA AAA FAAÁIZ=E] | FBPrEEEER [Ir [AV "Add ib à sq AAA) e TVA)

PPA AAA A dA

E E ETA tTTIRTaoo cel: era

AFA Es TAS