MÉTODO E APARELHO DE CODIFICAÇÃO PERMITINDO MUDANÇA RÁPIDA DE CANAL DE VÍDEO COMPRIMIDO
Referência Cruzada ao Pedido Relacionado
Esse pedido reivindica os benefícios do pedido provisório U.S. No. 60/478.923 (No. de documento PU030170), depositado em 16 de junho de 2003 e intitulado METHOD AND APPARATUS ENABLING FAST CHANNEL CHANGE OF COMPRESSED VIDEO, que é incorporado aqui por referência em sua totalidade.
Campo da Invenção
A presente invenção é direcionada no sentido de codificadores e decodificadores de vídeo (CODECs), e mais particularmente, no sentido de um aparelho e método para a redução de um retardo percebido para a exibição inicial do conteúdo de vídeo decodificado seguindo uma mudança de canal.
Fundamentos da Invenção
Padrões populares de compressão de vídeo, tais como MPEG-2 e HVT/H.264/MPEG AVC, utilizam a codificação intra e inter. Para a decodificação adequada, um decodificador decodifica um fluxo de vídeo comprimida começando com uma imagem intracodifiçada (I) , e então continua para decodificar as imagens intercodifiçadas subseqüentes (P e B) . Um Grupo de Imagens (GOP) pode incluir uma imagem I e várias imagens subseqüentes P e B. As imagens I exigem tipicamente muito mais bits para codificar do que uma imagem P ou B de qualidade de vídeo equivalente.
Quando um receptor começa inicialmente a receber um programa em um canal particular, tal como seguindo uma mudança de canal ou ligação inicial do receptor, o mesmo dePetição 870180059268, de 09/07/2018, pág. 11/43 ve esperar até que uma imagem I seja recebida para começar a decodificar de acordo, o que causa um retardo. Para minimizar o retardo de mudança de canal nos sistemas de difusão de video digital, as imagens I são tipicamente enviadas com freqüência, tal como a cada N imagens. Por exemplo, para permitir um retardo de 1/2 segundo da parte de descompressão de video do sistema, é comum se utilizar N = 15 para um conteúdo de 30 fps. Visto que as imagens I comprimidas são muito maiores do que as imagens P e B comprimidas, isso aumenta consideravelmente a taxa de bit através do que seria necessário se as imagens I não fossem inseridas com tanta freqüência .
A maior parte dos sistemas de difusão transmitem imagens I com freqüência, por exemplo, a cada 1/2 segundo, a fim de limitar o tempo de retardo de mudança de canal devido ao sistema de decodificação de video. Em alguns sistemas, ao invés de enviar imagens I totais com freqüência, uma técnica chamada atualização progressiva é utilizada, onde seções de imagens são intracodifiçadas. Tipicamente, todos os macroblocos na imagem são intracodifiçados pelo menos uma vez durante um periodo de N imagens.
No padrão de compressão HVT/H.264/MPEG AVC, as imagens P e B podem ser previstas utilizando-se múltiplas imagens de referência, incluindo as imagens antes de uma imagem I anterior. O padrão identifica os pontos de acesso randômico como Atualizações Independentes de Decodificador, ou IDRs, que restringem que nenhuma imagem de referência antes de cada IDR seja utilizada na previsão de imagens depois
Petição 870180059268, de 09/07/2018, pág. 12/43 do IDR.
O padrão de compressão HJVT/H.264/MPEG AVC inclui uma ferramenta chamada imagens redundantes, definida no padrão como:
imagem codificada redundante: Uma representação codificada de uma imagem ou uma parte de uma imagem. 0 conteúdo de uma imagem codificada redundante não deve ser utilizado pelo processo de decodificação para uma corrente de bits em conformidade com esse Padrão Internacional I de Recomendação. Uma imagem codificada redundante não precisa conter todos os macroblocos na imagem codificada primária. As imagens codificadas redundantes não possuem qualquer efeito normativo no processo de decodificação. Ver também imagem codificada primária.
cabeçalho de fatia contém um campo redundant_pic_cnt, cuja semântica é definida como:
redundant_pic_cnt deve ser igual a 0 para as fatias e divisórias de dados de fatia pertencentes à imagem primária codificada. Redundant_pic_cnt deve ser maior que 0 para as fatias codificadas e divisórias de dados de fatia codificadas nas imagens redundantes codificadas. Quando redundant_pic_cnt não está presente, seu valor deve ser inferido como sendo igual a 0. O valor de redundant_pic_cnt deve estar na faixa de 0 a 127, inclusive.
Se os elementos de sintaxe de uma divisória de dados de fatia A RBSP indicarem a presença de quaisquer elementos de sintaxe da categoria 3 nos dados de fatia para uma fatia, uma divisória de dados de fatia B RBSP deve estar
Petição 870180059268, de 09/07/2018, pág. 13/43 presente possuindo o mesmo valor de slice_id e redundant_pic_cnt como na divisória de dados de fatia A RBSP.
Do contrário, (os elementos de sintaxe de uma divisória de dados de fatia A RBSP não indicam a presença de quaisquer elementos de sintaxe da categoria 3 nos dados de fatia para uma fatia), nenhuma divisória de dados de fatia B RBSP deve estar presente possuindo o mesmo valor de slice_id e redundant_pic_cnt como na divisória de dados de fatia A RBSP.
De acordo, o que se precisa é de um aparelho e método para a redução do retardo percebido para a exibição inicial do conteúdo de video decodificado seguindo uma mudança de canal.
Sumário da Invenção
Essas e outras desvantagens da técnica anterior são endereçadas por um aparelho e método que fornecem uma mudança rápida de canal do conteúdo de video comprimido.
Um codificador de video para o recebimento de imagens de entrada e o fornecimento de dados de fluxo comprimido incluem uma parte de codificação normal para receber imagens de entrada e fornecendo dados de fluxo normal, uma parte de codificação de qualidade inferior para receber imagens de entrada e fornecer dados de fluxo de qualidade inferior usado para mudança de canal, e um multiplexador em comunicação de sinal com cada uma das partes de qualidade normal e inferior para o recebimento e combinação de fluxo de dados de mudança de canal e normal.
Esses e outros aspectos, características e vantaPetição 870180059268, de 09/07/2018, pág. 14/43 gens da presente invenção se tornarão aparentes a partir da descrição a seguir das modalidades ilustrativas, que devem ser lidas em conjunto com os desenhos em anexo.
Breve Descrição dos Desenhos
A presente invenção pode ser mais bem compreendida de acordo com as figuras ilustrativas a seguir, nas quais:
A Figura 1 ilustra um diagrama em bloco para um codificador utilizando a resolução normal para o fluxo de qualidade inferior usado para mudança de canal de acordo com os princípios da presente invenção;
A Figura 2 ilustra um diagrama em bloco para um decodificador utilizando a resolução normal para o fluxo de qualidade inferior usado para mudança de canal de acordo com os princípios da presente invenção;
A Figura 3 ilustra um diagrama em bloco para um codificador utilizando um fluxo de qualidade inferior usado para mudança de canal filtrada passa baixa de acordo com os princípios da presente invenção;
A Figura 4 ilustra uma tabela para um padrão de imagem ilustrativo de acordo com os princípios da presente invenção;
A Figura 5 ilustra um diagrama em bloco para um codificador utilizando um fluxo de qualidade inferior usado para mudança de canal de redução de taxa de amostragem de acordo com os princípios da presente invenção;
A Figura 6 ilustra um diagrama em bloco de um decodificador utilizando um fluxo de qualidade inferior usado para mudança de canal redutor de taxa de amostragem de acorPetição 870180059268, de 09/07/2018, pág. 15/43 do com os princípios da presente invenção;
A Figura 7 ilustra um diagrama em bloco para um decodificador utilizando um fluxo de qualidade inferior usado para mudança de canal de redução de taxa de amostragem e um filtro de pós-processamento de acordo com os princípios da presente invenção;
A Figura 8 é um fluxograma de um método de codificação de vídeo de acordo com os princípios da presente invenção; e
A Figura 9 é um fluxograma de um método de decodificação de vídeo de acordo com os princípios da presente invenção .
Descrição Detalhada das Modalidades Preferidas
As modalidades da presente invenção permitem um retardo de mudança de canal em qualquer taxa desejada com uma taxa de bit inferior à dos métodos da técnica anterior. Isso é, a invenção permite o tempo de mudança de canal de retardo baixo em um sistema de difusão de vídeo comprimido, enquanto reduz significativamente a taxa de bit através dos métodos anteriores permitindo a mudança de canal de baixo retardo. No padrão JVT/H.264/MPEG AVC, imagens P e B individuais são codificadas utilizando um ou mais tipos de fatia (I, P e/ou B) , enquanto as imagens I são codificadas utilizando apenas as fatias I. De acordo, na descrição que se segue, o termo fatia pode ser substituído pelo termo imagem dependendo do contexto e padrão aplicável. Os sistemas da técnica anterior difundem imagens I freqüentemente para permitir a mudança de canal, por exemplo, a cada N imagens.
Petição 870180059268, de 09/07/2018, pág. 16/43
Nas modalidades da presente invenção, as imagens I normais são enviadas com menos freqüência, e imagens I adicionais de qualidade inferior são enviadas com maior freqüência.
De acordo com os princípios da presente invenção, um retardo de mudança de canal desejado pode ser alcançado sem exigir que as imagens I sejam enviadas com a mesma freqüência que é realizado nos sistemas da técnica anterior. Ao invés disso, as imagens adicionais codificadas de qualidade inferior, incluídas no que é chamado aqui de fluxo de qualidade inferior usado para mudança de canal, são enviadas em adição às imagens codificadas de qualidade normal. No fluxo de qualidade inferior usado para mudança de canal, as imagens I de qualidade inferior são enviadas na freqüência de mudança de canal desejada, e são utilizadas no decodificador durante o período inicial seguindo uma mudança de canal. As imagens I de qualidade normal são enviadas no fluxo normal a uma freqüência inferior, e são utilizadas no decodificador uma vez que estão disponíveis.
Por exemplo, considerando-se um sistema que envia imagens I no fluxo normal a cada N*K imagens e imagens I de qualidade inferior no fluxo de qualidade inferior usado para mudança de canal a cada N imagens, com K > 1. Cada imagem codificada no fluxo de qualidade inferior usado para mudança de canal corresponde a uma imagem codificada de fluxo normal. Dessa forma, quando uma imagem codificada está presente no fluxo de qualidade inferior usado para mudança de canal, duas representações codificadas dessa imagem são na verdade transmitidas.
Petição 870180059268, de 09/07/2018, pág. 17/43
Quando uma mudança de canal ocorre, um sistema de decodificação inicia a decodificação do video comprimido tão logo tenha recebido uma imagem I, do fluxo normal ou do fluxo de qualidade inferior usado para mudança de canal. Se a primeira imagem I a chegar for do fluxo normal, o decodificador continua normalmente. No entanto, se a primeira imagem I a chegar for uma imagem I de qualidade inferior do fluxo de qualidade inferior usado para mudança de canal, o decodificador decodifica e utiliza a imagem I de qualidade inferior. Isso faz com que o video de qualidade inferior seja exibido até que uma imagem I de qualidade normal chegue. Esse periodo de video de qualidade inferior não é significativamente percebido para um observador visto que tem duração curta e segue imediatamente uma mudança de canal. O sistema visual humano leva algum tempo para se ajustar a uma nova cena visual.
O fluxo de qualidade inferior usado para mudança de canal ode conter apenas imagens I de qualidade inferior, ou pode conter imagens I, P e B de qualidade inferior. A taxa de imagem do fluxo de qualidade inferior usado para mudança de canal pode ser inferior à do fluxo normal. As imagens de qualidade inferior podem ter a mesma resolução que as imagens normais mas codificadas a uma taxa de bit inferior, ou podem ter uma resolução inferior à das imagens normais. O tamanho de fluxo de bit das imagens codificadas I de qualidade inferior no fluxo de qualidade inferior usado para mudança de canal é pequeno em comparação com o tamanho das imagens I codificadas de qualidade normal no fluxo normal.
Petição 870180059268, de 09/07/2018, pág. 18/43
Logo, apesar de as representações codificadas adicionais da mesma imagem estarem sendo transmitidas, a economia geral de taxa de bit ocorre devido ao tamanho de uma imagem P ou B de qualidade normal mais à imagem I de qualidade inferior ser tipicamente e significativamente inferior à de uma imagem I de qualidade normal apenas.
Se o fluxo de qualidade inferior usado para mudança de canal contiver imagens I, P e B de baixa qualidade, depois de uma mudança de canal o sistema decodificador espera pela chegada de uma imagem I de qualidade inferior, e então decodifica e exibe as imagens de qualidade inferior do fluxo de qualidade inferior usado para mudança de canal até que uma imagem I de qualidade normal seja recebida, ponto no qual muda para o fluxo de qualidade normal.
Se o fluxo de qualidade inferior usado para mudança de canal contiver apenas imagens I, o sistema de decodificação espera pela chegada de uma imagem I no fluxo normal ou no fluxo de qualidade inferior usado para mudança de canal após uma mudança de canal. Se a primeira imagem I a chegar estiver no fluxo de qualidade inferior usado para mudança de canal, o sistema de decodificação decodifica e exibe a imagem I de qualidade inferior. Então, essa imagem de qualidade inferior é armazenada no armazenador de imagem de decodificador normal e o sistema de decodificação começa a decodificar as imagens P e B de fluxo normal subseqüentes, utilizando a imagem I de qualidade inferior do fluxo de qualidade inferior usado para mudança de canal como uma referência. Visto que essas imagens P e B de qualidade normal foram
Petição 870180059268, de 09/07/2018, pág. 19/43 intercodifiçadas com base nas imagens anteriores no fluxo normal ao invés de uma imagem I de qualidade inferior correspondente do fluxo de qualidade inferior usado para mudança de canal, isso causa alguma mudança na decodificação.
Experiências mostram, no entanto, que o impacto visual de tal mudança é pequeno nessa situação, visto que dura por apenas uma duração curta e segue imediatamente uma mudança de cena correspondente à mudança de canal. O codificador pode gerenciar quanta mudança deve ocorrer e ajustar os parâmetros de codificação das imagens de fluxo de qualidade inferior usado para mudança de canal e/ou normal de forma adequada de forma que a mudança não exceda limites razoáveis .
A presente descrição ilustra os princípios da invenção. Será apreciado que os versados na técnica serão capazes de vislumbrar várias disposições que, apesar de não serem explicitamente descritas ou ilustradas aqui, consubstanciam os princípios da invenção e são incluídas dentro de seu espírito e escopo.
Todos os exemplos e linguagem condicional recitados aqui devem ter finalidade pedagógica para auxiliar o leitor na compreensão dos princípios da invenção e os conceitos fornecidos pelo inventor para a técnica, e devem ser considerados como não tendo limitação a tais exemplos especificamente recitados e condições.
Ademais, todas as declarações aqui recitando princípios, aspectos e modalidades da invenção, além de exemplos específicos, devem englobar as equivalências estruturais e
Petição 870180059268, de 09/07/2018, pág. 20/43 funcionais. Adicionalmente, pretende-se que tais equivalências incluam ambas as equivalências atualmente conhecidas além das equivalências desenvolvidas no futuro, isso é, quaisquer elementos desenvolvidos que realizam a mesma fun5 ção, independentemente da estrutura.
Dessa forma, por exemplo, seria apreciado pelos versados na técnica que os diagramas em bloco apresentados aqui representam vistas conceituais de um conjunto de circuito ilustrativo consubstanciando os princípios da invenção. 10 De forma similar, será apreciado que quaisquer fluxogramas, diagramas de transição de estado, pseudocódigos, e similares representam vários processos que podem ser representados substancialmente na mídia legível por computador e executados por um computador ou processador, caso ou não tal compu15 tador ou processador é explicitamente ilustrado.
As funções de vários elementos ilustrados nas figuras podem ser fornecidas através do uso de hardware dedicado além de hardware capaz de executar software em associação com o software adequado. Quando fornecidas por um pro20 cessador, as funções podem ser fornecidas por um único processador dedicado, por um único processador compartilhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser compartilhados. Ademais, o uso explicito de o termo processador ou controlador não deve ser con25 siderado como se referindo exclusivamente ao hardware capaz de executar o software, e pode incluir de forma implícita, sem limitação, o hardware de processador de sinal digital (DSP), memória de leitura apenas (ROM) para o armazenaPetição 870180059268, de 09/07/2018, pág. 21/43 mento de software, memória de acesso randômico (RAM), e armazenamento não volátil.
Outros hardware, convencionais e/ou personalizados, também podem ser incluídos. De forma similar, quaisquer co5 mutadores ilustrados nas figuras são conceituais apenas. Sua função pode ser realizada através da operação da lógica de programa, através da lógica dedicada, através da interação do controle de programa e lógica dedicada, ou mesmo manualmente, a técnica particular sendo selecionada pelo implemen10 tador como compreendido de forma específica a partir do contexto .
Nas reivindicações, qualquer elemento expresso como um dispositivo de realização de uma função especificada deve englobar qualquer forma de realização dessa função in15 cluindo, por exemplo, a) uma combinação de elementos de circuito que realizam essa função ou b) software em qualquer forma, incluindo, portanto, firmware, microcódigo ou similares, combinados com o conjunto de circuito adequado para a execução desse software para realizar a função. A invenção 20 como definida por tais reivindicações reside no fato de as funcionalidades fornecidas pelos vários dispositivos recitados serem combinadas e unidas da forma que as reivindicações exigem. Se considera, pois, quaisquer dispositivos que possam fornecer essas funcionalidades como equivalentes aos 25 ilustrados aqui.
Como ilustrado na Figura 1, um codificador de acordo com os princípios da presente invenção é indicado geralmente pela referência numérica 100. O codificador 100
Petição 870180059268, de 09/07/2018, pág. 22/43 utiliza a mesma resolução para cada fluxo normal e fluxo de qualidade inferior usado para mudança de canal, e inclui uma parte de codificador normal 130 para produzir o fluxo normal e uma parte de codificador de baixa qualidade 140 para pro5 duzir o fluxo de qualidade inferior usado para mudança de canal, cada uma recebendo as imagens de entrada de mesma resolução. A parte normal 130 e a parte de baixa qualidade 140 são, cada uma, acopladas em comunicação de sinal com um multiplexador (mux) 150, para fornecer os fluxos normal e de 10 mudança de canal, respectivamente, para o mux 150 para transmissão.
Voltando-se à Figura 2, um decodificador de acordo com os princípios da presente invenção é indicado geralmente pela referência numérica 200. O decodificador 200 utiliza a 15 mesma resolução para cada fluxo normal e fluxo de qualidade inferior usado para mudança de canal, e inclui um demultiplexador (demux) 210 para receber dados de vídeo comprimido e demultiplexar os fluxos normal e de mudança de canal, cada uma acoplada em comunicação por sinal selecionável a uma 20 parte de decodificador normal 212. A parte de decodificador normal 212 é acoplada em comunicação por sinal com os armazenadores de estrutura 214, e envia o vídeo decodificado para um monitor.
Dessa forma, a Figura 1 ilustra um sistema de co25 dificação e a Figura 2 ilustra um sistema de decodificação que utilizam, cada um, as imagens de mesma resolução para ambas o fluxo normal e o fluxo de qualidade inferior usado para mudança de canal. Durante a operação, a parte de codiPetição 870180059268, de 09/07/2018, pág. 23/43 ficador normal cria imagens de vídeo comprimidas de qualidade normal para o fluxo normal, e uma parte de codificador de baixa qualidade paralela cria imagens de vídeo comprimidas de qualidade inferior para o fluxo de qualidade inferior usado para mudança de canal. O codificador 100 ilustra dois blocos de codificador separados para as duas funções de codificador, mas, como será reconhecido pelos versados na técnica pertinente, as duas funções de codificador podem ser realizadas utilizando-se o mesmo dispositivo codificador. O fluxo normal e o fluxo de qualidade inferior usado para mudança de canal são multiplexadas juntas, se necessário, e transmitidas. No sistema de decodificação, um demultiplexador separa o fluxo normal e o fluxo de qualidade inferior usado para mudança de canal, e uma seleção é feita quanto ao fato de a imagem para o fluxo normal ou o fluxo de qualidade inferior usado para mudança de canal ser enviada para o decodificador.
Voltando-se agora à Figura 3, um codificador de acordo com os princípios da presente invenção é indicado geralmente pela referência numérica 300. O codificador 300 utiliza dados filtrados para o fluxo de qualidade inferior usado para mudança de canal, e inclui uma parte de codificador normal 330 para produzir o fluxo normal, e um filtro passa baixa 332 em comunicação por sinal com uma parte de codificador de baixa qualidade 340 para produzir o fluxo de qualidade inferior usado para mudança de canal filtrado. A parte normal 330 e a parte de baixa qualidade 34 0 são cada uma acoplada em comunicação por sinal com um multiplexador
Petição 870180059268, de 09/07/2018, pág. 24/43
350, para fornecer fluxos normal e de mudança de canal, respectivamente, para o multiplexador 350 para saida.
Dessa forma, a Figura 3 ilustra um sistema de codificação alternativo, que aplica um filtro passa baixa às imagens de entrada antes do codificador de qualidade inferior. Visto que as imagens no fluxo de qualidade inferior usado para mudança de canal são codificadas a uma taxa de bit relativamente baixa, as mesmas podem conter artefatos de codificação visíveis. Pela filtragem passa baixa as imagens antes da codificação, alguns desses artefatos de codificação visíveis podem ser removidos.
multiplexador dispõe o tempo de transmissão das imagens codificadas de forma que as imagens I de fluxo de qualidade inferior usado para mudança de canal são intercaladas com as imagens codificadas de fluxo normal. A imagem codificada de fluxo de qualidade inferior usado para mudança de canal é preferivelmente transmitida perto da hora em que a imagem de fluxo normal correspondente à mesma imagem de entrada é transmitida, e antes de quaisquer imagens de fluxo normal que são interprevistas com relação a essa imagem.
Como ilustrado na Figura 4, um padrão de imagem ilustrativo é indicado geralmente pela referência numérica 400 para o caso no qual apenas as imagens I são incluídas no fluxo de qualidade inferior usado para mudança de canal, com N = 12 e K = 3. Para um fluxo ilustrativo de 24 fps onde os períodos de início de mudança de canal de 1/2 segundo são desejados, imagens I de qualidade inferior são inseridas no fluxo de qualidade inferior usado para mudança de canal a
Petição 870180059268, de 09/07/2018, pág. 25/43 cada 12 imagens. As imagens I de qualidade normal são inseridas no fluxo normal a cada 36 imagens.
Considere-se o caso onde um receptor sintonizado no canal enquanto a imagem 5 está sendo recebida. 0 receptor espera então até que a primeira imagem I em qualquer fluxo chegue, que, nesse exemplo, é de 12 no fluxo de qualidade inferior usado para mudança de canal, e decodifica e exibe.
A imagem I de qualidade inferior decodificada 12 do fluxo de qualidade inferior usado para mudança de canal seria então 10 colocada no armazenador de imagem do decodificador, e utilizada na decodificação de imagens 12 - 23 do fluxo normal. Essas imagens decodificadas conterão mudança. Quando a imagem P de qualidade normal 24 chega no fluxo normal, o receptor pode escolher decodificar a imagem P do fluxo normal 24 15 ou a imagem I do fluxo de qualidade inferior usado para mudança de canal 24. Essa pode ser uma decisão final de receptor, ou uma preferência pode ser sinalizada pelo codificador no fluxo de bit, com base na qual irá resultar em menor mudança. As imagens 25 a 35 de fluxo normal são então decodi20 ficadas, ainda com mudança. Uma vez que a imagem 36 de fluxo normal é recebida, que é uma imagem I, o decodificador pode iniciar a decodificação adequada sem mudança adicional para todas as imagens subseqüentes. Da perspectiva do observador, por um curto periodo de tempo depois de uma mudança de canal, 25 aqui até cerca de 1,5 segundos, video de qualidade inferior é exibido, e então a qualidade normal é exibida.
Economia de taxa de bit X o sistema da técnica anterior é alcançado visto que as imagens I de fluxo normal
Petição 870180059268, de 09/07/2018, pág. 26/43 grandes são enviadas com menos freqüência do que seriam enviadas em um sistema da técnica anterior. As imagens I de qualidade inferior enviadas no fluxo de qualidade inferior usado para mudança de canal são muito menores do que as ima5 gens I de qualidade normal. Um sistema de codificação pode enviar as imagens I de qualidade inferior no fluxo de qualidade inferior usado para mudança de canal com a freqüência desejada, e com qualquer padrão. As imagens I no fluxo normal também não precisam seguir um padrão regular, e, por 10 exemplo, podem ser inseridas toda vez que uma mudança de cena ocorre. Um sistema de codificação não precisa inserir as imagens I de fluxo de qualidade inferior usado para mudança de canal se a distância entre as imagens I no fluxo normal não exceder um valor desejado. O sistema de codificação pode 15 escolher inserir as imagens I no fluxo de qualidade inferior usado para mudança de canal toda vez que for necessário se manter um espaçamento máximo da imagem I, associado com um limite de retardo de mudança de canal desejado, por exemplo.
O fluxo de qualidade inferior usado para mudança 20 de canal pode conter imagens de resoluções diferentes. Por exemplo, algumas das imagens I no fluxo de qualidade inferior usado para mudança de canal podem ter a mesma resolução que o fluxo normal e outras podem ter uma resolução inferior. Alternativamente duas ou mais resoluções inferiores diferen25 tes para imagens no fluxo de qualidade inferior usado para mudança de canal podem ser utilizadas.
A fim de se reduzir a mudança que ocorre quando da decodificação de uma imagem de fluxo normal utilizando uma
Petição 870180059268, de 09/07/2018, pág. 27/43 imagem de fluxo de qualidade inferior usado para mudança de canal como um elemento de previsão, o codificador pode restringir a faixa de imagens de referência permitidas para as imagens P e B que seguem a imagem de fluxo normal que corresponde à imagem I de fluxo de qualidade inferior usado para mudança de canal. No padrão de compressão de vídeo HVT/H.264, as imagens P e B podem ser previstas utilizandose múltiplas imagens de referência, que fornecem uma vantagem de eficiência de codificação sobre a utilização de uma imagem de referência única. Para o exemplo na Figura 4, uma restrição pode ser imposta de forma que as imagens 12 a 23 no fluxo normal possam não utilizar imagens de referência antes da imagem 12. Se essa restrição não fosse imposta, mais mudança ocorrería depois da mudança de canal. Por exemplo, se a imagem 15 fosse prevista a partir de ambas as imagens 12 e 9, e uma mudança de canal ocorresse enquanto a imagem 5 estivesse sendo recebida, o sistema de decodificação teria uma representação da imagem 12, da imagem I de fluxo de qualidade inferior usado para mudança de canal 12, mas não teria qualquer representação da imagem 9. Isso levaria a uma redução significativa da qualidade visual quando da decodificação de imagens 13 a 23. No entanto, se uma restrição fosse imposta para que a imagem 15 fosse prevista apenas a partir da imagem 12, essa mudança significativa podería ser evitada, com uma pequena penalidade na eficiência de codificação da imagem 15.
Voltando-se à Figura 5, um codificador de acordo com os princípios da presente invenção é indicado geralmente
Petição 870180059268, de 09/07/2018, pág. 28/43 pela referência numérica 500. 0 codificador 500 utiliza os dados de redução de taxa de amostragem para o fluxo de qualidade inferior usado para mudança de canal, e inclui uma parte de codificador normal 530 para a produção do fluxo normal, e um aumentador de taxa de amostragem 534 em comunicação por sinal com uma parte de codificador de baixa qualidade 540 para a produção do fluxo de qualidade inferior usado para mudança de canal filtrada. A parte normal 530 e a parte de baixa qualidade 540 são, cada uma, acopladas em comunicação por sinal com um multiplexador 550, para fornecer fluxos normal e de mudança de canal, respectivamente, para o multiplexador 550 para transmissão.
Voltando-se agora à Figura 6, um decodificador de acordo com os princípios da presente invenção é indicado geralmente pela referência numérica 600. O decodificador 600 utiliza dados de redução de taxa de amostragem para o fluxo de qualidade inferior usado para mudança de canal, e inclui um demultiplexador 610 para receber dados de vídeo comprimidos, acoplados em comunicação por sinal com cada uma de uma parte de decodificador normal 612 e uma parte de decodificador de baixa resolução 618. A parte de decodificador normal 612 é acoplada em comunicação de sinal com o armazenador de estrutura 614, e envia de forma seletiva o vídeo decodificado para um monitor e para os armazenadores de estrutura 614. A parte de decodificador de resolução inferior 618 é acoplada em comunicação por sinal com os armazenadores de estrutura 62 0, e envia vídeo decodificado para um redutor da taxa de amostragem 622, que, por sua vez, envia seletivamente o
Petição 870180059268, de 09/07/2018, pág. 29/43 vídeo decodificado aumentador da taxa de amostragem para um
monitor e para os armazenadores de estrutura 614. |
|
Dessa forma, a Figura |
5 |
ilustra |
um |
sistema de co- |
dificação |
e a Figura 6 ilustra |
um |
sistema |
de |
decodificação, |
cada um dos quais utiliza imagens de resolução inferior para imagens de qualidade inferior no fluxo de qualidade inferior usado para mudança de canal do que para as imagens normais. Por exemplo, 704 x 480 pixels podem ser utilizados para imagens normais e 352 x 240 pixels para as imagens de mudança de canal. As imagens de entrada são normalmente codificadas para o fluxo normal, e são redimensionadas para uma resolução inferior e codificadas nessa resolução inferior para o fluxo de qualidade inferior usado para mudança de canal. O fluxo normal e o fluxo de qualidade inferior usado para mudança de canal são multiplexadas juntas e transmitidas. No sistema de decodificação, um demultiplexador separa o fluxo normal e o fluxo de qualidade inferior usado para mudança de canal, e uma seleção é realizada quanto a qual imagem do fluxo normal ou do fluxo de qualidade inferior usado para mudança de canal deve ser decodificada e exibida. Se o fluxo de qualidade inferior usado para mudança de canal for decodificado e exibido, a imagem decodificada é colocada no armazenador de imagem de decodificador de fluxo normal para uso na decodificação das imagens codificadas do fluxo normal subseqüente. Apesar dos blocos separados serem fornecidos na Figura para o decodificador normal e o decodificador de qualidade inferior, ambas as funções podem ser realizadas utilizando-se um unido dispositivo como será reconhecido pelos
Petição 870180059268, de 09/07/2018, pág. 30/43 versados na técnica pertinente.
No sistema de decodificação, seguindo uma mudança de canal, o vídeo de qualidade inferior é inicialmente exibido, e uma vez que uma imagem I no fluxo normal é recebida, o vídeo de qualidade normal começa a ser exibido. A transição súbita de vídeo de qualidade inferior para o vídeo de qualidade normal pode ser mais percebida por um observador do que o vídeo de qualidade inferior propriamente dito. Para se reduzir a rapidez da transição, um pós-processador pode ser adicionado seguindo o decodificador para filtrar as imagens decodificadas. A intensidade do filtro pode ser ajustada para várias imagens, para aumentar gradualmente a resolução ou qualidade das imagens decodificadas.
Voltando-se agora à Figura 7, um decodificador de acordo com os princípios da presente invenção é indicado geralmente pela referência numérica 700. O decodificador 700 utiliza dados de redução de taxa de amostragem para o fluxo de qualidade inferior usado para mudança de canal, e inclui um demultiplexador 710 para receber os dados de vídeo comprimidos, acoplados em comunicação por sinal com cada uma dentre uma parte de decodificador normal 712 e uma parte de decodificador de resolução inferior 718. A parte de decodificador normal 712 é acoplada em comunicação por sinal aos armazenadores de estrutura 714, e envia de forma seletiva o vídeo decodificado para um monitor e para os armazenadores de estrutura 714. A parte de decodificador normal 712 é acoplado adicionalmente em comunicação por sinal a um filtro de pós-processamento 716, que envia de forma seletiva vídeo dePetição 870180059268, de 09/07/2018, pág. 31/43 codificado pós-processado para o monitor e para os armazenadores de estrutura 714. A parte de decodificador de resolução inferior 718 é acoplada em comunicação por sinal aos armazenadores de estrutura 720, e envia o vídeo decodificado para um redutor da taxa de amostragem 722, que, por sua vez, envia de forma seletiva vídeo decodificado aumentador da taxa de amostragem para um monitor e para os armazenadores de estrutura 714.
Dessa forma, a Figura 7 ilustra um sistema de decodificação que incorpora um filtro de pós-processamento. Uma função de pós-processamento também pode ser adicionada seguindo o decodificador de qualidade inferior para ocultar os artefatos de compressão.
Como ilustrado na Figura 8, um método de codificação de vídeo para receber imagens de entrada e fornecer dados de fluxo comprimidos é indicado geralmente pela referência numérica 800. O método 800 inclui um bloco inicial 810 que passa o controle para o bloco de entrada 812 para receber imagens de entrada. O bloco de entrada 812 passa o controle para um bloco de função 814 para codificar os dados de fluxo normal das imagens de entrada recebidas. O bloco de função 814, por sua vez, passa o controle para um bloco de função 816 para codificar os dados de fluxo de qualidade inferior usado para mudança de canal das imagens de entrada recebidas, onde os dados de fluxo de qualidade inferior usado para mudança de canal incluem dados codificados de qualidade inferior aos dados de fluxo normal. O bloco de função 816 passa o controle para um bloco de função 818 para multiPetição 870180059268, de 09/07/2018, pág. 32/43 plexação dos fluxos de dados normal e de mudança de canal em um fluxo de saída combinada, e, por sua vez, passa o controle para um bloco final 820.
Voltando-se para a Figura 9, um método de decodificação de vídeo para receber dados de fluxo comprimidos e fornecer saída de vídeo descomprimido é indicado geralmente pela referência numérica 900. O método 900 inclui um bloco inicial 910 que passa o controle para um bloco de entrada 912 para receber os dados de fluxo comprimidos, que passa o controle para um bloco de função 914 para separar o fluxo normal e o fluxo de qualidade inferior usado para mudança de canal. O bloco de função 914 passa o controle para um bloco de função 916 para receber pelo menos uma dos fluxos normal comprimida e de mudança de canal, e fornecer saída de vídeo descomprimido. O bloco de função 916, por sua vez, passa o controle para um bloco de função 918 para armazenar imagens de referência para uso na decodificação de imagens intercodificadas. O bloco de função 918 passa o controle para um bloco final 920.
Existem várias formas possíveis nas quais a multiplexação do fluxo normal e do fluxo de qualidade inferior usado para mudança de canal podem ser realizadas. Para se permitir um sistema compatível retroativo onde o fluxo normal pode ser decodificado sem alteração dos decodificadores pré-existentes, um método é colocar as imagens codificadas de qualidade inferior do fluxo de qualidade inferior usado para mudança de canal nos dados de usuário associados com a imagem correspondente do fluxo normal.
Petição 870180059268, de 09/07/2018, pág. 33/43
Esse método permite que o sistema de decodificação identifique a hora da imagem de uma imagem codificada de fluxo de qualidade inferior usado para mudança de canal. Se esse método for utilizado, uma alteração do código inicial da imagem singular das imagens codificadas no fluxo de qualidade inferior usado para mudança de canal é necessária, tal como pela utilização de enchimento de bit ou byte, para ajudar o decodificador normal pré-existente a evitar a detecção do código inicial de imagem da imagem de fluxo de qualidade inferior usado para mudança de canal dentro dos dados de usuário. O procedimento de enchimento de bit ou byte pode ser invertido no sistema de decodificação, antes da passagem dos dados para um decodificador de conformidade padrão.
Um método de multiplexação alternativo é a utilização de um PID diferente para o fluxo de qualidade inferior usado para mudança de canal do que para o fluxo normal. Nesse caso, o fluxo de qualidade inferior usado para mudança de canal precisará incluir informação de temporização para as imagens codificadas, sincronizadas com as imagens de fluxo normal. Além disso, uma associação deve ser feita entre os PIDs do fluxo normal e do fluxo de qualidade inferior usado para mudança de canal.
Se o padrão de compressão HVT/H. 264/MPEG AVC for utilizado nesse sistema, e a resolução das imagens normais e das imagens de mudança de canal forem idênticas, a sintaxe de imagens redundantes de JVT pode ser utilizada para codificar as imagens de mudança de canal pela configuração do
Petição 870180059268, de 09/07/2018, pág. 34/43 campo redundant_pic_cnt no cabeçalho de fatia para 1 para as imagens de mudança de canal. Nesse caso, no sistema de decodificação, as imagens de fluxo de qualidade inferior usado para mudança de canal podem ser identificadas pela busca por imagens contendo o campo redundant_pic_cnt igual a 1 no cabeçalho de fatia.
Essas e outras características e vantagens da presente invenção podem ser prontamente determinadas pelos versados na técnica pertinente com base nos ensinamentos apresentados aqui. Deve-se compreender que os princípios da presente invenção podem ser implementados de várias formas de hardware, software, firmware, processadores de finalidade especial ou combinações dos mesmos.
Mais preferivelmente, os princípios da presente invenção são implementados como uma combinação de hardware e software. Ademais, o software é preferivelmente implementado como um programa de aplicativo consubstanciado de forma tangível em uma unidade de armazenamento de programa. O programa de aplicativo pode ser carregado para e executado por uma máquina compreendendo qualquer arquitetura adequada. Preferivelmente, a máquina é implementada em uma plataforma de computador possuindo hardware tal como uma ou mais unidades de processamento central (CPU), uma memória de acesso randômico (RAM), e interfaces de entrada/saída (I/O). A plataforma de computador também pode incluir um sistema operacional e um código de micro-instrução. Os vários processos e funções descritos aqui podem ser parte do código de microinstrução ou parte do programa de aplicativo, ou qualquer
Petição 870180059268, de 09/07/2018, pág. 35/43 combinação dos mesmos, que podem ser executados por uma CPU. Adicionalmente, várias outras unidades periféricas podem ser conectadas à plataforma de computador tal como uma unidade de armazenamento de dados adicional e uma unidade de impres5 são.
Deve-se compreender adicionalmente que, devido a alguns componentes de sistema e métodos apresentados nos desenhos em anexo serem preferivelmente implementados em software, as conexões reais entre os componentes de sistema ou 10 os blocos de função de processo podem diferir dependendo da forma na qual a presente invenção é programada. De acordo com os ensinamentos apresentados aqui, os versados na técnica pertinente serão capazes de contemplar essas e outras implementações ou configurações similares da presente invenção. 15 Apesar de as modalidades ilustrativas terem sido descritas aqui com referência aos desenhos em anexo, deve-se compreender que a presente invenção não está limitada a essas modalidades precisas, e que várias mudanças e modificações podem ser efetuadas aqui pelos versados na técnica per20 tinente sem se distanciar do escopo ou espírito da presente invenção. Todas as ditas mudanças e modificações devem ser incluídas no escopo da presente invenção apresentado nas reivindicações em anexo.