BR112013031524B1

BR112013031524B1 - Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem, e aparelho de codificação - decodificação de imagem

Info

Publication number: BR112013031524B1
Application number: BR112013031524-5A
Authority: BR
Inventors: Hisao Sasai; Takahiro Nishi; Toru Matsunobu; Youji Shibahara; Kyoko Tanikawa; Toshiyasu Sugio
Original assignee: Sun Patent Trust
Priority date: 2011-06-27
Filing date: 2012-06-26
Publication date: 2022-05-03
Also published as: CA2837827A1; CA2837827C; US20180035118A1; AU2012277160A1; PL2725799T3; MY161905A; US20140286401A1; JPWO2013001794A1; US9402075B2; ES2807351T3; US20190068979A1; US9813717B2; EP2725799B1; RU2013154110A; US9497470B2; EP2725799A1; MX2013013912A; US20180205957A1; AU2012277160B2; TWI547145B

Abstract

MÉTODO DE CODIFICAÇÃO DE IMAGEM, MÉTODO DE DECODIFICAÇÃO DE IMAGEM, APARELHO DE CODIFICAÇÃO DE IMAGEM, APARELHO DE DECODIFICAÇÃO DE IMAGEM, E A PARE- LHO DE CODIFICAÇÃO - DECODIFICAÇÃO DE IMAGEM. A presente invenção refere-se a um método de codificação de imagem que inclui: gerar um bloco predito (S6001); calcular um bloco residual (S6002); calcular coeficientes quantizados executando uma transformada e uma quantização sobre o bloco residual (S6003); calcular um bloco residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados (S6004); gerar um bloco codificado temporário (S6005); determinar se um processo de compensação é ou não requerido para gerar primeiras informações de sinalizador que indicam um resultado da determinação (S6006); executar o processo de compensação sobre o bloco codificado temporário quando for determinado que o processo de compensação é requerido (S6012); e executar uma codificação de comprimento variável sobre os coeficientes quantizados e as primeiras informações de sinalizador (S6011).

Description

CAMPO DA TÉCNICA

[0001] A presente invenção refere-se a um método de codificação de imagem, um método de decodificação de imagem, um aparelho de codificação de imagem, um aparelho de decodificação de imagem, e um aparelho de codificação - decodificação de imagem. Especificamente, a presente invenção refere-se a um método de codificação de imagem, um método de decodificação de imagem, um aparelho de codificação de imagem, um aparelho de decodificação de imagem, e um aparelho de codificação - decodificação de imagem com menos perda em qualidade de imagem.

ANTECEDENTES DA TÉCNICA

[0002] Em anos recentes, o número de aplicações utilizadas para, por exemplo, serviço de tipo de vídeo sob demanda incluindo vídeo conferência, transmissão de vídeo digital e fluxo de conteúdo de vídeo através da Internet, está aumentando. Estas aplicações são dependentes da transmissão de dados de vídeo. Quando os dados de vídeo são transmitidos ou gravados, uma quantidade de dados significativa é transmitida através de um canal de transmissão convencional que tem uma largura de banda limitada ou são gravados em um meio de gravação convencional que tem uma capacidade de dados limitada. De modo a transmitir os dados de vídeo através do canal de transmissão convencional ou gravar os dados de vídeo no meio de gravação convencional, é absolutamente essencial comprimir ou reduzir a quantidade de dados digitais.

[0003] Com esta sendo a situação, múltiplos padrões de codificação de vídeo foram desenvolvidos para compressão de dados de vídeo. Exemplos dos padrões de codificação de vídeo incluem os padrões do International Telecommunication Union Telecommunication Standardization Sector (ITU-T) especificado por "H.26x" e a International Standards Organization/International Electrotechnical Commission (ISO/IEC) especificado por "MPEG-x". Correntemente, o último e mais avançado padrão de codificação de vídeo é apresentado pelo padrão H.264/AVC ou MPEG-4 AVC (ver Literaturas Não de Patente 1 e 2).

[0004] Mais ainda, vários estudos são feitos para aperfeiçoar a eficiência de codificação pelo padrão de Codificação de Vídeo de Alta Eficiência (HEVC) o qual é um padrão de codificação de imagem de próxima geração (ver Literatura Não de Patente 3). LISTA DE CITAÇÕES LITERATURA NÃO DE PATENTE [NPL 1] ISO/IEC 14496-10 "MPEG-4 Part 10, Advanced Video Coding" [NPL 2] Thomas Wiegand et al, "Overview of the H.264/AVC Video Coding Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, JULY 2003, PP. 1 - 1 [NPL 3] Joint Collaborative Team on Video Coding (JCT-VC) of ITU- T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH,-6-23 March, 2011 JCTVC-E603 Title:WD3: Working Draft 3 of High-Efficiency Video Coding ver.7 http://phenix.int- evry.fr/jct/docend user/documents/ 5 Geneva/wg11/JCTVC-E603- v7.zip

SUMÁRIO DA INVENÇÃO PROBLEMA TÉCNICO

[0005] Em anos recentes, a qualidade de imagem é requerida ser aperfeiçoada enquanto a eficiência de codificação é mantida.

[0006] Em vista disto, a presente invenção está concebida para resolver o problema convencional acima mencionado, e tem um objetivo de prover um método de codificação de imagem e um método de decodificação de imagem capazes de aperfeiçoar uma imagem codificada e uma imagem decodificada em qualidade de imagem.

SOLUÇÃO O PROBLEMA

[0007] O método de codificação de imagem em um aspecto de acordo com a presente invenção é um método para codificar um bloco de entrada incluído em uma imagem. Para ser mais específico, o método de codificação de imagem inclui gerar um bloco predito predizendo o bloco de entrada; calcular um bloco residual subtraindo o bloco predito do bloco de entrada; calcular coeficientes quantizados executando uma transformada e uma quantização sobre o bloco residual; calcular o bloco residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados; gerar um bloco codificado temporário adicionando o bloco residual codificado ao bloco predito; determinar se um processo de compensação para corrigir um erro incluído no bloco codificado temporário é ou não requerido, para gerar primeiras informações de sinalizador que indicam um resultado da determinação, o erro sendo causado pela quantização no cálculo de coeficientes quantizados; executar o processo de compensação sobre o bloco codificado temporário quando for determinado na determinação que o processo de compensação é requerido; e executar uma codificação de comprimento variável sobre os coeficientes quantizados e as primeiras informações de sinalizador.

[0008] Deve ser notado que uma modalidade geral ou específica em um aspecto pode ser implementada por um sistema, um método, um circuito integrado, um programa de computador, ou um meio de gravação, ou por qualquer combinação de um sistema, um método, um circuito integrado, um programa de computador, e um meio de gravação.

EFEITOS VANTAJOSOS DA INVENÇÃO

[0009] A presente invenção pode reduzir a distorção de um sinal de croma e aperfeiçoar a qualidade de imagem subjetiva.

BREVE DESCRIÇÃO DOS DESENHOS

[00010] FIG. 1 é um diagrama de blocos que mostra um exemplo de uma configuração de um aparelho de codificação de imagem na Modalidade 1 de acordo com a presente invenção.

[00011] FIG. 2 é um diagrama de blocos que mostra um exemplo de um método convencional para codificar um sinal de croma.

[00012] FIG. 3 é um fluxograma que mostra um exemplo de um método convencional para codificar um sinal de croma.

[00013] FIG. 4 é um diagrama de blocos que mostra um exemplo de intrapredição de sinal de croma na Modalidade 1 de acordo com a presente invenção.

[00014] FIG. 5 é um fluxograma que mostra um exemplo de intrapredição de sinal de croma na Modalidade 1 de acordo com a presente invenção.

[00015] FIG. 6 é uma diagrama esquemático que mostra um exemplo de cálculo de um valor de intrapredição de sinal de croma, na Modalidade 1 de acordo com a presente invenção.

[00016] FIG. 7 é um diagrama de blocos que mostra um exemplo de intrapredição de sinal de croma na Modalidade 2 de acordo com a presente invenção.

[00017] FIG. 8 é um fluxograma que mostra um exemplo de intrapredição de sinal de croma na Modalidade 2 de acordo com a presente invenção.

[00018] FIG. 9 é um diagrama de blocos que mostra um exemplo de intrapredição de sinal de croma na Modalidade 3 de acordo com a presente invenção.

[00019] FIG. 10 é um fluxograma que mostra um exemplo de intrapredição de sinal de croma na Modalidade 3 de acordo com a presente invenção.

[00020] FIG. 11A é um diagrama esquemático que mostra um exemplo de uma unidade de compensação utilizada para intrapredição de sinal de croma e mostra um exemplo onde um diferente valor de compensação é utilizado para cada bloco, na Modalidade 3 de acordo com a presente invenção.

[00021] FIG. 11B é um diagrama esquemático que mostra um exemplo de uma unidade de compensação utilizada para intrapredição de sinal de croma e mostra um exemplo onde o mesmo valor de compensação é utilizado em uma área A.

[00022] FIG. 12 é um diagrama de blocos que mostra um exemplo de uma configuração de um aparelho de decodificação de imagem na Modalidade 4 de acordo com a presente invenção.

[00023] FIG. 13 é um diagrama de blocos que mostra um exemplo de um método convencional para decodificar um sinal de cromo.

[00024] FIG. 14 é um fluxograma que mostra um exemplo de um método convencional para decodificar um sinal de cromo.

[00025] FIG. 15 é um diagrama de blocos que mostra um exemplo de intrapredição de sinal de croma na Modalidade 4 de acordo com a presente invenção.

[00026] FIG. 16 é um fluxograma que mostra um exemplo de intrapredição de sinal de croma na Modalidade 4 de acordo com a presente invenção.

[00027] FIG. 17 é um diagrama de blocos que mostra um exemplo de intrapredição de sinal de croma na Modalidade 5 de acordo com a presente invenção.

[00028] FIG. 18 é um fluxograma que mostra um exemplo de intrapredição de sinal de croma na Modalidade 5 de acordo com a presente invenção.

[00029] FIG. 19 é um diagrama de blocos que mostra um exemplo de intrapredição de sinal de croma na Modalidade 6 de acordo com a presente invenção.

[00030] FIG. 20 é um fluxograma que mostra um exemplo de intrapredição de sinal de croma na Modalidade 6 de acordo com a presente invenção.

[00031] FIG. 21 é um diagrama que mostra uma sintaxe de unidade de predição a qual é um exemplo de intrapredição de sinal de croma na Modalidade 4 de acordo com a presente invenção.

[00032] FIG. 22 é um diagrama que mostra uma sintaxe de dados de fatia a qual é um exemplo de intrapredição de sinal de croma na Modalidade 6 de acordo com a presente invenção.

[00033] FIG. 23 mostra uma configuração total de um sistema de provisão de conteúdo para implementar serviços de distribuição de conteúdo.

[00034] FIG. 24 mostra uma configuração total de um sistema de transmissão digital.

[00035] FIG. 25 mostra um diagrama de blocos que ilustra um exemplo de uma configuração de uma televisão.

[00036] FIG. 26 mostra um diagrama de blocos que ilustra um exemplo de uma configuração de uma unidade de reprodução/gravação de informações que lê e escreve informações de e sobre um meio de gravação que é um disco óptico.

[00037] FIG. 27 mostra um exemplo de uma configuração de um meio de gravação que é um disco óptico.

[00038] FIG. 28A mostra um exemplo de um telefone celular.

[00039] FIG. 28B é um diagrama de blocos que mostra um exemplo de uma configuração de um telefone celular.

[00040] FIG. 29 ilustra uma estrutura de dados multiplexados.

[00041] FIG. 30 mostra esquematicamente como cada fluxo é multiplexado em dados multiplexados.

[00042] FIG. 31 mostra como um fluxo de vídeo é armazenado em um fluxo de pacotes de PES em mais detalhes.

[00043] FIG. 32 mostra uma estrutura de pacotes de TS e pacotes de fonte nos dados multiplexados.

[00044] FIG. 33 mostra uma estrutura de dados de uma PMT.

[00045] FIG. 34 mostra uma estrutura interna de informações de dados multiplexados.

[00046] FIG. 35 mostra uma estrutura interna de informações de atributo de fluxo.

[00047] FIG. 36 mostra as etapas para identificar os dados de vídeo.

[00048] FIG. 37 mostra um exemplo de uma configuração de um circuito integrado para implementar o método de codificação de imagem móvel e o método de decodificação de imagem móvel de acordo com cada uma das modalidades.

[00049] FIG. 38 mostra uma configuração para comutação entre frequências de acionamento.

[00050] FIG. 39 mostra as etapas para identificar os dados de vídeo e comutar entre as frequências de acionamento.

[00051] FIG. 40 mostra um exemplo de uma tabela de consulta na qual os padrões de dados de vídeo estão associados com frequências de acionamento.

[00052] FIG. 41A é um diagrama que mostra um exemplo de uma configuração para compartilhar um módulo de uma unidade de processamento de sinal.

[00053] FIG. 41B é um diagrama que mostra outro exemplo de uma configuração para compartilhar um módulo da unidade de processamento de sinal.

DESCRIÇÃO DAS MODALIDADES CONHECIMENTO QUE FORMA A BASE DA PRESENTE INVENÇÃO

[00054] Como mostrado na FIG. 1 e na FIG. 12, por exemplo, a HEVC principalmente inclui processos tais como predição, transformada, quantização, e codificação de entropia. Entre estes, a predição por sua vez inclui predição de interquadros e intrapredição. A intrapredição é um processo onde um pixel predito é gerado por interpolação de pixels vizinhos em macroblocos vizinhos localizados, por exemplo, acima e à esquerda de um macrobloco corrente a ser processado e uma diferença do pixel predito é codificada. A intrapredição de acordo com o padrão de HEVC faz a predição em um nível de pixel ao invés de um nível de coeficiente de transformada de cosseno discreta (DCT), e também utiliza padrões de predição de pixel nas direções vertical, horizontal, e diagonal.

[00055] A intrapredição convencional de um sinal de croma está descrita, com referência à FIG. 2, FIG. 3, FIG. 13, e FIG. 14.

[00056] Uma configuração de uma unidade de intrapredição de sinal de croma 100 que executa intrapredição de sinal de croma de acordo com um método de codificação de imagem convencional está descrita. A FIG. 2 é um diagrama de blocos que mostra um exemplo da unidade de intrapredição de sinal de croma 100 convencional.

[00057] Como mostrado na FIG. 2, a unidade de intrapredição de sinal de croma 100 inclui uma unidade de geração de sinal de croma intrapredito 110, uma unidade de cálculo de sinal residual 120, uma unidade de transformada - quantização 130, uma unidade de quantização - transformada inversa 135, uma unidade de geração de sinal codificado 140, e uma unidade de codificação 150.

[00058] Uma operação executada pela unidade de intrapredição de sinal de croma 100 convencional está descrita em mais detalhes. A FIG. 3 é um fluxograma que mostra um processo executado pela unidade de intrapredição de sinal de croma 100.

[00059] Primeiramente, a unidade de geração de sinal de croma intrapredito 110 gera um sinal de croma intrapredito com base em um modo de intrapredição, e emite o sinal gerado para a unidade de cálculo de sinal residual 120 e a unidade de geração de sinal codificado 140 (Etapa S1001). O modo de intrapredição é indicado como um número de índice atribuído a um método para gerar um sinal de croma intrapredito. O sinal de croma intrapredito é gerado de acordo com o modo de intrapredição utilizando, conforme apropriado, um sinal de luma codificado de um bloco vizinho, um sinal de croma codificado de um bloco vizinho, e um sinal de luma codificado do bloco corrente a ser processado.

[00060] A seguir, a unidade de cálculo de sinal residual 120 calcula um sinal residual de um sinal de croma de entrada e o sinal de croma intrapredito, e emite o sinal residual para a unidade de transformada - quantização 130 (Etapa S1002). O sinal residual é obtido calculando uma diferença entre o sinal de croma de entrada e o sinal de croma intrapredito.

[00061] A seguir, a unidade de transformada - quantização 130 calcula os coeficientes quantizados executando uma transformada e uma quantização sobre o sinal residual, e emite os coeficientes quantizados para a unidade de quantização - transformada inversa 135 e a unidade de codificação 150 (Etapa S1003). Aqui, transformada refere-se a um processo para transformar o sinal residual em um domínio de espaço em coeficientes em um domínio de frequência. Por quantização, o valor de coeficiente no domínio de frequência obtido transformando o sinal residual é aproximado mais grosseiramente. Um valor que indica a grossura é referido como um parâmetro de quantização (pode também ser daqui em diante referido como o QP). Quando o QP é maior, uma aproximação mais grosseira é executada, significando que um erro (um erro de quantização) é maior entre o sinal de croma de entrada original e o sinal de croma codificado posteriormente descrito.

[00062] A seguir, a unidade de quantização - transformada inversa 135 calcula um sinal residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados, e emite o sinal residual codificado para a unidade de geração de sinal codificado 140 (Etapa S1004). A quantização inversa e a transformada inversa são executadas por um procedimento exatamente oposto ao procedimento na Etapa S1003.

[00063] Após isto, a unidade de geração de sinal codificado 140 gera um sinal de croma codificado do sinal residual codificado e do sinal de croma intrapredito (Etapa S1005). A unidade de geração de sinal codificado 140 armazena o sinal de croma codificado gerado em uma memória que não está ilustrada no diagrama. O sinal de croma codificado armazenado na memória é utilizado, como um sinal codificado de um bloco vizinho pela unidade de geração de sinal de croma intrapredito 110 de modo a gerar um sinal de croma intrapredito. O mesmo é verdadeiro para um sinal de luma codificado (uma sua explicação é omitida). O sinal de croma codificado é calculado adicionando o sinal residual codificado ao sinal de croma intrapredito.

[00064] A seguir, a unidade de codificação 150 gera um fluxo de bits codificando os coeficientes quantizados e o modo de intrapredição (Etapa S1006). Na codificação, um código variável é atribuído aos coeficientes quantizados de modo que o comprimento de bit seja curto e, como um resultado, a eficiência de compressão seja aperfeiçoada. O fluxo de bits obtido pela compressão de dados eficiente é transferido ou gravado.

[00065] Uma configuração de uma unidade de intrapredição de sinal de croma 300 que executa uma intrapredição de sinal de croma de acordo com um método de decodificação de imagem convencional está descrita. A FIG. 13 é um diagrama de blocos que mostra um exemplo da unidade de intrapredição de sinal de croma 300 convencional.

[00066] Como mostrado na FIG. 13, a unidade de intrapredição de sinal de croma 300 inclui uma unidade de decodificação de comprimento variável 310, uma unidade de obtenção de sinal residual 320, uma unidade de geração de sinal de croma intrapredito 330, e uma unidade de geração de sinal de croma decodificado 340.

[00067] Uma operação executada pela unidade de intrapredição de sinal de croma 300 convencional está descrita em mais detalhes, com referência à FIG. 14. A FIG. 14 é um fluxograma que mostra um processo executado pela unidade de intrapredição de sinal de croma 300.

[00068] Primeiramente, a unidade de intrapredição de sinal de croma 300 obtém os coeficientes quantizados e um modo de intrapredição executando uma decodificação de comprimento variável sobre o fluxo de bits, e emite os coeficientes quantizados e o modo de intrapredição para a unidade de obtenção de sinal residual 320 e a unidade de geração de sinal de croma intrapredito 330 (Etapa S3001).

[00069] A seguir, a unidade de obtenção de sinal residual 320 obtém um sinal residual decodificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados, e emite o sinal residual decodificado para a unidade de geração de sinal de croma decodificado (Etapa S3002). O sinal residual decodificado foi aproximado mais grosseiramente pela quantização no momento da codificação. Por conta disto, quando o sinal de croma decodificado é gerado utilizando este sinal residual, um erro com relação à imagem de entrada original é causado.

[00070] A seguir, a unidade de geração de sinal de croma intrapredito 330 gera um sinal de croma intrapredito com base no modo de intrapredição, e emite o sinal de croma intrapredito para a unidade de geração de sinal de croma decodificado 340 (Etapa S3003). O sinal de croma intrapredito é gerado de acordo com o modo de intrapredição utilizando, conforme apropriado, um sinal de luma decodificado de um bloco vizinho, um sinal de croma decodificado de um bloco vizinho, e um sinal de luma decodificado do bloco corrente a ser processado.

[00071] A seguir, a unidade de geração de sinal de croma decodificado 340 gera um sinal de croma decodificado do sinal residual decodificado e o sinal de croma intrapredito (Etapa S3004). O sinal de croma decodificado é calculado adicionando o sinal residual decodificado ao sinal de croma intrapredito. O sinal de croma decodificado gerado pela unidade de geração de sinal de croma decodificado 340 é armazenado em uma memória a qual não está ilustrada no diagrama, e é utilizado para um processo de intrapredição posterior, por exemplo.

[00072] De acordo com a tecnologia convencional acima mencionada, no entanto, a quantização é executada quando o sinal residual que indica uma diferença entre o sinal de entrada e o sinal predito é codificado. Por esta razão, quando o QP é maior, um erro é maior entre o sinal de entrada e o sinal de croma codificado ou entre a imagem de entrada e o sinal de croma decodificado. Especialmente quanto ao sinal de croma, mesmo uma ligeira diferença em valor causa uma aparente distorção de cor na qualidade de imagem subjetiva.

[00073] De modo a resolver o problema acima, o método de codificação de imagem em um aspecto de acordo com a presente invenção é um método para codificar um bloco de entrada incluído em uma imagem. Para ser mais específico, o método de codificação de imagem inclui: gerar um bloco predito predizendo o bloco de entrada; calcular um bloco residual subtraindo o bloco predito do bloco de entrada; calcular os coeficientes quantizados executando uma transformada e uma quantização sobre o bloco residual; calcular um bloco residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados; gerar um bloco codificado temporário adicionado o bloco residual codificado ao bloco predito; determinar se um processo de compensação para corrigir um erro incluído no bloco codificado temporário é ou não requerido, para gerar primeiras informações de sinalizador que indicam um resultado da determinação, o erro sendo causado pela quantização no cálculo de coeficientes quantizados; executar o processo de compensação sobre o bloco codificado temporário quando for determinado na determinação que o processo de compensação é requerido; e executar uma codificação de comprimento variável sobre os coeficientes quantizados e as primeiras informações de sinalizador.

[00074] Com esta configuração, um erro (um erro de quantização) causado por quantização pode ser reduzido. Mais especificamente, a qualidade de imagem pode ser efetivamente impedida de deteriorar.

[00075] Mais ainda, o processo de compensação pode ser executado para adicionar um valor de compensação a um valor de um pixel incluído no bloco codificado temporário. Na determinação, se um valor de compensação para um bloco previamente codificado adjacente ao bloco de entrada ou o valor de compensação recentemente calculado para o bloco codificado temporário é utilizado no processo de compensação a ser executado sobre o bloco codificado temporário pode ser adicionalmente determinado gerar segundas informações de sinalizador que indicam um resultado da determinação. Na execução, o processo de compensação pode ser executado sobre o bloco codificado temporário utilizando o valor de compensação indicado pelas segundas informações de sinalizador. Na execução, uma codificação de comprimento variável pode ser adicionalmente executada sobre as segundas informações de sinalizador.

[00076] Mais ainda, na execução, o processo de compensação pode ser executado seletivamente sobre um pixel (i) que é um dos pixels incluídos no bloco codificado temporário e (ii) que corresponde a um pixel incluído no bloco de entrada e que tem um valor incluído em uma faixa predeterminada onde a distorção de cor subjetiva é aparente.

[00077] Mais ainda, na determinação, quando cada um dos valores de todos os pixels incluídos no bloco de entrada está fora da faixa predeterminada, pode ser determinado que o processo de compensação não seja requerido ser executado sobre o bloco codificado temporário que corresponde ao bloco de entrada.

[00078] Como um exemplo, cada um dos valores dos pixels incluídos no bloco de entrada pode ser expresso em um formato YUV.

[00079] Mais ainda, o método de codificação de imagem pode (i) comutar entre um processo de codificação com base em um primeiro padrão e um processo de codificação com base em um segundo padrão, (ii) executar a determinação, a execução, e a apresentação, como o processo de codificação com base no primeiro padrão, e (iii) codificar um identificador que indica um padrão de um processo de codificação.

[00080] O método de decodificação de imagem em um aspecto de acordo com a presente invenção é um método para decodificar um fluxo de bits para gerar um bloco decodificado. Para ser mais específico, o método de decodificação de imagem inclui: obter coeficientes quantizados e primeiras informações de sinalizador que indicam se um processo de compensação é ou não requerido, executando uma decodificação de comprimento variável sobre o fluxo de bits; obter um bloco residual decodificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados; gerar um bloco predito predizendo o bloco decodificado; gerar um bloco decodificado temporário adicionando o bloco residual decodificado ao bloco predito; e gerar o bloco decodificado executando, sobre o bloco decodificado temporário, o processo de compensação para corrigir um erro que é causado por quantização e está incluído no bloco decodificado temporário, quando as primeiras informações de sinalizador indicam que o processo de compensação é requerido.

[00081] Mais ainda, o processo de compensação pode ser executado para adicionar um valor de compensação a um valor de um pixel incluído no bloco decodificado temporário. Na obtenção de coeficientes quantizados e primeiras informações de sinalizador, segundas informações de sinalizador podem ser adicionalmente obtidas, as segundas informações de sinalizador indicando se o valor de compensação para um bloco previamente decodificado adjacente ao bloco decodificado ou o valor de compensação recentemente calculado para o bloco decodificado temporário é utilizado no processo de compensação a ser executado sobre o bloco decodificado temporário. Na geração do bloco decodificado, o processo de compensação pode ser executado sobre o bloco decodificado temporário utilizando o valor de compensação indicado pelas segundas informações de sinalizador.

[00082] Como um exemplo, cada um dos valores de pixels incluídos no bloco decodificado pode ser expresso em um formato YUV.

[00083] Mais ainda, o método de decodificação de imagem pode (i) comutar entre um processo de decodificação com base em um primeiro padrão e um processo de decodificação com base em um segundo padrão, de acordo com um identificador que está incluído no fluxo de bits e indica o primeiro padrão ou o segundo padrão e (ii) executar, como o processo de decodificação com base no primeiro padrão a apresentação e a execução quando o identificador indica o primeiro padrão.

[00084] O aparelho de codificação de imagem em um aspecto de acordo com a presente invenção codifica um bloco de entrada incluído em uma imagem. Para ser mais específico, o aparelho de codificação de imagem inclui: uma unidade de predição a qual gera um bloco predito predizendo o bloco de entrada; uma unidade de cálculo a qual calcula um bloco residual subtraindo o bloco predito do bloco de entrada; uma unidade de transformada - quantização a qual calcula coeficientes quantizados executando uma transformada e uma quantização sobre o bloco residual; uma unidade de quantização - transformada inversa a qual calcula o bloco residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados; uma unidade de geração a qual gera um bloco codificado temporário adicionando o bloco residual codificado ao bloco predito; uma unidade de determinação a qual determina se um processo de compensação para corrigir um erro incluído no bloco codificado temporário é ou não requerido, para gerar primeiras informações de sinalizador que indicam um resultado da determinação, o erro sendo causado pela quantização executada pela unidade de transformada - quantização; uma unidade de processamento de compensação a qual executa o processo de compensação sobre o bloco codificado temporário quando for determinado pela unidade de determinação que o processo de compensação é requerido; e uma unidade de codificação de comprimento variável a qual executa uma codificação de comprimento variável sobre os coeficientes quantizados e as primeiras informações de sinalizador.

[00085] O aparelho de decodificação de imagem em um aspecto de acordo com a presente invenção decodifica um fluxo de bits para gerar um bloco decodificado. Para ser mais específico, o aparelho de decodificação de imagem inclui: uma unidade de decodificação de comprimento variável a qual obtém coeficientes quantizados e primeiras informações de sinalizador que indicam se um processo de compensação é ou não requerido, executando uma decodificação de comprimento variável sobre o fluxo de bits; uma unidade de obtenção a qual obtém um bloco residual decodificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados; uma unidade de predição a qual gera um bloco predito predizendo o bloco decodificado; uma unidade de geração a qual gera um bloco decodificado temporário adicionando o bloco residual decodificado ao bloco predito; e uma unidade de processamento de compensação a qual gera o bloco decodificado executando, sobre o bloco decodificado temporário, o processo de compensação para corrigir um erro que é causado por quantização e está incluído no bloco decodificado temporário, quando as primeiras informações de sinalizador indicam que o processo de compensação é requerido.

[00086] O aparelho de codificação - decodificação de imagem em um aspecto de acordo com a presente invenção inclui: o aparelho de codificação de imagem acima descrito; e o aparelho de decodificação de imagem acima descrito.

[00087] Deve ser notado que uma modalidade geral ou específica em um aspecto pode ser implementada por um sistema, um método, um circuito integrado, um programa de computador, ou um meio de gravação, ou por qualquer combinação de um sistema, um método, um circuito integrado, um programa de computador, e um meio de gravação.

[00088] O seguinte é uma descrição de modalidades de acordo com a presente invenção, com referência aos desenhos.

APARELHO DE CODIFICAÇÃO DE IMAGEM

[00089] A FIG. 1 é um diagrama de blocos que mostra um exemplo de uma configuração de um aparelho de codificação de imagem 200 nas Modalidades 1 a 3 de acordo com a presente invenção.

[00090] O aparelho de codificação de imagem 200 executa uma codificação de compressão sobre dados de imagem. Por exemplo, o aparelho de codificação de imagem 200 recebe, como um sinal de entrada, os dados de imagem para cada bloco. O aparelho de codificação de imagem 200 gera um sinal codificado (isto é, um fluxo de bits) executando uma transformada, uma quantização e uma codificação de comprimento variável sobre o sinal de entrada recebido.

[00091] Como mostrado na FIG. 1, o aparelho de codificação de imagem 200 inclui um subtrator 205, uma unidade de transformada - quantização 210, uma unidade de codificação de entropia 220, uma unidade de quantização - transformada inversa 230, um adicionador 235, um filtro de desbloqueio 240, uma memória 250, uma unidade de intrapredição 260, uma unidade de estimativa de movimento 270, uma unidade de compensação de movimento 280, e um comutador de intra/inter seleção 290.

[00092] O subtrator 205 calcula uma diferença entre o sinal de entrada (um bloco de entrada) e o sinal predito (um bloco predito). Mais especificamente, o subtrator 205 calcula um erro residual de predição (um bloco residual).

[00093] A unidade de transformada - quantização 210 gera coeficientes de transformada no domínio de frequência transformando o erro residual de predição no domínio de espaço. Por exemplo, a unidade de transformada - quantização 210 gera os coeficientes de transformada executando uma DCT (Transformada de Cosseno Discreta) sobre o erro residual de predição. Mais ainda, a unidade de transformada - quantização 210 gera coeficientes quantizados quantizando os coeficientes de transformada.

[00094] A unidade de codificação de entropia 220 gera um sinal codificado executando uma codificação de comprimento variável sobre os coeficientes quantizados. Mais ainda, a unidade de codificação de entropia 220 codifica os dados de movimento (tal como um vetor de movimento) estimados pela unidade de estimativa de movimento 270, primeiras informações de sinalizador e segundas informações de sinalizador (posteriormente descritas), um valor de compensação (posteriormente descrito), e assim por diante. Então, a unidade de codificação de entropia 220 inclui estas porções de dados codificados no sinal codificado e emite este sinal codificado.

[00095] A unidade de quantização - transformada inversa 230 restaura os coeficientes de transformada executando uma quantização inversa sobre os coeficientes quantizados. Mais ainda, a unidade de quantização - transformada inversa 230 restaura o erro residual de predição executando uma transformada inversa sobre os coeficientes de transformada restaurados. Deve ser notado que como as informações sobre o erro residual de predição restaurado foram perdidas pela quantização, o erro residual de predição restaurado não concorda com o erro residual de predição gerado pelo subtrator 205. Para ser mais específico, o erro residual de predição restaurado inclui um erro de quantização.

[00096] O adicionador 235 gera uma imagem decodificada local (um bloco codificado) adicionando o erro residual de predição restaurado ao sinal predito.

[00097] O filtro de desbloqueio 240 executa uma filtragem de desbloqueio sobre a imagem decodificada local gerada.

[00098] A memória 250 armazena uma imagem de referência a ser utilizada para compensação de movimento. Para ser mais específico, a memória 250 armazena a imagem decodificada local sobre a qual a filtragem de desbloqueio foi executada.

[00099] A unidade de intrapredição 260 gera um sinal predito (um sinal intrapredito) executando intrapredição. Mais especificamente, a unidade de intrapredição 260 gera o sinal intrapredito executando intrapredição, com referência a uma imagem localizada próxima de um bloco corrente (o sinal de entrada) que deve ser codificado e está incluído na imagem decodificada local gerada pelo adicionador 235.

[000100] A unidade de estimativa de movimento 270 estima os dados de movimento (tal como um vetor de movimento) entre o sinal de entrada e a imagem de referência armazenada na memória 250.

[000101] A unidade de compensação de movimento 280 gera um sinal predito (um sinal interpredito) executando uma compensação de movimento com base nos dados de movimento estimados.

[000102] O comutador de intra/inter seleção 290 seleciona um do sinal intrapredito e do sinal interpredito, e emite o sinal selecionado como o sinal predito para o subtrator 205 e o adicionador 235.

[000103] Com a configuração descrita até agora, o aparelho de codificação de imagem 200 nas Modalidades 1 a 3 de acordo com a presente invenção executa uma codificação de compressão sobre os dados de imagem.

MODALIDADE 1

[000104] Um método de codificação de imagem na Modalidade 1 inclui: gerar um bloco predito predizendo o bloco de entrada; calcular um bloco residual subtraindo o bloco predito do bloco de entrada; calcular coeficientes quantizados executando uma transformada e uma quantização sobre o bloco residual; calcular o bloco residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados; gerar um bloco codificado temporário adicionando o bloco residual codificado ao bloco predito; executar um processo de compensação sobre o bloco codificado temporário; e executar uma codificação de comprimento variável sobre os coeficientes quantizados.

[000105] Nota-se que o processo de compensação refere-se a um processo executado para corrigir um erro que é causado por quantização no cálculo de coeficientes quantizados e está incluído no bloco codificado temporário. Para ser mais específico, o processo de compensação e executado para adicionar um valor de compensação a um valor de um pixel incluído no bloco codificado temporário. Aqui, apesar de cada um dos valores de pixels incluídos no bloco de entrada não ser especificamente limitado, a descrição seguinte está baseada na suposição cada um dos valores dos pixels está expresso no formato YUV. Mais ainda, apesar do seguinte descrever um exemplo onde um bloco predito é gerado por intrapredição, a presente invenção não está limitada a isto. O bloco predito pode ser gerado, por exemplo, por interpredição.

[000106] O seguinte descreve uma configuração de um aparelho de processamento de imagem (uma unidade de intrapredição de sinal de croma) 500 que executa um método de intrapredição no processo de compensação executado sobre o sinal de croma na Modalidade 1. A FIG. 4 é um diagrama de blocos que mostra um exemplo da configuração do aparelho de processamento de imagem 500 na Modalidade 1 de acordo com a presente invenção. Deve ser notado que, como posteriormente descrito, o aparelho de processamento de imagem 500 na Modalidade 1 de acordo com a presente invenção corresponde a uma parte do aparelho de codificação de imagem 200 que executa uma codificação de compressão sobre um sinal de imagem e emite dados de imagem codificados.

[000107] Como mostrado na FIG. 4, o aparelho de processamento de imagem 500 inclui uma unidade de geração de sinal de croma intrapredito 510, uma unidade de cálculo de sinal residual 520, uma unidade de transformada - quantização 530, uma unidade de quantização - transformada inversa 535, uma unidade de geração de sinal de croma codificado temporário 540, uma primeira unidade de cálculo de componente DC 550, uma segunda unidade de cálculo de componente DC 555, uma unidade de cálculo de valor de compensação 560, uma unidade de codificação 570, e uma unidade de adição de valor de compensação 580.

[000108] Uma operação executada pelo aparelho de processamento de imagem 500 na Modalidade 1 de acordo com a presente invenção está descrita em mais detalhes, com referência à FIG. 5. A FIG. 5 é um fluxograma que mostra um processo executado pelo aparelho de processamento de imagem 500.

[000109] Primeiramente, a unidade de geração de sinal de croma intrapredito 510 gera um sinal de croma intrapredito com base em um modo de intrapredição, e emite o sinal gerado para a unidade de cálculo de sinal residual 520 e a unidade de geração de sinal croma codificado temporário 540 (Etapa S5001). O sinal de croma intrapredito é gerado de acordo com o modo de intrapredição utilizando, conforme apropriado, um sinal de luma codificado de um bloco vizinho, um sinal de croma codificado de um bloco vizinho, e um sinal de luma codificado do bloco corrente a ser processado.

[000110] A seguir, a unidade de cálculo de sinal residual 520 calcula um sinal residual de um sinal de croma de entrada e o sinal de croma intrapredito, e emite o sinal residual para a unidade de transformada - quantização 530 (Etapa S5002). O sinal residual é obtido calculando uma diferença entre o sinal de croma de entrada e o sinal de croma intrapredito.

[000111] A seguir, a unidade de transformada - quantização 530 calcula os coeficientes quantizados executando uma transformada e uma quantização sobre o sinal residual, e emite os coeficientes quantizados para a unidade de quantização - transformada inversa 535 e a unidade de codificação 570 (Etapa S5003). Por quantização, o valor de coeficiente no domínio de frequência obtido transformando o sinal residual é aproximado mais grosseiramente. Aqui, quando o QP é maior, uma aproximação mais grosseira é executada, significando que um erro é maior entre o sinal de croma de entrada original e o sinal de croma codificado temporário posteriormente descrito.

[000112] A seguir, a unidade de quantização - transformada inversa 535 calcula um sinal residual codificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados, e emite o sinal residual codificado para a unidade de geração de sinal de croma codificado temporário 540 (Etapa S5004). A quantização inversa e a transformada inversa são executadas por um procedimento exatamente oposto ao procedimento na Etapa S5003.

[000113] Após isto, a unidade de geração de sinal de croma codificado temporário 540 gera um sinal de croma codificado temporário do sinal residual codificado e do sinal de croma intrapredito e emite o sinal gerado para a segunda unidade de cálculo de componente DC 555 e a unidade de adição de valor de compensação 580 (Etapa S5005). O sinal de croma codificado temporário é calculado adicionando o sinal residual codificado ao sinal de croma intrapredito.

[000114] A seguir, a primeira unidade de cálculo de componente DC 550 calcula um componente DC do sinal de croma de entrada e emite o componente DC calculado para a unidade de cálculo de valor de compensação 560 (Etapa S5006). Aqui, o componente DC refere-se a um valor médio de uma forma de onda de sinal, e é obtido, por exemplo, calculando um valor médio de pixels do sinal de entrada (isto é, uma pluralidade de pixels incluídos no bloco corrente a ser codificado). Alternativamente, um componente DC obtido executando uma transformada de frequência sobre o sinal de croma de entrada pode ser utilizado como o componente DC do sinal de croma de entrada.

[000115] Então, a segunda unidade de cálculo de componente DC 555 calcula um componente DC do sinal de croma codificado temporário, e emite o componente DC calculado para a unidade de cálculo de valor de compensação 560 (Etapa S5007). Aqui, o componente DC é calculado pelo mesmo método que utilizado na Etapa S5006.

[000116] A seguir, a unidade de cálculo de valor de compensação 560 calcula um valor de compensação do componente DC do sinal de croma de entrada e do componente DC do sinal de croma codificado temporário, e emite o valor de compensação calculado para a unidade de codificação 570 e a unidade de adição de valor de compensação 580 (Etapa S5008). Um método específico para calcular o valor de compensação será posteriormente descrito.

[000117] Então, a unidade de codificação 570 gera um fluxo de bits codificando os coeficientes quantizados, o modo de intrapredição, e o valor de compensação (Etapa S5009).

[000118] A seguir, a unidade de adição de valor de compensação 580 gera um sinal de croma codificado adicionando o valor de compensação ao sinal de croma codificado temporário (Etapa S5010). O sinal de croma codificado obtido pela adição executada pela unidade de adição de valor de compensação 580 é armazenado em uma memória, a qual não está ilustrada, para ser utilizado em um processo de intrapredição posterior, por exemplo.

[000119] O processo da Etapa S5001 até a Etapa S5010, como descrito, está repetido para cada um dos blocos incluídos na imagem.

[000120] Aqui, o valor de compensação está explicado. O valor de compensação do componente DC do sinal de croma de entrada e do componente DC do sinal de croma codificado temporário é calculado de acordo com a Equação 1, por exemplo. Matemática 1

... Equação 1

[000121] A Equação 1 mostra um exemplo onde um valor médio de pixels do sinal de croma é utilizado como o componente DC. Aqui, "InputC" representa um bloco de sinal de croma de entrada, e "tmpRecC" representa um sinal de croma codificado temporário. Mais ainda "average()" representa uma função utilizada para calcular a média de valores de sinal do bloco de entrada. Um valor de compensação "tmp_offset" é calculado com precisão de subpixel de acordo com a Equação 1, portanto, o sinal de croma codificado pode ser restaurado com alta precisão utilizando este valor de compensação. No entanto, o número de bits do fluxo de bits codificado aumenta. Assim, de modo a reduzir a quantidade de informações, um processo de quantização ou um processo de redução é executado sobre o valor de compensação como expresso pela Equação 2. Matemática 2

Equação 2

[000122] Aqui, "offset" representa um valor de saída da unidade de cálculo de valor de compensação 560, isto é, um valor de compensação que é calculado com precisão de pixel inteiro e é realmente adicionado ao sinal de croma codificado temporário. Mais ainda, "Disc ()" representa uma função utilizada para quantizar o valor de compensação de tmp_offset que tem uma precisão de subpixel em um múltiplo integral de um parâmetro p1. Mais ainda, "Clip ()" representa um processo de arredondamento de um valor fora de uma faixa especificada para um valor máximo ou um valor mínimo utilizando um parâmetro p2. A FIG. 6 mostra exemplos do processo de quantização e do processo de redução executado sobre o valor de compensação.

[000123] Aqui, cada um dos parâmetros p1 e p2 é um valor inteiro. Cada um dos parâmetros p1 e p2 é determinado de acordo com, por exemplo, uma limitação no número de bits do sinal codificado, o ajuste manual com base na qualidade de imagem subjetiva da imagem codificada, uma relação com os coeficientes quantizados, e dados estatísticos sobre um valor de diferença entre o sinal de croma de entrada e o sinal de croma codificado temporário.

[000124] Com isto, o erro entre o sinal de croma de entrada e o sinal de croma codificado (isto é, o erro causado por quantização = o erro de quantização) podem ser reduzidos. Mais ainda, a distorção de cor do sinal de croma codificado pode ser suprimida.

[000125] Deve ser notado que o sinal de croma codificado pode ser utilizado em intrapredição de sinal de croma, intrapredição de sinal de luma, predição interquadros de sinal de croma, ou predição interquadros de sinal de luma para um bloco a ser processado posteriormente. Com isto a precisão de predição pode ser adicionalmente aperfeiçoada e a alta eficiência de codificação pode ser assim implementada.

[000126] Deve ser notado que somente uma da primeira unidade de cálculo de componente DC 550 e da segunda unidade de cálculo de componente DC 555 pode ser utilizada comumente no cálculo do componente DC do sinal de croma de entrada e do componente DC do sinal de croma codificado temporário. Isto permite que o aparelho de processamento de imagem 500 seja implementado com um menor tamanho de circuito.

[000127] Deve ser notado que o processo de compensação acima mencionado pode também ser executado sobre o sinal de luma no mesmo modo. Como um resultado, um sinal de imagem codificado mais próximo em luma ao sinal de entrada pode ser obtido também. MODALIDADE 2

[000128] Um método de codificação de imagem na Modalidade 2 ainda inclui: determinar se um processo de compensação para corrigir um erro incluído em um bloco codificado temporário é ou não requerido, para gerar primeiras informações de sinalizador que indicam um resultado da determinação, o erro sendo causado pela quantização no cálculo de coeficientes quantizados. Na execução do processo de compensação, quando é determinado na determinação que o processo de compensação é requerido, o processo de compensação é executado sobre o bloco codificado temporário. Mais ainda, na execução da codificação de comprimento variável, uma codificação de comprimento variável é executada sobre as primeiras informações de sinalizador.

[000129] A seguir, uma operação executada por um aparelho de processamento de imagem (uma unidade de intrapredição de sinal de croma) 600 na Modalidade 2 de acordo com a presente invenção será descrita.

[000130] A FIG. 7 é um diagrama de blocos que mostra uma configuração do aparelho de processamento de imagem 600 na Modalidade 2.

[000131] Como mostrado na FIG. 7, o aparelho de processamento de imagem 600 inclui uma unidade de geração de sinal de croma intrapredito 610, uma unidade de cálculo de sinal residual 620, uma unidade de transformada - quantização 630, uma unidade de quantização - transformada inversa 635, uma unidade de geração de sinal de croma codificado temporário 640, uma primeira unidade de cálculo de componente DC 650, uma segunda unidade de cálculo de componente DC 655, uma unidade de cálculo de valor de compensação 660, uma unidade de codificação 670, uma unidade de adição de valor de compensação 680 e uma unidade de determinação de compensação 690. Mais especificamente, se comparado com o aparelho de processamento de imagem 500 mostrado na FIG. 4, o aparelho de processamento de imagem 600 mostrado na FIG. 7, além disso, inclui a unidade de determinação de compensação 690. Os outros componentes do aparelho de processamento de imagem 600 são idênticos aos componentes correspondentes do aparelho de processamento de imagem 500 e, portanto, as explicações detalhadas destes componentes não são aqui repetidas.

[000132] As descrições dos componentes que estão incluídos no aparelho de processamento de imagem 600 e idênticos aos componentes correspondentes incluídos no aparelho de processamento de imagem 500 na Modalidade 1 são omitidas. Assim, a unidade de determinação de compensação 690 que é uma diferença entre o aparelho de processamento de imagem 600 e o aparelho de processamento de imagem 500 está descrita. Para ser mais específico na Modalidade 2, se o processo de compensação é ou não requerido é determinado para cada bloco e o valor de compensação é calculado somente para o bloco onde o processo de compensação for determinado ser requerido.

[000133] A seguir, a intrapredição de sinal de croma executada pelo aparelho de processamento de imagem 600 será descrita. A FIG. 8 é um fluxograma que mostra a intrapredição de sinal de croma de acordo com o método de codificação de imagem na Modalidade 2. Explicações detalhadas sobre os processos mostrados na FIG. 8 que são idênticos aos processos correspondentes explicados na Modalidade 1 com referência à FIG. 5 não são aqui repetidas. Assim, as Etapas S6006 a S6010 na FIG. 8 são principalmente descritas.

[000134] Na Etapa S6006, a unidade de determinação de compensação 690 determina se o processo de compensação é ou não requerido no bloco corrente a ser processado. Para esta determinação, o sinal de croma de entrada e o sinal de luma de entrada são utilizados para exemplo. A distorção de cor causada por um erro entre o sinal de croma de entrada e o sinal de croma codificado depende dos valores do sinal de croma e do sinal de luma. Mais especificamente, até com o mesmo valor de erro, a distorção de cor aparece diferentemente na qualidade de imagem subjetiva de acordo com os valores do sinal de croma e do sinal de luma. Por conta disto, o processo de compensação é determinado ser requerido quando o sinal de entrada existe em uma faixa (pode também ser daqui em diante referida como "a faixa A") onde a distorção de cor na qualidade de imagem subjetiva está aparente no espaço de croma e no espaço de luma.

[000135] Uma estrutura de dados da faixa A pode ser expressa com base no valor máximo e no valor mínimo para cada componente de YUV e RGB, ou com base em um mapa de cor que tem três eixos geométricos que correspondem a YUV ou RGB. Mais ainda, o sinal de entrada utilizado para a determinação pode ser, por exemplo, valores médios do sinal de croma de entrada e do sinal de luma de entrada no bloco corrente, componentes DC obtidos por transformada de frequência executadas no sinal de croma de entrada e no sinal de luma de entrada, ou valores medianos do sinal de croma de entrada e do sinal de luma de entrada.

[000136] Deve ser notado que somente o valor no espaço de croma pode ser utilizado na determinação quanto a se o processo de compensação é ou não requerido no bloco corrente. Com isto a quantidade de cálculo requerida da unidade de determinação de compensação 690 e o tamanho de circuito podem ser suprimidos.

[000137] Para ser mais específico, na execução do processo de compensação, o processo de compensação pode ser executado seletivamente sobre um pixel: isto é um dos pixels incluídos no bloco codificado temporário; e que corresponde a um pixel incluído no bloco de entrada e que tem um valor incluído em uma faixa predeterminada onde a distorção de cor subjetiva é aparente. Mais ainda, na determinação, quando cada um dos valores de todos os pixels incluídos no bloco de entrada está fora da faixa predeterminada, pode ser determinado que o processo de compensação não é requerido ser executado sobre o bloco codificado temporário que corresponde ao bloco de entrada.

[000138] Quando o processo de compensação é determinado ser requerido na Etapa S6006, o valor de compensação é calculado nas Etapas S6007 a S6009 no mesmo modo que na Modalidade 1.

[000139] Por outro lado, quando o processo de compensação é determinado não ser requerido na Etapa S6006, o valor de compensação é ajustado para um valor ao qual a unidade de codificação 670 atribui o número mínimo de bits. Com isto, as informações que indicam se o processo de compensação é ou não requerido não precisam ser codificadas, e a determinação quanto a se o processo de compensação é ou não requerido pode ser feita com o número mínimo de bits. Assim, o número de bits do fluxo de bits pode ser suprimido, e a distorção de com do sinal de croma codificado pode também ser suprimida. Nota-se que as informações que indicam se o processo de compensação é ou não requerido (isto é, as primeiras informações de sinalizador) podem estar incluídas no fluxo de bits separadamente do valor de compensação.

[000140] Quando o processo de compensação é determinado não ser requerido na Etapa S6006, as informações que indicam se o processo de compensação é ou não requerido (isto é, as primeiras informações de sinalizador) podem ser codificadas. Neste caso, o processo de adicionar o valor de compensação na Etapa S6012 não é executado e, portanto, um aumento na quantidade de cálculo pode ser suprimido.

[000141] Deve ser notado que, na Etapa S6006, se o processo de compensação é ou não requerido pode ser determinado utilizando o sinal de croma codificado temporário. O lado do aparelho de decodificação pode também gerar o mesmo sinal que o sinal de croma codificado temporário e assim pode determinar se o processo de compensação é ou não requerido. Por conta disto, as primeiras informações de sinalizador não precisam ser incluídas no fluxo de bits, e somente o valor de compensação pode ser codificado somente quando o processo de compensação é requerido. Mais especificamente, quando o processo de compensação não é requerido, as informações relativas ao processo de compensação não são codificadas. Isto pode suprimir adicionalmente o número de bits do fluxo de bits.

[000142] Deve ser notado que o processo de compensação acima mencionado pode também ser executado sobre o sinal de luma no mesmo modo. Como um resultado, um sinal de imagem codificado mais próximo em luma ao sinal de entrada pode ser obtido também. MODALIDADE 3

[000143] De acordo com um método de codificação de imagem na Modalidade 3, o seguinte processo é adicionalmente executado. Mais especificamente, na determinação, se um valor de compensação para um bloco previamente codificado adjacente ao bloco de entrada ou o valor de compensação recentemente calculado para o bloco codificado temporário é ou não utilizado no processo de compensação a ser executado sobre o bloco codificado temporário é adicionalmente determinado (isto é, se o valor de compensação precisa ser atualizado é determinado) gerar segundas informações de sinalizador que indicam um resultado da determinação. Na execução, o processo de compensação é executado sobre o bloco codificado temporário utilizando o valor de compensação indicado pelas segundas informações de sinalizador. Na execução, uma codificação de comprimento variável é adicionalmente executada sobre as segundas informações de sinalizador, e também sobre o novo valor de compensação quando o valor de compensação é atualizado.

[000144] A seguir, uma operação executada por um aparelho de processamento de imagem (uma unidade de intrapredição de sinal de croma) 700 na Modalidade 3 de acordo com a presente invenção será descrita.

[000145] A FIG. 9 é um diagrama de blocos que mostra uma configuração do aparelho de processamento de imagem 700 na Modalidade 3.

[000146] Como mostrado na FIG. 9, o aparelho de processamento de imagem 700 inclui uma unidade de geração de sinal de croma intrapredito 710, uma unidade de cálculo de sinal residual 720, uma unidade de transformada - quantização 730, uma unidade de quantização - transformada inversa 735, uma unidade de geração de sinal de croma codificado temporário 740, uma primeira unidade de cálculo de componente DC 750, uma segunda unidade de cálculo de componente DC 755, uma unidade de cálculo de valor de compensação 760, uma unidade de codificação 770, uma unidade de adição de valor de compensação 780 e uma unidade de determinação de unidade de compensação 790. Mais especificamente, se comparado com o aparelho de processamento de imagem 500 mostrado na FIG. 4, o aparelho de processamento de imagem 700 mostrado na FIG. 9, além disso, inclui a unidade de determinação de unidade de compensação 790. Os outros componentes do aparelho de processamento de imagem 700 são idênticos aos componentes correspondentes do aparelho de processamento de imagem 500 e, portanto, as explicações detalhadas destes componentes não são aqui repetidas.

[000147] As descrições dos componentes que estão incluídos no aparelho de processamento de imagem 700 e idênticos aos componentes correspondentes incluídos no aparelho de processamento de imagem 500 na Modalidade 1 são omitidas. Assim, a unidade de determinação de unidade de compensação 790 que é uma diferença entre o aparelho de processamento de imagem 700 e o aparelho de processamento de imagem 500 está descrita. O aparelho de processamento de imagem 700 na Modalidade 3 permite que o processo de compensação seja executado sobre uma pluralidade de blocos vizinhos utilizando o mesmo valor de compensação.

[000148] A seguir, a intrapredição de sinal de croma executada pelo aparelho de processamento de imagem 700 será descrita. A FIG. 10 é um fluxograma que mostra a intrapredição de sinal de croma de acordo com o método de codificação de imagem na Modalidade 3. Explicações detalhadas sobre os processos que são idênticos aos processos correspondentes explicados na Modalidade 1 com referência à FIG. 5 não são aqui repetidas. Assim, as Etapas S7009 a S7012 na FIG. 10 são principalmente descritas.

[000149] Na Etapa S7009, a unidade de determinação de unidade de compensação 790 determina se o cálculo do valor de compensação é ou não completado para todos os blocos que existem em uma área que inclui os blocos (também daqui em diante referida como "a área A"). Quando o cálculo do valor de compensação não é completado para todos os blocos (Não em S7009), o aparelho de processamento de imagem 700 armazena o valor de compensação calculado na Etapa S7008, e repete as Etapas S7001 a S7008. Então, quando o cálculo do valor de compensação é completado para todos os blocos (Sim em S7009), o aparelho de processamento de imagem 700 prossegue para a Etapa S7010.

[000150] A seguir, na Etapa S7010, a unidade de determinação de unidade de compensação 790 sumariza os valores de compensação de todos os blocos na área A que são calculados de acordo com as Etapas até S7009, para determinar uma unidade do processo de compensação. Então, a unidade de determinação de unidade de compensação 790 emite um resultado da determinação para a unidade de codificação 770 e a unidade de adição de valor de compensação 780.

[000151] Após isto, na Etapa S7011, a unidade de codificação 770 gera um fluxo de bits codificando os coeficientes quantizados, o modo de intrapredição, a unidade de processo de compensação (segundas informações de sinalizador), e o valor de compensação.

[000152] A seguir, na Etapa S7012, a unidade de adição de valor de compensação 780 adiciona o valor de compensação ao sinal de croma codificado temporário para gerar um sinal de croma codificado. O sinal de croma codificado gerado pela unidade de adição de valor de compensação 780 é armazenado em uma memória, a qual não está ilustrada, para ser utilizado em um processo de intrapredição posterior, por exemplo.

[000153] Aqui, como um exemplo, a determinação de uma unidade do processo de compensação está descrita. Primeiramente, uma fórmula de avaliação representada pela Equação 3 é calculada para cada um dos valores de compensação. [Matemática 3] N N

Equação 3

[000154] Aqui, "k" representa o valor de compensação a ser avaliado, "N" representa o número de blocos existentes na área A, e "sBlk (i)" representa o tamanho de um io bloco na área A. Mais ainda, "jdg1 (i)" representa uma função utilizada para determinar se o valor de compensação do um io bloco na área A é ou não igual a "k", como expresso pela Equação 4. Matemática 4

. Equação 4

[000155] Aqui, "Eval (k)" representa uma proporção de pixels que tem o valor de compensação "k" na área A.

[000156] A seguir, como expresso pela Equação 5, se o valor máximo de Eval (k) é ou não maior do que ou igual a um dado limite "Th_oft" é determinado utilizando uma função "jdg2". Matemática 5

. Equação 5

[000157] Cada uma da FIG. 11A e da FIG. 11B mostra um exemplo do resultado quando Th_oft = 0,6. Quando jdg2 = 0, a unidade de determinação de unidade de compensação 790 determina que um valor de compensação predominante não existe na área A e assim determina que o processo de compensação deve ser executado utilizando um diferente valor de compensação para cada bloco como mostrado na FIG. 11A. Por outro lado, quando jdg2 = 1, a unidade de determinação de unidade de compensação 790 determina que um valor de compensação predominante existe na área A e assim determina que o processo de compensação deve ser executado sobre todos os blocos utilizando o mesmo valor de compensação como mostrado na FIG. 11B.

[000158] Como um resultado, os valores de compensação de uma área maior do que um bloco (tal como uma LCU) podem ser codificados por uma operação. Isto pode suprimir um aumento no número de bits do sinal codificado e também suprimir a distorção de cor do sinal de croma codificado.

[000159] Deve ser notado que a determinação da unidade do processo de compensação pode ser feita com base em uma comparação utilizando uma função de custo como expressa pela Equação 6. Matemática 6 N N

Equação 6

[000160] Aqui, "Input (i)" representa um io bloco na área A do sinal de entrada, e "oftRec (i)" representa um io bloco na área A do sinal codificado. Aqui, somente o sinal de croma ou tanto o sinal de luma quanto o sinal de croma podem ser utilizados. Mais ainda, "diff (A, B)" representa uma função que retorna um valor de diferença entre um bloco A e um bloco B. O valor de diferença é obtido calculando um erro absoluto, por exemplo. Mais ainda, "bit (A)" é uma função que retorna o número de bits gerados quando o bloco A é codificado. Mais ainda, "À" representa um parâmetro de ponderação e é ajustado de acordo, por exemplo, com o QP.

[000161] Por exemplo, a unidade de determinação de unidade de compensação 790 executa um cálculo de acordo com a Equação 6 para cada um dos casos: onde o mesmo valor de compensação é utilizado para todos os blocos; e onde um diferente valor de compensação é utilizado para cada um dos blocos. Então, fazendo uma comparação como expressa pela Equação 7, a unidade de determinação de unidade de compensação 790 determina a unidade do processo de compensação. Matemática 7

... Equação 7

[000162] Aqui, "cost_inv" representa um valor de custo da Equação 6 no caso onde um diferente valor de compensação é utilizado para cada um dos blocos, e "cost_all" representa um valor de custo da Equação 6 no caso onde o mesmo valor de compensação é utilizado para todos os blocos da área A. Quando jdg3 = 0, a unidade de determinação de unidade de compensação 790 determina que o processo de compensação deve ser executado utilizando um diferente valor de compensação para cada um dos blocos. Por outro lado, quando jdg3 = 1, a unidade de determinação de unidade de compensação 790 determina que o processo de compensação deve ser executado utilizando o mesmo valor de compensação para todos os blocos. Como um resultado, a codificação pode ser executada, com o número de bits e a aparência de distorção de cor estando em equilíbrio.

[000163] Deve ser notado que, como descrito na Modalidade 2, a codificação do valor de compensação pode ser executada somente sobre um bloco onde o processo de compensação é requerido. Para ser mais específico, quando o processo de compensação não é requerido, o valor de compensação deste bloco não é codificado. Com isto, o número de bits do sinal codificado pode ser adicionalmente suprimido.

[000164] Deve ser notado que o processo de compensação acima mencionado pode também ser executado sobre o sinal de luma no mesmo modo. Como um resultado, um sinal de imagem codificado mais próximo em luma ao sinal de entrada pode ser obtido também.

APARELHO DE DECODIFICAÇÃO DE IMAGEM

[000165] A FIG. 12 é um diagrama de blocos que mostra um exemplo de uma configuração de um aparelho de decodificação de imagem 400 nas Modalidades 4 a 6 de acordo com a presente invenção.

[000166] O aparelho de decodificação de imagem 400 decodifica os dados de imagem codificados gerados por codificação de compressão. Por exemplo, o aparelho de decodificação de imagem 400 recebe os dados de imagem codificados para cada bloco como um sinal corrente a ser decodificado. O aparelho de decodificação de imagem 400 restaura os dados de imagem executando uma de decodificação de comprimento variável, uma quantização inversa, e uma transformada inversa sobre o sinal corrente recebido a ser decodificado.

[000167] Como mostrado na FIG. 4, o aparelho de decodificação de imagem 400 inclui uma unidade de decodificação de entropia 410, uma unidade de quantização - transformada inversa 420, um adicionador 425, um filtro de desbloqueio 430, uma memória 440, uma unidade de intrapredição 450, uma unidade de estimativa de movimento 270, uma unidade de compensação de movimento 460, e um comutador de intra/inter seleção 470.

[000168] A unidade de decodificação de entropia 410 restaura os coeficientes quantizados executando uma decodificação de comprimento variável sobre um sinal de entrada (um fluxo de entrada). Aqui, o sinal de entrada (ou fluxo de entrada) é um sinal corrente a ser decodificado e corresponde a dados de cada bloco incluídos nos dados de imagem codificada. Mais ainda, a unidade de decodificação de entropia 410 obtém os dados de movimento do sinal de entrada e emite os dados de movimento obtidos para a unidade de compensação de movimento 460.

[000169] A unidade de quantização - transformada inversa 420 restaura os coeficientes de transformada executando uma quantização inversa sobre o sinal de croma na Modalidade 4. A FIG. 15 é um diagrama de blocos que mostra um exemplo da configuração do aparelho de processamento de imagem 800 na Modalidade 4 de acordo com a presente invenção. Deve ser notado que, como posteriormente descrito, o aparelho de processamento de imagem 800 na Modalidade 4 de acordo com a presente invenção corresponde a uma parte do aparelho de decodificação de imagem que decodifica um sinal codificado e emite os dados de imagem decodificados.

[000170] Como mostrado na FIG. 15, o aparelho de processamento de imagem 800 inclui uma unidade de decodificação de comprimento variável 810, uma unidade de obtenção de sinal residual 820, uma unidade de geração de sinal de croma intrapredito 830, uma unidade de geração de sinal de croma decodificado temporário 840, e uma unidade de adição de valor de compensação 850.

[000171] Uma operação executada pelo aparelho de processamento de imagem 800 na Modalidade 4 de acordo com a presente invenção está descrita em mais detalhes, com referência à FIG. 16. A FIG. 16 é um fluxograma que mostra um processo executado pelo aparelho de processamento de imagem 800.

[000172] Primeiramente, a unidade de decodificação de comprimento variável 810 obtém os coeficientes quantizados, um modo de intrapredição, e um valor de compensação executando uma decodificação de comprimento variável sobre o fluxo de bits, e emite os coeficientes quantizados, o modo de intrapredição, e o valor de compensação obtidos para a unidade de obtenção de sinal residual 820 e a unidade de adição de valor de compensação 850 (Etapa S8001).

[000173] A seguir, a unidade de obtenção de sinal residual 820 obtém um sinal residual decodificado executando uma quantização inversa e uma transformada inversa sobre os coeficientes quantizados, e emite o sinal residual decodificado para a unidade de geração de sinal de croma decodificado temporário 840 (Etapa S8002). O sinal residual decodificado foi aproximado mais grosseiramente pela quantização no momento de codificação. Por conta disto, quando o sinal de croma decodificado é gerado utilizando este sinal residual, um erro com relação à imagem de entrada ainda a ser codificada é causado.

[000174] A seguir, a unidade de geração de sinal de croma intrapredito 830 gera um sinal de croma intrapredito com base no modo de intrapredição do sinal de croma, e emite o sinal de croma intrapredito para a unidade de geração de sinal de croma decodificado temporário 840 (Etapa S8003). O modo de intrapredição do sinal de croma é indicado como um número de índice atribuído a um método de geração do sinal de croma intrapredito. O modo de intrapredição é determinado para cada bloco em intrapredição executado no momento de codificação. O sinal de croma intrapredito é gerado utilizando, conforme apropriado, um sinal de luma codificado de um bloco vizinho o sinal de croma codificado de um bloco vizinho, um sinal de luma codificado do bloco corrente a ser processado.

[000175] A seguir, a unidade de geração de sinal de croma decodificado temporário 840 gera um sinal de croma decodificado temporário do sinal residual decodificado e do sinal de croma intrapredito (Etapa S8004). O sinal de croma decodificado temporário é calculado adicionando o sinal residual decodificado ao sinal de croma intrapredito.

[000176] A seguir a unidade de adição de valor de compensação 850 gera um sinal de croma decodificado adicionando o valor de compensação ao sinal de croma decodificado temporário (Etapa S8006). Nota-se que o valor de compensação é calculado quando a intrapredição é feita no momento de codificação. O sinal de croma decodificado gerado pela unidade de adição de valor de compensação 850 é armazenado em uma memória, a qual não está ilustrada, para ser utilizado em um processo de intrapredição posterior, por exemplo.

[000177] Com isto, um erro entre o sinal de croma de entrada ainda a ser codificado e o sinal de croma decodificado pode ser reduzido. Mais ainda, a distorção de cor do sinal de croma decodificado pode ser suprimida.

[000178] Deve ser notado que o processo de compensação acima mencionado pode também ser executado sobre o sinal de luma no mesmo modo. Como um resultado, um sinal de imagem codificado mais próximo em luma do sinal de entrada pode ser obtido também.

[000179] A FIG. 21 é um diagrama que mostra um exemplo onde a Modalidade 4 de acordo com a presente invenção está mostrada como uma sintaxe com base em um padrão HEVC (ver Literatura Não de Patente 3). Quando um sinal de imagem no formato YUV é codificado, os valores de compensação dos componentes U e V são decodificados para cada unidade de predição após o modo de intrapredição do sinal de croma ser decodificado.

MODALIDADE 5

[000180] Um método de decodificação de imagem na Modalidade 5 ainda executa o seguinte processo. Mais especificamente, na execução da decodificação de comprimento variável, as primeiras informações de sinalizador que indicam se o processo de compensação é ou não requerido são adicionalmente obtidas. Na execução do processo de compensação, o processo de compensação é executado quando as primeiras informações de sinalizador indicam que o processo de compensação é requerido.

[000181] A seguir, uma operação executada por um aparelho de processamento de imagem (uma unidade de intrapredição de sinal de croma) 900 na Modalidade 5 de acordo com a presente invenção será descrita.

[000182] A FIG. 17 é um diagrama de blocos que mostra uma configuração do aparelho de processamento de imagem 900 na Modalidade 5.

[000183] Como mostrado na FIG. 17, o aparelho de processamento de imagem 900 inclui uma unidade de decodificação de comprimento variável 910, uma unidade de obtenção de sinal residual 920, uma unidade de geração de sinal de croma decodificado temporário 930, uma unidade de geração de sinal de croma intrapredito 940, uma unidade de adição de valor de compensação 950, e uma unidade de determinação de compensação 960. Mais especificamente, se comparada com o aparelho de processamento de imagem 800 mostrado na FIG. 15, o aparelho de processamento de imagem 900 mostrado na FIG. 17, além disso, inclui a unidade de determinação de compensação 960. Os outros componentes do aparelho de processamento de imagem 900 são idênticos aos componentes correspondentes do aparelho de processamento de imagem 800 e, portanto, as explicações detalhadas destes componentes não são aqui repetidas.

[000184] As descrições dos componentes que estão incluídos no aparelho de processamento de imagem 900 e idênticos aos componentes correspondentes incluídos no aparelho de processamento de imagem 800 na Modalidade 4 são omitidas. Assim, a unidade de determinação de compensação 970 que é uma diferença entre o aparelho de processamento de imagem 900 e o aparelho de processamento de imagem 800 está descrita. Para ser mais específico na Modalidade 5, se o processo de compensação é ou não requerido é determinado e o processo de compensação é executado somente sobre o bloco onde o processo de compensação é requerido.

[000185] A seguir, a intrapredição de sinal de croma executada pelo aparelho de processamento de imagem 900 será descrita. A FIG. 18 é um fluxograma que mostra a intrapredição de sinal de croma de acordo com o método de codificação de imagem na Modalidade 5. Explicações detalhadas sobre os processos mostrados na FIG. 18 que são idênticos aos processos correspondentes explicados na Modalidade 4 com referência à FIG. 16 não são aqui repetidas. Assim, as Etapas S9005 a S9007 na FIG. 18 são principalmente descritas.

[000186] Na Etapa S9005, a unidade de determinação de compensação 960 determina, utilizando o sinal de luma decodificado e o sinal de croma decodificado temporário do bloco corrente, se o processo de compensação é ou não requerido. Esta determinação é feita de acordo com, por exemplo, o mesmo método que utilizado na Modalidade 2. A distorção de cor causada pelo sinal de croma decodificado por um erro entre o sinal de croma de entrada ainda a ser codificado e o sinal de croma decodificado depende dos valores do sinal de croma e do sinal de luma. Mais especificamente, mesmo com o mesmo valor de erro, a distorção de cor aparece diferentemente na qualidade de imagem subjetiva de acordo com os valores do sinal de croma e do sinal de luma. Por conta disto, a unidade de determinação de compensação 960 determina que o processo de compensação é requerido quando o sinal decodificado temporário existe em uma faixa (pode também ser daqui em diante referida como "a faixa A") onde a distorção de cor na qualidade de imagem subjetiva está aparente no espaço de croma e no espaço de luma.

[000187] Uma estrutura de dados da faixa A pode ser expressa com base no valor máximo e no valor mínimo para cada componente de YUV e RGB, ou com base em um mapa de cor que tem três eixos geométricos que correspondem a YUV ou RGB. Mais ainda, o sinal de entrada utilizado para a determinação pode ser, por exemplo, valores médios do sinal de croma de entrada e do sinal de luma de entrada no bloco corrente, componentes DC obtidos por transformada de frequência executadas no sinal de croma de entrada e no sinal de luma de entrada, ou valores medianos do sinal de croma de entrada e do sinal de luma de entrada.

[000188] Então, quando é determinado na Etapa S9005 que o processo de compensação é requerido, as Etapas S9006 a S9007 são executadas. Na etapa S9006, a unidade de decodificação de comprimento variável 910 obtém o valor de compensação executando uma decodificação de comprimento variável sobre o fluxo de bits, e emite o valor de compensação obtido para unidade de adição de valor de compensação 950.

[000189] A seguir, na Etapa S9007, a unidade de adição de valor de compensação 950 gera um sinal de croma decodificado adicionando o valor de compensação ao sinal de croma decodificado temporário. O sinal de croma decodificado gerado pela unidade de adição de valor de compensação 950 é armazenado em uma memória, a qual não está ilustrada no diagrama, para ser utilizado para um processo de intrapredição posterior, por exemplo.

[000190] Por outro lado, quando é determinado na Etapa S9005 que o processo de compensação não é requerido, o processo de compensação não é executado. Assim, o sinal de croma decodificado temporário é utilizado como o sinal de croma decodificado sem mudanças.

[000191] Com isto, a distorção de cor do sinal de croma codificado pode ser suprimida enquanto o número de bits do fluxo de bits é suprimido.

[000192] Deve ser notado que o processo de compensação acima mencionado pode também ser executado sobre o sinal de luma no mesmo modo. Como um resultado, um sinal de imagem codificado mais próximo em luma do sinal de entrada pode ser obtido também.

[000193] Um método para determinar se o processo de compensação é ou não requerido não está limitado ao método acima mencionado. Por exemplo, a unidade de determinação de compensação 960 obtém, do fluxo de bits, as primeiras informações de sinalizador que indicam se o processo de compensação é ou não requerido. Então, se o processo de compensação é ou não requerido pode ser determinado de acordo com o valor ajustado nas primeiras informações de sinalizador obtidas.

MODALIDADE 6

[000194] Um método de decodificação de imagem na Modalidade 6 ainda executa o seguinte processo. Para ser mais específico, na obtenção de coeficientes quantizados e primeiras informações de sinalizador, segundas informações de sinalizador são adicionalmente obtidas, as segundas informações de sinalizador indicando se o valor de compensação para um bloco previamente decodificado adjacente ao bloco decodificado ou o valor de compensação recentemente calculado para o bloco decodificado temporário é ou não utilizado no processo de compensação a ser executado sobre o bloco decodificado temporário (isto é, as segundas informações de sinalizador indicando se o valor de compensação precisa ou não ser atualizado). Na geração do bloco decodificado, o processo de compensação é executado sobre o bloco decodificado temporário utilizando o valor de compensação indicado pelas segundas informações de sinalizador.

[000195] A seguir, uma operação executada por um aparelho de processamento de imagem (uma unidade de intrapredição de sinal de croma) 1000 na Modalidade 6 de acordo com a presente invenção será descrita.

[000196] A FIG. 19 é um diagrama de blocos que mostra uma configuração do aparelho de processamento de imagem 1000 na Modalidade 6.

[000197] Como mostrado na FIG. 19, o aparelho de processamento de imagem 1000 inclui uma unidade de decodificação de comprimento variável 1010, uma unidade de obtenção de sinal residual 1020, uma unidade de geração de sinal de croma intrapredito 1030, uma unidade de geração de sinal de croma decodificado temporário 1040, uma unidade de adição de valor de compensação 1060, e uma unidade de obtenção de informações de unidade de compensação 1070. Mais especificamente, se comparado com o aparelho de processamento de imagem 800 mostrado na FIG. 15, o aparelho de processamento de imagem 1000, além disso, inclui a unidade de obtenção de informações de unidade de compensação 1070. Os outros componentes do aparelho de processamento de imagem 1000 são idênticos aos componentes correspondentes do aparelho de processamento de imagem 800 e, portanto, as explicações detalhadas destes componentes não são aqui repetidas.

[000198] As descrições dos componentes que estão incluídos no aparelho de processamento de imagem 1000 e idênticos aos componentes correspondentes incluídos no aparelho de processamento de imagem 800 na Modalidade 4 são omitidas. Assim, a unidade de obtenção de informações de unidade de compensação 1070 que é uma diferença entre o aparelho de processamento de imagem 1000 e o aparelho de processamento de imagem 800 está descrita. O aparelho de processamento de imagem 1000 na Modalidade 6 permite que o processo de compensação seja executado sobre uma pluralidade de blocos vizinhos utilizando o mesmo valor de compensação.

[000199] A seguir, a intrapredição de sinal de croma executada pelo aparelho de processamento de imagem 1000 será descrita. A FIG. 20 é um fluxograma que mostra a intrapredição de sinal de croma de acordo com o método de decodificação de imagem na Modalidade 6. Explicações detalhadas sobre os processos que são idênticos aos processos correspondentes explicados na Modalidade 4 com referência à FIG. 16 não são aqui repetidas. Assim, a Etapa S10001 e as Etapas S10005 a S10007 na FIG. 20 são principalmente descritas.

[000200] Na Etapa S10001, a unidade de decodificação de comprimento variável 1010 obtém os coeficientes quantizados, um modo de intrapredição, e informações de unidade de compensação executando uma decodificação de comprimento variável sobre o fluxo de bits, e emite os coeficientes quantizados, o modo de intrapredição, e as informações de unidade de compensação obtidos para a unidade de obtenção de sinal residual 1020, a unidade de geração de sinal de croma intrapredito 1030, a unidade de obtenção de informações de unidade de compensação 1070 e a unidade de adição de valor de compensação 1070. As informações de unidade de compensação referem-se a informações sobre se, em uma área A que inclui uma pluralidade de blocos, o mesmo valor de compensação é utilizado para todos os blocos ou um diferente valor de compensação é utilizado para cada um dos blocos.

[000201] A seguir, na Etapa S10005, a unidade de adição de valor de compensação 1070 verifica, das informações de unidade de compensação, se o valor de compensação precisa ou não ser atualizado e emite o resultado para a unidade de codificação de comprimento variável 1010. Quando o mesmo valor de compensação é utilizado para todos os blocos da área A, o valor de compensação é atualizado somente quando o processo de compensação é completado para todos os blocos da área A. Por outro lado, quando um diferente valor de compensação é utilizado para cada um dos blocos da área A, o valor de compensação é atualizado para cada um dos blocos.

[000202] Quando o valor de compensação precisa ser atualizado, a unidade de decodificação de comprimento variável 1010 obtém o valor de compensação executando uma decodificação de comprimento variável sobre o fluxo de bits e emite o valor de compensação obtido para a unidade de adição de valor de compensação 1060 na Etapa S10006. Aqui, o valor de compensação é calculado quando uma intrapredição é feita no momento de codificação.

[000203] A seguir, na Etapa S10007, a unidade de adição de valor de compensação 1060 gera um sinal de croma decodificado adicionando o valor de compensação ao sinal de croma decodificado temporário.

[000204] Como um resultado, os valores de compensação de uma área maior do que um bloco podem ser codificados por uma operação. Isto pode suprimir um aumento no número de bits do sinal codificado e também suprimir uma distorção de cor do sinal de croma decodificado.

[000205] Deve ser notado que o processo de compensação acima mencionado pode também ser executado sobre o sinal de luma no mesmo modo. Como um resultado, um sinal de imagem codificado mais próximo em luma ao sinal de entrada pode ser obtido também.

[000206] A FIG. 22 é um diagrama que mostra um exemplo onde a Modalidade 6 de acordo com a presente invenção está mostrada como uma sintaxe com base no padrão HEVC (ver Literatura Não de Patente 3). Quando um sinal de imagem no formato YUV é codificado, os valores de compensação dos componentes U e V são decodificados para cada árvore de codificação (um grupo de unidades de codificação) no caso de uma fatia I, após o modo de intrapredição do sinal de croma ser decodificado.

MODALIDADE 7

[000207] O processamento descrito em cada uma das modalidades pode ser simplesmente implementado em um sistema de computador independente, gravando, em um meio de gravação, um programa para implementar as configurações do método de codificação de imagem móvel (método de codificação de imagem) e o método de decodificação de imagem móvel (método de decodificação de imagem) descritos em cada uma das modalidades. O meio de gravação pode ser qualquer meio de gravação desde que o programa possa ser gravado, tal como um disco magnético, um disco óptico, um disco magnético óptico, um cartão IC, e uma memória de semicondutor.

[000208] Daqui em diante, as aplicações para o método de codificação de imagem móvel (método de codificação de imagem) e o método de decodificação de imagem móvel (método de decodificação de imagem) descritos em cada uma das modalidades e sistemas utilizando os mesmos serão descritas. O sistema tem uma característica de ter um aparelho de codificação e decodificação de imagem que inclui um aparelho de codificação de imagem que utiliza o método de codificação de imagem e um aparelho de decodificação de imagem que utiliza o método de decodificação de imagem. Outras configurações no sistema podem ser mudadas como apropriado dependendo dos casos.

[000209] A FIG. 23 ilustra uma configuração total de um sistema de provisão de conteúdo ex100 para implementar os serviços de distribuição de conteúdo. A área para prover os serviços de comunicação está dividida em células de tamanho desejado, e estações de base ex106, ex107, ex108, ex109, e ex110 as quais são estações sem fio fixas estão colocadas dentro de cada uma das células.

[000210] O sistema de provisão de conteúdo ex100 está conectado a dispositivos, tais como um computador ex111, um assistente digital pessoal (PDA) ex112, uma câmera ex113, um telefone celular ex114 e uma máquina de jogos ex115, através da Internet ex101, um provedor de serviço de Internet ex102, uma rede telefônica ex104, assim como as estações de base ex106 a ex110, respectivamente.

[000211] No entanto, a configuração do sistema de provisão de conteúdo ex100 não está limitada à configuração mostrada na FIG. 23, e uma combinação na qual qualquer um dos elementos está conectado é aceitável. Além disso, cada dispositivo pode estar diretamente conectado na rede telefônica ex104, ao invés de através das estações de base ex106 a ex110 as quais são estações sem fio fixas. Mais ainda, os dispositivos podem estar interconectados uns com os outros através de uma comunicação sem fio de curta distância e outros.

[000212] A câmera ex113, tal como uma câmera de vídeo digital, é capaz de capturar vídeo. Uma câmera ex116, tal como uma câmera digital, é capaz de capturar tanto imagens paradas quanto vídeo. Mais ainda, o telefone celular ex114 pode ser um que atenda qualquer um dos padrões tais como Sistema Global Para Comunicações Móveis (GSM) (marca registrada), Acesso Múltiplo de Divisão de Código (CDMA), Acesso Múltiplo de Divisão de Código de Banda Larga (W- CDMA), Evolução de Longo Prazo (LTE), e Acesso de Pacote de Alta Velocidade (HSPA). Alternativamente, o telefone celular ex114 pode ser um Sistema de Handyphone Pessoal (PHS).

[000213] No sistema de provisão de conteúdo ex100, um servidor de fluxo ex103 está conectado na câmera ex113 e outros através da rede telefônica ex104 e da estação de base ex109 o que permite a distribuição de imagens de um show ao vivo e outras. Em tal distribuição, um conteúdo (por exemplo, o vídeo de um show ao vivo de música) capturado pelo usuário utilizando a câmera ex113 é codificado como acima descrito em cada uma das modalidades (isto é, a câmera funciona como o aparelho de codificação de imagem de acordo com um aspecto da presente invenção) e o conteúdo codificado é transmitido para o servidor de fluxo ex103. Por outro lado, o servidor de fluxo ex103 executa a distribuição de fluxo dos dados de conteúdo transmitidos para os clientes sob suas solicitações. Os clientes incluem o computador ex111, o PDA ex112, a câmera ex113, o telefone celular ex114, e a máquina de jogos ex115 que são capazes de decodificar os dados codificados acima mencionados. Cada um dos dispositivos que recebeu os dados distribuídos decodifica e reproduz os dados codificados (isto é, funciona como o aparelho de decodificação de imagem de acordo com um aspecto da presente invenção).

[000214] Os dados capturados podem ser codificados pela câmera ex113 ou o servidor de fluxo ex103 que transmite os dados, ou os processos de codificação podem ser compartilhados entre a câmera ex113 e o servidor de fluxo ex103. Similarmente, os dados distribuídos podem ser decodificados pelos clientes ou o servidor de fluxo ex103, ou os processos de decodificação podem ser compartilhados entre os clientes e o servidor de fluxo ex103. Mais ainda, os dados das imagens paradas e de vídeo capturados não somente pela câmera ex113, mas também pela câmera ex116 podem ser transmitidos para o servidor de fluxo ex103 através do computador ex111. Os processos de codificação podem ser executados pela câmera ex116, o computador ex111, ou o servidor de fluxo ex103, ou compartilhados entre estes.

[000215] Mais ainda, os processos de codificação e decodificação podem ser executados por um LSI ex500 geralmente incluído em cada um do computador ex111 e os dispositivos. O LSI ex500 pode ser configurado de um único chip ou uma pluralidade de chips. O software para codificar e decodificar o vídeo pode estar integrado em algum tipo de um meio de gravação (tal como um CD-ROM, um disco flexível, e um disco rígido) que é legível pelo computador ex111 e outros, e os processos de codificação e decodificação podem ser executados utilizando o software. Mais ainda, quando o telefone celular ex114 está equipado com uma câmera, os dados de vídeo obtidos pela câmera podem ser transmitidos. Os dados de vídeo são dados codificados pelo LSI ex500 incluído no telefone celular ex114.

[000216] Mais ainda, o servidor de fluxo ex103 pode ser composto de servidores e computadores, e pode descentralizar os dados e processar os dados descentralizados, gravar, ou distribuir dados.

[000217] Como acima descrito, os clientes podem receber e reproduzir os dados codificados no sistema de provisão de conteúdo ex100. Em outras palavras, os clientes podem receber e decodificar as informações transmitidas pelo usuário, e reproduzir os dados decodificados em tempo real no sistema de provisão de conteúdo ex100, de modo que o usuário que não tem nenhum direito e equipamento específico pode implementar uma transmissão pessoal.

[000218] Além do exemplo do sistema de provisão de conteúdo ex100, pelo menos um do aparelho de codificação de imagem móvel (aparelho de codificação de imagem) e do aparelho de decodificação de imagem móvel (aparelho de decodificação de imagem) descritos em cada uma das modalidades pode estar implementado em um sistema de transmissão digital ex200 ilustrado na FIG. 24. Mais especificamente, uma estação de transmissão ex201 comunica ou transmite, através de ondas de rádio para um satélite de transmissão ex202, dados multiplexados obtidos multiplexando os dados de áudio e outros por sobre dados de vídeo. Os dados de vídeo são dados codificados pelo método de codificação de imagem móvel descrito em cada uma das modalidades (isto é, dados codificados pelo aparelho de codificação de imagem de acordo com um aspecto da presente invenção). Quando do recebimento dos dados multiplexados, o satélite de transmissão ex202 transmite as ondas de rádio para transmissão. Então, uma antena de uso doméstico ex204 com uma função de recepção de transmissão de satélite recebe as ondas de rádio. A seguir, um dispositivo tal como uma televisão (receptor) ex300 e um conversor (STB) ex217 decodifica os dados multiplexados recebidos, e reproduz os dados decodificados (isto é, funciona como o aparelho de decodificação de imagem de acordo com um aspecto da presente invenção).

[000219] Mais ainda, um leitor/gravador ex218 (i) lê e decodifica os dados multiplexados gravados em um meio de gravação ex215, tal como um DVD e um BD, ou (i) codifica os sinais de vídeo no meio de gravação ex215, e em alguns casos, escreve os dados obtidos por multiplexação de um sinal de áudio sobre os dados codificados. O leitor/gravador ex218 pode incluir o aparelho de decodificação de imagem móvel ou o aparelho de codificação de imagem móvel como mostrado em cada uma das modalidades. Neste caso, os sinais de vídeo reproduzidos são exibidos no monitor ex219, e podem ser reproduzidos por outro dispositivo ou sistema utilizando o meio de gravação ex215 sobre o qual os dados multiplexados estão gravados. É também possível implementar o aparelho de decodificação de imagem móvel no conversor ex217 conectado no cabo ex203 para uma televisão a cabo ou na antena ex204 para transmissão de satélite e/ou terrestre, de modo a exibir os sinais de vídeo no monitor ex219 da televisão ex300. O aparelho de decodificação de imagem móvel pode estar implementado não no conversor, mas na televisão ex300.

[000220] A FIG. 25 ilustra a televisão (receptor) ex300 que utiliza o método de codificação de imagem móvel e o método de decodificação de imagem móvel descritos em cada uma das modalidades. A televisão ex300 inclui: um sintonizador ex301 que obtém ou provê os dados multiplexados obtidos por multiplexação de dados de áudio sobre dados de vídeo, através da antena ex204 ou do cabo ex203, etc. que recebe uma transmissão; uma unidade de modulação/demodulação ex302 que demodula os dados multiplexados recebidos ou modula os dados em dados multiplexados a serem supridos para fora; e uma unidade de multiplexação/demultiplexação ex303 que demultiplexa os dados multiplexados modulados em dados de vídeo e dados de áudio, ou multiplexa os dados de vídeo e os dados de áudio codificados por uma unidade de processamento de sinal ex306 em dados.

[000221] A televisão ex300 ainda inclui: uma unidade de processamento de sinal ex306 que inclui uma unidade de processamento de sinal de áudio ex304 e uma unidade de processamento de sinal de vídeo ex305 que decodificam os dados de áudio e os dados de vídeo e codificam os dados de áudio e os dados de vídeo, respectivamente (o que funciona como o aparelho de codificação de imagem e o aparelho de decodificação de imagem de acordo com os aspectos da presente invenção); e uma unidade de saída ex309 que inclui um alto-falante ex307 que provê o sinal de áudio decodificado, e uma unidade de display ex308 que exibe o sinal de vídeo decodificado, tal como um display. Mais ainda, a televisão ex300 inclui uma unidade de interface ex317 que inclui uma unidade de entrada de operação ex312 que recebe uma entrada de uma operação de usuário. Mais ainda, a televisão ex300 inclui uma unidade de controle ex310 que controla no total cada elemento constituinte da televisão ex300, e uma unidade de circuito de fonte de alimentação ex311 que supre energia para cada um dos elementos. Outras que a unidade de entrada de operação ex312, a unidade de interface ex317 podem incluir: uma ponte ex313 que está conectada a um dispositivo externo, tal como o leitor/gravador ex218; uma unidade de fenda ex314 que permite a fixação do meio de gravação ex216, tal como um cartão SD; um driver ex315 para ser conectado a um meio de gravação externo, tal como um disco rígido; e um modem ex316 para ser conectado a uma rede telefônica. Aqui, o meio de gravação ex216 pode gravar eletricamente as informações utilizando um elemento de memória de semicondutor não volátil/volátil para armazenamento. Os elementos constituintes da televisão ex300 estão conectados uns nos outros através de um barramento síncrono.

[000222] Primeiro, a configuração na qual a televisão ex300 decodifica os dados multiplexados obtidos de fora através da antena ex204 e outros e reproduz os dados decodificados será descrita. Na televisão ex300, quando de uma operação de usuário através de um controle remoto ex220 e outros, a unidade de multiplexação/demultiplexação ex303 demultiplexa os dados multiplexados demodulados pela unidade de modulação/demodulação ex302, sob o controle da unidade de controle ex310 que inclui uma CPU. Mais ainda, a unidade de processamento de sinal de áudio ex304 decodifica os dados de áudio demultiplexados, e a unidade de processamento de sinal de vídeo ex305 decodifica os dados de vídeo demultiplexados, utilizando o método de decodificação descrito em cada uma das modalidades, na televisão ex300. A unidade de saída ex309 provê o sinal de vídeo e o sinal de áudio decodificados para fora, respectivamente. Quando a unidade de saída ex309 provê o sinal de vídeo e o sinal de áudio, os sinais podem ser temporariamente armazenados em armazenamentos temporários ex318 e ex319, e outros de modo que os sinais sejam reproduzidos em sincronização um com o outro. Mais ainda, a televisão ex300 pode ler os dados multiplexados não através de uma transmissão e outros, mas do meio de gravação ex215 e ex216, tal como um disco magnético, um disco óptico, e um cartão SD. A seguir, uma configuração na qual a televisão ex300 codifica um sinal de áudio e um sinal de vídeo, e transmite os dados para fora ou escreve os dados em um meio de gravação será descrita. Na televisão ex300, quando de uma operação de usuário através do controle remoto ex220 e outros, a unidade de processamento de sinal de áudio ex304 codifica um sinal de áudio, e a unidade de processamento de sinal de vídeo ex305 codifica um sinal de vídeo, sob o controle da unidade de controle ex310 utilizando o método de codificação descrito em cada uma das modalidades. A unidade de multiplexação/demultiplexação ex303 multiplexa o sinal de vídeo e o sinal de áudio codificados, e provê o sinal resultante para fora. Quando a unidade de multiplexação/demultiplexação ex303 multiplexa o sinal de vídeo e o sinal de áudio os sinais podem ser temporariamente armazenados nos armazenamentos temporários ex320 e ex321, e outros de modo que os sinais sejam reproduzidos em sincronização um com o outro. Aqui, os armazenamentos temporários ex318, ex319, ex320, e ex321 podem ser plurais como ilustrado, ou pelo menos um armazenamento temporário pode ser compartilhado na televisão ex300. Mais ainda, os dados podem ser armazenados em um armazenamento temporário de modo que o transbordamento e subtransbordamento do sistema possam ser evitados entre a unidade de modulação/demodulação ex302 e a unidade de multiplexação/demultiplexação ex303, por exemplo.

[000223] Mais ainda, a televisão ex300 pode incluir uma configuração para receber uma entrada AV de um microfone ou uma câmera outra que a configuração para obter dados de áudio e vídeo de uma transmissão ou um meio de gravação, e pode codificar os dados obtidos. Apesar da televisão ex300 poder codificar, multiplexar, e prover dados externos na descrição, esta pode ser capaz de somente receber, decodificar, e prover dados externos, mas não a codificação, multiplexação, e a provisão de dados externos.

[000224] Mais ainda, quando o leitor/gravador ex218 lê ou escreve os dados multiplexados de ou em um meio de gravação, um da televisão ex300 e do leitor/gravador ex218 pode decodificar ou codificar os dados multiplexados, e a televisão ex300 e o leitor/gravador ex218 podem compartilhar a decodificação ou codificação.

[000225] Como um exemplo, a FIG. 26 ilustra uma configuração de uma unidade de reprodução/gravação de informações ex400 quando os dados são lidos ou escritos de ou sobre um disco óptico. A unidade de reprodução/gravação de informações ex400 inclui os elementos constituintes ex401, ex402, ex403, ex404, ex405, ex406, e ex407 a serem daqui em diante descritos. A cabeça óptica ex401 irradia um ponto de laser em uma superfície de gravação do meio de gravação ex215 que é um disco óptico para escrever informações, e detecta a luz refletida da superfície de gravação do meio de gravação ex215 para ler as informações. A unidade de gravação de modulação ex402 aciona eletricamente um laser de semicondutor incluído na cabeça óptica ex401, e modula a luz de laser de acordo com os dados gravados. A unidade de demodulação de reprodução ex403 amplifica um sinal de reprodução obtido detectando eletricamente a luz refletida da superfície de gravação utilizando um fotodetector incluído na cabeça óptica ex401, e demodula o sinal de reprodução separando um componente de sinal gravado sobre o meio de gravação ex215 para reproduzir as informações necessárias. O armazenamento temporário ex404 retém temporariamente as informações a serem gravadas sobre o meio de gravação ex215 e as informações reproduzidas do meio de gravação ex215. O motor de disco ex405 gira o meio de gravação ex215. A unidade de servo controle ex406 move a cabeça óptica ex401 para uma trilha de informações predeterminada enquanto controlando o acionamento de rotação do motor de disco ex405 de modo a acompanhar o ponto de laser. A unidade de controle de sistema ex407 controla em geral a unidade de reprodução/gravação de informações ex400. Os processos de leitura e escrita podem ser implementados pela unidade de controle de sistema ex407 utilizando várias informações armazenadas no armazenamento temporário ex404 e gerando e adicionando novas informações conforme necessário, e pela unidade de gravação de modulação ex402, a unidade de demodulação de reprodução ex403, e a unidade de servo controle ex406 que gravam e reproduzem as informações através da cabeça óptica ex401 enquanto sendo operadas em um modo coordenado. A unidade de controle de sistema ex407 inclui, por exemplo, um microprocessador, e executa o processamento fazendo o computador executar um programa para ler e escrever.

[000226] Apesar da cabeça óptica ex401 irradiar um ponto de laser na descrição, esta pode executar uma gravação de alta densidade utilizando luz de campo próximo.

[000227] A FIG. 27 ilustra o meio de gravação ex215 que é o disco óptico. Sobre a superfície de gravação do meio de gravação ex215, ranhuras-guia estão espiralmente formadas, e uma trilha de informações ex230 grava, com antecedência, as informações de endereço que indicam uma posição absoluta sobre o disco de acordo com uma mudança em uma forma das ranhuras-guia. As informações de endereço incluem informações para determinar as posições de blocos de gravação ex231 que são uma unidade para gravar dados. A reprodução da trilha de informações ex230 e a leitura das informações de endereço em um aparelho que grava e reproduz os dados pode levar à determinação das posições dos blocos de gravação. Mais ainda, o meio de gravação ex215 inclui uma área de gravação de dados ex233, uma área de circunferência interna ex232, e uma área de circunferência externa ex234. A área de gravação de dados ex233 é uma área para utilização na gravação dos dados de usuário. A área de circunferência interna ex232, e a área de circunferência externa ex234 que estão dentro e fora da área de gravação de dados ex233, respectivamente, são para uso específico exceto para gravar os dados de usuário. A unidade de reprodução/gravação de informações 400 lê e escreve áudio codificado, dados de vídeo codificados, ou dados multiplexados obtidos pela multiplexação dos dados de áudio e de vídeo codificados, da e sobre a área de gravação de dados ex233 do meio de gravação ex215.

[000228] Apesar de um disco óptico que tem uma camada, tal como um DVD e um BD ser descrito como um exemplo na descrição, o disco óptico não está limitado a tal, e pode ser um disco óptico que tem uma estrutura de múltiplas camadas e capaz de ser gravado sobre uma parte outra do que a superfície. Mais ainda, o disco óptico pode ter uma estrutura para gravação/reprodução multidimensional, tal como gravação de informações utilizando luz de cores com diferentes comprimentos de onda na mesma porção do disco óptico e para gravar informações que têm diferentes camadas de vários ângulos.

[000229] Mais ainda, um carro ex210 que tem uma antena ex205 pode receber dados do satélite ex202 e outros, e reproduzir vídeo em um dispositivo de display tal como um sistema de navegação de carro ex211 posicionado dentro do carro ex210, no sistema de transmissão digital ex200. Aqui, uma configuração do sistema de navegação de carro ex211 será uma configuração, por exemplo, que inclui uma unidade de recepção de GPS da configuração ilustrada na FIG. 25. O mesmo será verdadeiro para a configuração do computador ex111, o telefone celular ex114, e outros.

[000230] A FIG. 28A ilustra o telefone celular ex114 que utiliza o método de codificação de imagem móvel e o método de decodificação de imagem móvel descritos nas modalidades. O telefone celular ex114 inclui: uma antena ex350 para transmitir e receber as ondas de rádio através da estação de base ex110; uma unidade de câmera ex365 capaz de capturar imagens móveis e paradas; e uma unidade de display ex358 tal como um display de cristal líquido para exibir os dados tal como vídeo decodificado capturado pela unidade de câmera ex365 ou recebidos pela antena ex350. O telefone celular ex114 ainda inclui: uma unidade de corpo principal que inclui uma unidade de teclas de operação ex366; uma unidade de saída de áudio ex357 tal como um alto-falante para a saída de áudio; uma unidade de entrada de áudio ex356 tal como um microfone para entrada de áudio; uma unidade de memória ex367 para armazenar vídeo ou imagens paradas capturados, áudio gravado, dados codificados ou decodificados do vídeo recebido, as imagens paradas, e-mails, ou outros; e uma unidade de fenda ex364 que é uma unidade de interface para um meio de gravação que armazena dados no mesmo modo que a unidade de memória ex367.

[000231] A seguir, um exemplo de uma configuração do telefone celular ex114 será descrito com referência à FIG. 28B. No telefone celular ex114, uma unidade de controle principal ex360 projetada para controle total de cada unidade do corpo principal incluindo a unidade de display ex358 assim como a unidade de teclas de operação ex366 está conectada mutuamente, através de um barramento síncrono ex370, a uma unidade de circuito de fonte de alimentação ex361, uma unidade de controle de entrada de operação ex362, uma unidade de processamento de sinal de vídeo ex355, uma unidade de interface de câmera ex363, uma unidade de controle de display de cristal líquido (LCD) ex359, uma unidade de modulação/demodulação ex352, uma unidade de multiplexação/demultiplexação ex353, uma unidade de processamento de sinal de áudio ex354, a unidade de fenda ex364, e a unidade de memória ex367.

[000232] Quando uma tecla de final de chamada ou uma tecla de energia é LIGADA pela operação de um usuário, a unidade de circuito de fonte de alimentação ex361 supre as respectivas unidades com energia de um pacote de bateria de modo a ativar o telefone celular ex114.

[000233] No telefone celular ex114, a unidade de processamento de sinal de áudio ex354 converte os sinais de áudio coletados pela unidade de entrada de áudio ex356 em modo de conversação de voz em sinais de áudio digitais sob o controle da unidade de controle principal ex360 que inclui uma CPU, uma ROM, e uma RAM. Então, a unidade de modulação/demodulação ex352 executa um processamento de espectro expandido sobre os sinais de áudio digitais, e a unidade de transmissão e recepção ex351 executa uma conversão digital para analógica e uma conversão de frequência sobre os dados, de modo a transmitir os dados resultantes através da antena ex350. Também, no telefone celular ex114, a unidade de transmissão e recepção ex351 amplifica os dados recebidos pela antena ex350 no modo de conversação de voz e executa uma conversão de frequência e a conversão analógica para digital sobre os dados. Então, a unidade de modulação/demodulação ex352 executa um processamento de espectro expandido inverso sobre os dados, e a unidade de processamento de sinal de áudio ex354 converte-os em sinais de áudio analógicos, de modo a emití-los através da unidade de saída de áudio ex357.

[000234] Mais ainda, quando um e-mail em modo de comunicação de dados é transmitido, os dados de texto do e-mail inserido operando a unidade de teclas de operação ex366 e outras do corpo principal são enviados para a unidade de controle principal ex360 através da unidade de controle de entrada de operação ex362. A unidade de controle principal ex360 faz a unidade de modulação/demodulação ex352 execute um processamento de espectro expandido sobre os dados de texto, e a unidade de transmissão e recepção ex351 executa a conversão digital para analógica e a conversão de frequência sobre os dados resultantes para transmitir os dados para a estação de base ex110 através da antena ex350. Quando um e-mail é recebido, um processamento que é aproximadamente inverso ao processamento para transmitir um e-mail é executado sobre os dados recebidos, e os dados resultantes são providos para a unidade de display ex358.

[000235] Quando um vídeo, imagens paradas, ou vídeo e áudio no modo de comunicação de dados é ou são transmitidos, a unidade de processamento de sinal de vídeo ex355 comprime e codifica os sinais de vídeo supridos da unidade de câmera ex365 utilizando o método de codificação de imagem móvel mostrado em cada uma das modalidades (isto é, funciona como o aparelho de codificação de imagem de acordo com o aspecto da presente invenção), e transmite os dados de vídeo codificados para a unidade de multiplexação/demultiplexação ex353. Em contraste, durante quando a unidade de câmera ex365 captura um vídeo, imagens paradas, e outros, a unidade de processamento de sinal de áudio ex354 codifica os sinais de áudio coletados pela unidade de entrada de áudio ex356, e transmite os dados de áudio codificados para a unidade de multiplexação/demultiplexação ex353.

[000236] A unidade de multiplexação/demultiplexação ex353 multiplexa os dados de vídeo codificados supridos da unidade de processamento de sinal de vídeo ex355 e os dados de áudio codificados supridos da unidade de processamento de sinal de áudio ex354, utilizando um método predeterminado. Então, a unidade de modulação/demodulação (unidade de circuito de modulação/demodulação) ex352 executa um processamento de espectro expandido sobre os dados multiplexados, e a unidade de transmissão e recepção ex351 executa uma conversão digital para analógica e uma conversão de frequência sobre os dados de modo a transmitir os dados resultantes através da antena ex350.

[000237] Quando recebendo dados de um arquivo de vídeo o qual está conectado a uma página da Web e outros no modo de comunicação de dados ou quando recebendo um e-mail com vídeo e/ou áudio anexado, de modo a decodificar os dados multiplexados recebidos através da antena ex350, a unidade de multiplexação/demultiplexação ex353 demultiplexa os dados multiplexados em um fluxo de bits de dados de vídeo e um fluxo de bits de dados de áudio, e supre a unidade de processamento de sinal de vídeo ex355 com os dados de vídeo codificados e a unidade de processamento de sinal de áudio ex354 com os dados de áudio codificados, através do barramento síncrono ex370. A unidade de processamento de sinal de vídeo ex355 decodifica o sinal de vídeo utilizando um método de decodificação de imagem móvel que corresponde ao método de codificação de imagem móvel mostrado em cada uma das modalidades (isto é, funciona como o aparelho de decodificação de imagem de acordo com o aspecto da presente invenção), e então a unidade de display ex357 exibe, por exemplo, o vídeo e as imagens paradas incluídas no arquivo de vídeo conectado na página da Web através da unidade de controle de LCD ex359. Mais ainda, a unidade de processamento de sinal de áudio ex354 decodifica o sinal de áudio, e a unidade de saída de áudio provê o áudio.

[000238] Mais ainda, similarmente à televisão ex300, um terminal tal como o telefone celular ex114 provavelmente tem 3 tipos de configurações de implementação incluindo não somente (i) um terminal de transmissão e recepção que inclui tanto um aparelho de codificação quanto um aparelho de decodificação, mas também (ii) um terminal de transmissão que inclui somente um aparelho de codificação e (iii) um terminal de recepção que inclui somente um aparelho de decodificação. Apesar do sistema de transmissão digital ex200 receber e transmitir os dados multiplexados obtidos multiplexando os dados de áudio sobre dados de vídeo na descrição, os dados multiplexados podem ser dados obtidos multiplexando não dados de áudio, mas dados de caracteres relativos a dados de vídeo sobre vídeo, e podem não ser dados multiplexados, mas os próprios dados de vídeo.

[000239] Como tal, o método de codificação de imagem móvel e o método de decodificação de imagem móvel em cada uma das modalidades podem ser utilizados em qualquer um dos dispositivos e sistemas descritos. Assim, as vantagens descritas em cada uma das modalidades podem ser obtidas.

[000240] Mais ainda, a presente invenção não está limitada às modalidades, e várias modificações e revisões são possíveis sem afastar do escopo da presente invenção.

MODALIDADE 8

[000241] Os dados de vídeo podem ser gerados comutando, conforme necessário, entre (i) o método de codificação de imagem móvel ou o aparelho de codificação de imagem móvel mostrados em cada uma das modalidades e (ii) um método de codificação de imagem móvel ou um aparelho de codificação de imagem móvel em conformidade com um padrão diferente, tal como MPEG-2, MPEG-4 AVC, e VC-1.

[000242] Aqui, quando uma pluralidade de dados de vídeo que conformam aos diferentes padrões é gerada e é então decodificada, os métodos de decodificação precisam ser selecionados para conformarem aos diferentes padrões. No entanto, como para qual padrão cada um da pluralidade dos dados de vídeo a serem decodificados conforma não pode ser detectado, existe um problema que um método de decodificação apropriado não pode ser selecionado.

[000243] De modo a resolver o problema, os dados multiplexados obtidos pela multiplexação de dados de áudio e outros sobre os dados de vídeo têm uma estrutura que inclui informações de identificação que indicam para qual padrão os dados de vídeo conformam. A estrutura específica dos dados multiplexados incluindo os dados de vídeo gerados no método de codificação de imagem móvel e pelo aparelho de codificação de imagem móvel mostrados em cada uma das modalidades será daqui em diante descrita. Os dados multiplexados são um fluxo digital no formato de Fluxo de Transporte MPEG-2.

[000244] A FIG. 29 ilustra uma estrutura dos dados multiplexados. Como ilustrado na FIG. 29, os dados multiplexados podem ser obtidos multiplexando pelo menos um de um fluxo de vídeo, um fluxo de áudio, um fluxo de gráfico de apresentação (PG), e um fluxo de gráfico interativo. O fluxo de vídeo representa um vídeo primário e um vídeo secundário de um filme, o fluxo de áudio (IG) representa uma parte de áudio primário e uma parte de áudio secundário a ser misturada com a parte de áudio primário, e o fluxo de gráfico de apresentação representa as legendas do filme. Aqui, o vídeo primário é o vídeo normal a ser exibido em uma tela, e o vídeo secundário é um vídeo a ser exibido em uma janela menor dentro do vídeo primário. Mais ainda, o fluxo de gráfico interativo representa uma tela interativa a ser gerada dispondo os componentes de GUI sobre uma tela. O fluxo de vídeo é codificado no método de codificação de imagem móvel ou pelo aparelho de codificação de imagem móvel mostrados em cada uma das modalidades, ou em um método de codificação de imagem móvel ou por um aparelho de codificação de imagem móvel em conformidade com um padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC1. O fluxo de áudio é codificado de acordo com um padrão tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, e PCM linear.

[000245] Cada fluxo incluído nos dados multiplexados está identificado por PID. Por exemplo, 0x1011 está alocado para o fluxo de vídeo a ser utilizado para o vídeo de um filme, 0x1100 a 0x111F estão alocados para os fluxos de áudio, 0x1200 a 0x121F estão alocados para os fluxos de gráfico de apresentação, 0x1400 a 0x141F estão alocados para os fluxos de gráfico interativo, 0x1B00 a 0x1B1F estão alocados para os fluxos de vídeo a serem utilizados para o vídeo secundário do filme, e 0x1A00 a 0x1A1F estão alocados para os fluxos de áudio a serem utilizados para o áudio secundário a ser misturado com o áudio primário.

[000246] A FIG. 30 ilustra esquematicamente como os dados são multiplexados. Primeiro, um fluxo de vídeo ex235 composto de quadros de vídeo e um fluxo de áudio ex238 composto de quadros de áudio são transformados em um fluxo de pacotes de PES ex236 e um fluxo de pacotes de PES ex239, e adicionalmente em pacotes de TS ex237 e pacotes de TS ex240, respectivamente. Similarmente os dados de um fluxo de gráfico de apresentação ex241 e os dados de um fluxo de gráfico interativo ex244 são transformados em um fluxo de pacotes de PES ex242 e um fluxo de pacotes de PES ex245, e adicionalmente em pacotes de TS ex243 e pacotes de TS ex246, respectivamente. Estes pacotes de TS são multiplexados em um fluxo para obter os dados multiplexados ex247.

[000247] A FIG. 31 ilustra como um fluxo de vídeo é armazenado em um fluxo de pacotes de PES em mais detalhes. A primeira barra na FIG. 31 mostra um fluxo de quadros de vídeo em um fluxo de vídeo. A segunda barra mostra um fluxo de pacotes de PES. Como indicado por setas denotadas como yy1, yy2, yy3, e yy4 na FIG. 31, o fluxo de vídeo está dividido em imagens como imagens I, imagens B, e imagens P cada uma das quais é uma unidade de apresentação de vídeo, e as imagens são armazenadas em uma carga de cada um dos pacotes de PES. Cada um dos pacotes de PES tem um cabeçalho de PES, e o cabeçalho de PES armazena uma Estampa de Tempo de Apresentação (PTS) que indica um tempo de exibição da imagem e uma Estampa de Tempo de Decodificação (DTS) que indica um tempo de decodificação da imagem.

[000248] A FIG. 32 ilustra um formato de pacotes de TS a serem finalmente escritos sobre os dados multiplexados. Cada um dos pacotes de TS é um pacote de comprimento fixo de 188 bytes que inclui um cabeçalho de TS de 4 bytes que tem informações, tal como um PID para identificar um fluxo e uma carga de TS de 184 bytes para armazenar os dados. Os pacotes de PES são divididos, e armazenados nas cargas de TS, respectivamente. Quando uma BD ROM é utilizada, a cada um dos pacotes de TS é dado um TP_Extra_Header de 4 bytes assim resultando em pacotes de fonte de 192 bytes. Os pacotes de fonte são escritos sobre os dados multiplexados. O TP_Extra_Header armazena informações tal como uma Arrival_Time_Stamp (ATS). A ATS mostra um tempo de início de transferência no qual cada um dos pacotes de TS deve ser transferido para um filtro de PID. Os pacotes de fonte são dispostos nos dados multiplexados como mostrado no fundo da FIG. 32. Os números que incrementam do topo dos dados multiplexados são denominados números de pacote de fonte SPNs).

[000249] Cada um dos pacotes de TS incluídos nos dados multiplexados inclui não somente fluxos de áudio, vídeo, legendas de outros, mas também uma Tabela de Associação de Programa (PAT), uma Tabela de Mapa de Programa (PMT), e uma Referência de Relógio de Programa (PCR). A PAT mostra o que um PID em uma PMT utilizada nos dados multiplexados indica, e um PID da própria PAT é registrado como zero. A PMT armazena os PIDs dos fluxos de vídeo, áudio, legendas e outros incluídos nos dados multiplexados e as informações de atributo dos fluxos que correspondem aos PIDs. A PMT também tem vários descritores relativos aos dados multiplexados. Os descritores têm informações tais como informações de controle de cópia que mostram se a cópia dos dados multiplexados é permitida ou não. A PCR armazena as informações de tempo de STC que correspondem a um ATS que mostra quando o pacote de PCR é transferido para um decodificador, de modo a obter a sincronização entre um Relógio de Tempo de Chegada (ATC) que é um eixo geométrico de tempo de ATSs, e um Relógio de Tempo de Sistema (STC) que é um eixo geométrico de tempo de PTSs e DTSs.

[000250] A FIG. 33 ilustra uma estrutura de dados da PMT em detalhes. Um cabeçalho de PMT está disposto no topo da PMT. O cabeçalho de PMT descreve o comprimento de dados incluídos na PMT e outros. Uma pluralidade de descritores relativos aos dados multiplexados está disposta após o cabeçalho de PMT. Informações tais como as informações de controle de cópia estão descritas nos descritores. Após os descritores, uma pluralidade de porções de informações de fluxo relativas aos fluxos incluídos nos dados multiplexados está disposta. Cada porção de informações de fluxo inclui descritores de fluxo cada um descrevendo as informações, tal como um tipo de fluxo para identificar um codec de compressão de um fluxo, um PID de fluxo, e informações de atributo de fluxo (tal como uma taxa de quadros ou uma razão de aspecto). Os descritores de fluxo são iguais em número ao número de fluxos nos dados multiplexados.

[000251] Quando os dados multiplexados são gravados em um meio de gravação e outros, estes são gravados juntamente com arquivos de informações de dados multiplexados.

[000252] Cada um dos arquivos de informações de dados multiplexados são informações de gerenciamento de dados multiplexados como mostrado na FIG. 34. Os arquivos de informações de dados multiplexados estão em uma correspondência de um para um com os dados multiplexados, e cada um dos arquivos inclui informações de dados multiplexados, informações de atributo de fluxo, e um mapa de entrada.

[000253] Como ilustrado na FIG. 34, as informações de dados multiplexados incluem uma taxa de sistema, um tempo de início de reprodução, e um tempo de final de reprodução. A taxa de sistema indica a taxa de transferência máxima na qual um decodificador alvo de sistema a ser posteriormente descrito transfere os dados multiplexados para um filtro de PID. Os intervalos das ATSs incluídas nos dados multiplexados são ajustados para não mais alto do que uma taxa de sistema. O tempo de início de reprodução indica uma PTS em um quadro de vídeo no topo dos dados multiplexados. Um intervalo de um quadro é adicionado a uma PTS em um quadro de vídeo no final dos dados multiplexados, e a PTS é ajustada para o tempo de final de reprodução.

[000254] Como mostrado na FIG. 35, uma porção de informações de atributo é registrada nas informações de atributo de fluxos para cada PID de cada fluxo incluídos nos dados multiplexados. Cada porção de informações de atributo tem diferentes informações dependendo se o fluxo correspondente é um fluxo de vídeo, um fluxo de áudio, um fluxo de gráfico de apresentação, ou um fluxo de gráfico interativo. Cada informação de atributo de porção de fluxo de vídeo carrega informações incluindo qual tipo de codec de compressão é utilizado para comprimir o fluxo de vídeo, e a resolução, razão de aspecto e taxa de quadros das porções de dados de imagem que estão incluídos no fluxo de vídeo. Cada informação de atributo de porção de fluxo de áudio carrega informações que incluem qual tipo de codec de compressão é utilizado para comprimir o fluxo de áudio, quantos canais estão incluídos no fluxo de áudio, qual linguagem o fluxo de áudio suporta, e quão alta é a frequência de amostragem. As informações de atributo de fluxo de vídeo e as informações de atributo de fluxo de áudio são utilizadas para inicialização de um decodificador antes do reprodutor reproduzir as informações.

[000255] Na presente modalidade, os dados multiplexados a serem utilizados são de um tipo de fluxo incluído na PMT. Mais ainda, quando os dados multiplexados são gravados em um meio de gravação, as informações de atributo de fluxo de vídeo incluídas nas informações de dados multiplexados são utilizadas. Mais especificamente, o método de codificação de imagem móvel ou o aparelho de codificação de imagem móvel descritos em cada uma das modalidades inclui uma etapa ou uma unidade para alocar informações únicas que indicam os dados de vídeo gerados pelo método de codificação de imagem móvel ou o aparelho de codificação de imagem móvel em cada uma das modalidades, para o tipo de fluxo incluído na PMT ou nas informações de atributo de fluxo de vídeo. Com a configuração, os dados de vídeo gerados pelo método de codificação de imagem móvel ou o aparelho de codificação de imagem móvel descritos em cada uma das modalidades pode ser distinguidos de dados de vídeo que conformam a outro padrão.

[000256] Mais ainda, a FIG. 36 ilustra as etapas do método de decodificação de imagem móvel de acordo com a presente modalidade. Na Etapa exS100, o tipo de fluxo incluído na PMT ou as informações de atributo de fluxo de vídeo incluídas nas informações de dados multiplexados é obtidos dos dados multiplexados. A seguir, na Etapa exS101, é determinado se o tipo de fluxo ou as informações de atributo de fluxo de vídeo indica ou não que os dados multiplexados são gerados pelo método de codificação de imagem móvel ou o aparelho de codificação de imagem móvel em cada uma das modalidades. Quando é determinado que o tipo de fluxo ou as informações de atributo de fluxo de vídeo indica que os dados multiplexados são gerados pelo método de codificação de imagem móvel ou o aparelho de codificação de imagem móvel em cada uma das modalidades, na Etapa exS102, a decodificação é executada pelo método de decodificação de imagem móvel em cada uma das modalidades. Mais ainda, quando o tipo de fluxo ou as informações de atributo de fluxo de vídeo indica uma conformidade aos padrões convencionais, tal como MPEG-2, MPEG-4 AVC, e VC-1, na Etapa exS103 a decodificação é executada por um método de decodificação de imagem móvel em conformidade com os padrões convencionais.

[000257] Como tal, alocar um novo valor único para o tipo de fluxo ou as informações de atributo de fluxo de vídeo permite a determinação se o método de decodificação de imagem móvel ou o aparelho de decodificação de imagem móvel que está descrito em cada uma das modalidades pode ou não executar a decodificação. Mesmo quando dados multiplexados que conformam a um padrão diferente são inseridos, um método ou aparelho de decodificação apropriado pode ser selecionado. Assim, torna-se possível decodificar as informações sem nenhum erro. Mais ainda, o método ou aparelho de codificação de imagem móvel, ou o método ou aparelho de decodificação de imagem móvel na presente modalidade pode ser utilizado nos dispositivos e sistemas acima descritos. MODALIDADE 9

[000258] Cada um do método de codificação de imagem móvel, aparelho de codificação de imagem móvel, método de decodificação de imagem móvel, e aparelho de decodificação de imagem móvel em cada uma das modalidades é obtido tipicamente na forma de um circuito integrado ou um circuito Integrado de Grande Escala (LSI). Como um exemplo do LSI, a FIG. 37 ilustra uma configuração do LSI ex500 que é feito em um chip. O LSI ex500 inclui os elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, e ex509 a serem abaixo descrito, e os elementos estão conectados uns nos outros através de um barramento ex510. A unidade de circuito de fonte de alimentação ex505 é ativada suprindo cada um dos elementos com energia quando a unidade de circuito de fonte de alimentação ex505 é ligada.

[000259] Por exemplo, quando uma codificação é executada, o LSI ex500 recebe um sinal de AV de um microfone ex117, uma câmera ex113, e outros através de IO de AV ex509 sob o controle de uma unidade de controle ex501 que inclui uma CPU ex502, um controlador de memória ex503, um controlador de fluxo ex504, e uma unidade de frequência de acionamento ex512. O sinal de AV recebido é temporariamente armazenado em uma memória externa ex511, tal como uma SDRAM. Sob o controle da unidade de controle ex501, os dados armazenados são segmentados em porções de dados de acordo com a quantidade e a velocidade de processamento a serem transmitidas para uma unidade de processamento de sinal ex507. Então, a unidade de processamento de sinal ex507 codifica um sinal de áudio e/ou um sinal de vídeo. Aqui, a codificação do sinal de vídeo é a codificação descrita em cada uma das modalidades. Mais ainda, a unidade de processamento de sinal ex507 algumas vezes multiplexa os dados de áudio codificados e os dados de vídeo codificados, e um I/O de fluxo ex506 provê os dados multiplexados para fora. Os dados multiplexados providos são transmitidos para a estação de base ex107, ou escritos no meio de gravação ex215. Quando os conjuntos de dados são multiplexados, os dados devem ser temporariamente armazenados no armazenamento temporário ex508 de modo que os conjuntos de dados sejam sincronizados uns com os outros.

[000260] Apesar da memória ex511 ser um elemento fora do LSI ex500, esta pode estar incluída no LSI ex500. O armazenamento temporário ex508 não está limitado a um armazenamento, mas pode ser composto de armazenamentos. Mais ainda, o LSI ex500 pode ser feito em um chip ou uma pluralidade de chips.

[000261] Mais ainda, apesar da unidade de controle ex501 incluir a CPU ex502, o controlador de memória ex503, o controlador de fluxo ex504, a unidade de controle de frequência de acionamento ex512, a configuração da unidade de controle ex501 não está limitada a tal. Por exemplo, a unidade de processamento de sinal ex507 pode ainda incluir uma CPU. A inclusão de outra CPU na unidade de processamento de sinal ex507 pode aperfeiçoar a velocidade de processamento. Mais ainda, como outro exemplo, a CPU ex502 pode servir como ou fazer parte da unidade de processamento de sinal ex507, e, por exemplo, pode incluir uma unidade de processamento de sinal de áudio. Em tal caso, a unidade de controle ex501 inclui a unidade de processamento de sinal ex507 ou a CPU ex502 que inclui uma parte da unidade de processamento de sinal ex507.

[000262] O nome aqui utilizado é LSI, mas este poderia também ser denominado IC, LSI de sistema, super LSI, ou ultra LSI dependendo do grau de integração.

[000263] Mais ainda, os modos para conseguir a integração não estão limitados ao LSI, e um circuito especial ou um processador de uso geral e assim por diante pode também conseguir a integração. Uma Rede de Portas Programáveis no Campo (FPGA) que pode ser programada após a fabricação de LSIs ou um processador reconfigurável que permite a reconfiguração da conexão ou a configuração de um LSI pode ser utilizado para o mesmo propósito.

[000264] No futuro, como o avanço da tecnologia de semicondutor, uma tecnologia totalmente nova pode substituir o LSI. Os blocos funcionais podem ser integrados utilizando tal tecnologia. A possibilidade é que a presente invenção seja aplicada à biotecnologia. MODALIDADE 10

[000265] Quando os dados de vídeo gerados no método de codificação de imagem móvel ou pelo aparelho de codificação de imagem móvel descritos em cada uma das modalidades são decodificados, comparado com quando os dados de vídeo que conformam a um padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC-1 são decodificados, a quantidade de processamento provavelmente aumenta. Assim o LSI ex500 precisa ser ajustado para uma frequência de acionamento mais alta do que aquela da CPU ex502 a ser utilizada quando os dados de vídeo em conformidade com o padrão convencional são decodificados. No entanto, quando a frequência de acionamento é ajustada mais alta, existe um problema que o consumo de energia aumenta.

[000266] De modo a resolver o problema, o aparelho de decodificação de imagem móvel, tal como a televisão ex300 e o LSI ex500 é configurado para determinar a qual padrão os dados de vídeo conformam, e comutar entre as frequências de acionamento de acordo com o padrão determinado. A FIG. 38 ilustra uma configuração ex800 na presente modalidade. Uma unidade de comutação de frequência de acionamento ex803 ajusta uma frequência de acionamento para uma frequência de acionamento mais alta quando os dados de vídeo são gerados pelo método de codificação de imagem móvel ou aparelho de codificação de imagem móvel descritos em cada uma das modalidades. Então, a unidade de comutação de frequência de acionamento ex803 instrui uma unidade de processamento de decodificação ex801 que executa o método de decodificação de imagem móvel descrito em cada uma das modalidades para decodificar os dados de vídeo. Quando os dados de vídeo conformam ao padrão convencional, a unidade de comutação de frequência de acionamento ex803 ajusta uma frequência de acionamento para uma frequência de acionamento mais baixa do que aquela dos dados de vídeo gerados pelo método de codificação de imagem móvel ou aparelho de codificação de imagem móvel descritos em cada uma das modalidades. Então, a unidade de comutação de frequência de acionamento ex803 a instrui a unidade de processamento de decodificação ex802 que conforma ao padrão convencional para decodificar os dados de vídeo.

[000267] Mais especificamente, a unidade de comutação de frequência de acionamento ex803 inclui a CPU ex502 e a unidade de controle de frequência de acionamento ex512 na FIG. 37. Aqui, cada uma da unidade de processamento de decodificação ex801 que executa o método de decodificação de imagem móvel descrito em cada uma das modalidades e a unidade de processamento de decodificação ex802 que conforma ao padrão convencional corresponde à unidade de processamento de sinal ex507 na FIG. 37. A CPU ex502 determina a qual padrão os dados de vídeo conformam. Então, a unidade de controle de frequência de acionamento ex512 determina uma frequência de acionamento com base em um sinal da CPU ex502. Mais ainda, a unidade de processamento de sinal ex507 decodifica os dados de vídeo com base no sinal da CPU ex502. Por exemplo, as informações de identificação descritas na Modalidade 8 são provavelmente utilizadas para identificar os dados de vídeo. As informações de identificação não estão limitadas àquelas descritas na Modalidade 8 mas podem ser quaisquer informações desde que as informações indiquem a qual padrão os dados de vídeo conformam. Por exemplo, quando qual padrão os dados de vídeo conformam podem ser determinados com base em um sinal externo para determinar que os dados de vídeo são utilizados para uma televisão ou um disco, etc., a determinação pode ser feita com base em tal sinal externo. Mais ainda, a CPU ex502 seleciona uma frequência de acionamento com base em, por exemplo, uma tabela de consulta na qual os padrões dos dados de vídeo estão associados com as frequências de acionamento como mostrado na FIG. 40. A frequência de acionamento pode ser selecionada armazenando a tabela de consulta no armazenamento temporário ex508 e em uma memória interna de um LSI, e com referência à tabela de consulta pela CPU ex502.

[000268] A FIG. 39 ilustra as etapas para executar um método na presente modalidade. Primeiro, na Etapa exS200, a unidade de processamento de sinal ex507 obtém as informações de identificação dos dados multiplexados. A seguir, na Etapa exS201, a CPU ex502 determina se os dados de vídeo são gerados ou não pelo método de codificação e aparelho de codificação descritos em cada uma das modalidades, com base nas informações de identificação. Quando os dados de vídeo são gerados pelo método de codificação de imagem móvel e pelo aparelho de codificação de imagem móvel descritos em cada uma das modalidades, na Etapa exS202, a CPU ex502 transmite um sinal para ajustar a frequência de acionamento para uma frequência de acionamento mais alta para a unidade de controle de frequência de acionamento ex512. Então, a unidade de controle de frequência de acionamento ex512 ajusta a frequência de acionamento para a frequência de acionamento mais alta. Por outro lado, as informações de identificação indicam que os dados de vídeo conformam com o padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC-1, na Etapa exS203, a CPU ex502 transmite um sinal para ajustar a frequência de acionamento para uma frequência de acionamento mais baixa para a unidade de controle de frequência de acionamento ex512. Então, a unidade de controle de frequência de acionamento ex512 ajusta a frequência de acionamento para a frequência de acionamento mais baixa do que aquela no caso onde os dados de vídeo são gerados pelo método de codificação de imagem móvel e pelo aparelho de codificação de imagem móvel descritos em cada uma das modalidades.

[000269] Mais ainda, juntamente com a comutação das frequências de acionamento, o efeito de conservação de energia pode ser aperfeiçoado mudando a voltagem a ser aplicada ao LSI ex500 ou a um aparelho que inclui o LSI ex500. Por exemplo, quando a frequências de acionamento é ajustada mais baixa, a voltagem a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é provavelmente ajustada para uma voltagem mais baixa do que aquela no caso onde a frequência de acionamento é ajustada mais alta.

[000270] Mais ainda, quando a quantidade de processamento para decodificação é maior, a frequência de acionamento pode ser ajustada mais alta, e quando a quantidade de processamento para decodificação é menor, a frequência de acionamento pode ser ajustada mais baixa do que o método para ajustar a frequência de acionamento. Este método de ajuste não está limitado àqueles acima descritos. Por exemplo, quando a quantidade de processamento para decodificar dados de vídeos em conformidade com MPEG-4 AVC é maior do que a quantidade de processamento para decodificar os dados de vídeo gerados pelo método de codificação de imagem móvel e aparelho de codificação de imagem móvel descritos em cada uma das modalidades, a frequência de acionamento é provavelmente ajustada em ordem inversa ao ajuste acima descrito.

[000271] Mais ainda, o método para ajustar a frequência de acionamento não está limitado ao método para ajustar a frequência de acionamento mais baixa. Por exemplo, quando as informações de identificação indicam que os dados de vídeo são gerados pelo método de codificação de imagem móvel e aparelho de codificação de imagem móvel descritos em cada uma das modalidades a voltagem a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é provavelmente ajustada mais alta. Quando as informações de identificação indicam que os dados de vídeo conformam com o padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC-1, a voltagem a ser aplicada no LSI ex500 ou no aparelho que inclui o LSI ex500 é provavelmente ajustada mais baixa. Como outro exemplo, quando as informações de identificação indicam que os dados de vídeo são gerados pelo método de codificação de imagem móvel e aparelho de codificação de imagem móvel descritos em cada uma das modalidades, o acionamento da CPU ex502 provavelmente não precisa ser suspenso. Quando as informações de identificação indicam que os dados de vídeo conformam com o padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC-1, o acionamento da CPU ex502 é provavelmente suspenso em um dado tempo porque a CPU ex502 tem uma capacidade de processamento extra. Mesmo quando as informações de identificação indicam que os dados de vídeo são gerados pelo método de codificação de imagem móvel e aparelho de codificação de imagem móvel descritos em cada uma das modalidades, no caso onde a CPU ex502 tem uma capacidade de processamento extra, o acionamento da CPU ex502 é provavelmente suspenso em um dado tempo. Em tal caso, o tempo de suspensão é provavelmente ajustado mais curto do que aquele no caso quando as informações de identificação indicam que os dados de vídeo conformam com o padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC-1.

[000272] Consequentemente, o efeito de conservação de energia pode ser aperfeiçoado comutando entre as frequências de acionamento de acordo com o padrão ao qual os dados de vídeo conformam. Mais ainda, quando o LSI ex500 ou o aparelho que inclui o LSI ex500 é acionando utilizando uma bateria, a vida da bateria pode ser estendida com o efeito de conservação de energia.

MODALIDADE 11

[000273] Existem casos onde uma pluralidade de dados de vídeo que conformam a diferentes padrões, é provida para os dispositivos e sistemas, tal como uma televisão e um telefone celular. De modo a permitir a decodificação da pluralidade de dados de vídeo que conformam aos diferentes padrões, a unidade de processamento de sinal ex507 do LSI ex500 precisa conformar aos diferentes padrões. No entanto, os problemas de aumento na escala do circuito do LSI ex500 e aumento no custo surgem com a utilização individual das unidades de processamento de sinal ex507 que conformam aos respectivos padrões.

[000274] De modo a resolver o problema, o que é concebido é uma configuração na qual a unidade de processamento de decodificação para implementar o método de decodificação de imagem móvel descrito em cada uma das modalidades e a unidade de processamento de decodificação que conforma ao padrão convencional, tal como MPEG-2, MPEG-4 AVC, e VC-1 são parcialmente compartilhadas. Ex900 na FIG. 41A mostra um exemplo da configuração. Por exemplo, o método de decodificação de imagem móvel descrito em cada uma das modalidades e o método de decodificação de imagem móvel que conforma a MPEG-4 AVC têm, parcialmente em comum, os detalhes de processamento, tal como codificação de entropia, quantização inversa, filtragem de desbloqueio, e predição compensada em movimento. Os detalhes de processamento a ser compartilhado provavelmente incluem a utilização de uma unidade de processamento de decodificação ex902 que conforma a MPEG-4 AVC. Em contraste, uma unidade de processamento de decodificação dedicada ex901 é provavelmente utilizada para outro processamento único para um aspecto da presente invenção. Como o aspecto da presente invenção está caracterizado por quantização inversa especificamente, por exemplo, a unidade de processamento de decodificação dedicada ex901 é utilizada para quantização inversa. De outro modo, a unidade de processamento de decodificação é provavelmente compartilhada para um da decodificação de entropia, filtragem de desbloqueio, e compensação de movido, ou todo o processamento. A unidade de processamento de decodificação para implementar o método de decodificação de imagem móvel descrito em cada uma das modalidades pode ser compartilhada para o processamento a ser compartilhado, e uma unidade de processamento de decodificação dedicada pode ser utilizada para o processamento único daquele de MPEG-4 AVC.

[000275] Mais ainda, ex1000 na FIG. 41B mostra outro exemplo em que o processamento é parcialmente compartilhado. Este exemplo utiliza uma configuração que inclui uma unidade de processamento de decodificação dedicada ex1001 que suporta o processamento único para um aspecto da presente invenção, uma unidade de processamento de decodificação dedicada ex1002 que suporta o processamento único para outro padrão convencional, e uma unidade de processamento de decodificação ex1003 que suporta o processamento a ser compartilhado entre o método de decodificação de imagem móvel de acordo com o aspecto da presente invenção e o método de decodificação de imagem móvel convencional. Aqui, as unidades de processamento de decodificação dedicadas ex1001 e ex1002 não são necessariamente especializadas para o processamento de acordo com o aspecto da presente invenção e o processamento do padrão convencional, respectivamente, e podem ser umas capazes de implementar um processamento geral. Mais ainda, a configuração da presente modalidade pode ser implementada pelo LSI ex500.

[000276] Como tal, a redução da escala do circuito de um LSI e a redução do custo são possíveis pelo compartilhamento da unidade de processamento de decodificação para o processamento ser compartilhado entre o método de decodificação de imagem móvel de acordo com o aspecto da presente invenção e o método de decodificação de imagem móvel em conformidade com o padrão convencional.

APLICABILIDADE INDUSTRIAL

[000277] O método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção podem ser utilizados para vários propósitos. Por exemplo, a presente invenção pode ser utilizada para um aparelho de exibição de imagem de alta resolução e um aparelho de captação de imagem de alta resolução, tal como uma televisão, um gravador de vídeo digital, um sistema de navegação de carro, um telefone celular, uma câmera digital, e uma câmera de vídeo digital. LISTA DE SÍMBOLOS DE REFERÊNCIA 100, 300 Unidade de intrapredição de sinal de croma 110, 330, 510, 610, 710, 830, 940, 1030 Unidade de geração de sinal de croma intrapredito 120, 520, 620, 720 Unidade de cálculo de sinal residual 130, 210, 530, 630, 730 Unidade de transformada - quantização 135, 230, 535, 635, 735 Unidade de quantização - transformada inversa 140 Unidade de geração de sinal codificado 150, 570, 670, 770 Unidade de codificação 200 Aparelho de codificação de imagem 205 Subtrator 220 Unidade de codificação de entropia 235, 425 Adicionador 240, 430 Filtro de desbloqueio 250, 440 Memória 260, 450 Unidade de intrapredição 270 Unidade de estimativa de movimento 280, 460 Unidade de compensação de movimento 290, 470 comutador de intra/inter seleção 310, 810, 910, 1010 Unidade de decodificação de comprimento variável 320, 820, 920, 1020 Unidade de obtenção de sinal residual 340 Unidade de geração de sinal de croma decodificado 400 Aparelho de decodificação de imagem 410 Unidade de decodificação de entropia 500, 600, 700, 800, 900, 1000 Aparelho de processamento de imagem 540, 640, 740 Unidade de geração de sinal de croma decodificado temporário 550, 650, 750 Primeira unidade de cálculo de componente DC 555, 655, 755 Segunda unidade de cálculo de componente DC 560, 660, 760 Unidade de cálculo de valor de compensação 580, 680, 780, 850, 950, 1060 Unidade de adição de valor de compensação 690, 960 Unidade de determinação de compensação 790 Unidade de determinação de unidade de compensação 840, 930, 1040 Unidade de geração de sinal de croma decodificado temporário 1070 Unidade de obtenção de informações de unidade de compensação

Claims

1. Método de decodificação de imagem, para decodificar um fluxo de bits para gerar um bloco decodificado, o método de decodificação de imagem sendo caracterizado pelo fato de que compreende: obter coeficientes quantificados (S10001) e informações do primeiro sinalizador que indicam se é necessário ou não um processo de compensação, executando a decodificação de comprimento variável no fluxo de bits; obter (S10002) um bloco residual decodificado realizando quantização inversa e transformação inversa nos coeficientes quantizados; gerar (S10003) um bloco previsto prevendo o bloco decodificado; gerar (S10004) um bloco decodificado temporário adicionando o bloco residual decodificado ao bloco previsto; e gerar (S10005 - S10007) o bloco decodificado executando, no bloco decodificado temporário, o processo de correção para corrigir um erro incluído no bloco decodificado temporário, quando as primeiras informações de sinalização indicarem que o processo de correção é necessário; em que o processo de deslocamento é executado para adicionar um valor de deslocamento obtido do fluxo de bits a um valor de um pixel incluído no bloco decodificado temporário; em que a etapa (S10001) de obter coeficientes quantizados e a primeira informação de bandeira obtém ainda informações de unidade de compensação indicando se, em uma área A incluindo uma pluralidade de blocos, o mesmo valor de correção é usado para todos os blocos; e na etapa (S10005 - S10007) da geração do bloco decodificado, o processo de compensação é executado no bloco decodificado temporário de acordo com as informações da unidade de compensação; em que, quando as informações da unidade de compensação indicam que o mesmo valor de compensação é usado para todos os blocos na área A, um novo valor de compensação é obtido quando o processo de compensação é concluído para todos os blocos da área A.

2. Método de decodificação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a informação da unidade de compensação indica se o mesmo valor de deslocamento é ou não usado para todos os blocos incluídos em uma unidade de previsão.

3. Método de decodificação de imagem, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a informação da unidade de compensação indica se o mesmo valor de correção é ou não usado para todos os blocos incluídos em uma fatia.

4. Método de decodificação de imagem, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que cada um dos valores de pixels incluídos no bloco decodificado é expresso em um formato YUV.

5. Aparelho de decodificação de imagem que decodifica um fluxo de bits para gerar um bloco decodificado, o aparelho de decodificação de imagem sendo caracterizado pelo fato de que compreende: uma unidade de decodificação de comprimento variável (1010) configurada para obter coeficientes quantificados e primeira informação de sinalizador que indica se é necessário ou não um processo de compensação, executando decodificação de comprimento variável no fluxo de bits; uma unidade de obtenção (1020.1070) configurada para obter um bloco residual decodificado realizando quantização inversa e transformação inversa nos coeficientes quantizados; uma unidade de previsão (1030) configurada para gerar um bloco previsto, prevendo o bloco decodificado; uma unidade de geração (1040) configurada para gerar um bloco decodificado temporário adicionando o bloco residual decodificado ao bloco previsto; e uma unidade de processamento de deslocamento (1060) configurada para gerar o bloco decodificado executando, no bloco decodificado temporário, o processo de deslocamento para corrigir um erro que está incluído no bloco decodificado temporário, quando as primeiras informações de sinalização indicam que o processo de deslocamento é necessário; em que o processo de deslocamento é executado para adicionar um valor de deslocamento obtido do fluxo de bits a um valor de um pixel incluído no bloco decodificado temporário, a unidade de obtenção (1020.1070) é ainda configurada para obter informações de unidade de compensação indicando se, em uma área A incluindo uma pluralidade de blocos, o mesmo valor de compensação é usado para todos os blocos; e a unidade de processamento de correção (1060) é ainda configurada (i) para executar o processo de correção no bloco decodificado temporário de acordo com as informações da unidade de compensação e (ii) para obter, quando as informações da unidade de compensação indicarem que o mesmo valor de correção é usado para todos os blocos da área A, um novo valor de correção quando o processo de correção é concluído para todos os blocos da área A.

6. Aparelho de decodificação de imagens, de acordo com a reivindicação 5, caracterizado pelo fato de que as informações de unidade de compensação indicam se o mesmo valor de deslocamento é ou não usado para todos os blocos incluídos em uma unidade de previsão.

7. Aparelho de decodificação de imagens, de acordo com as reivindicações 5 ou 6, caracterizado pelo fato de que as informações da unidade de compensação indicam se o mesmo valor de deslocamento é ou não usado para todos os blocos incluídos em uma fatia.

8. Aparelho de decodificação de imagens, de acordo com qualquer uma das reivindicações 5 a 7, caracterizado pelo fato de que cada um dos valores de pixels incluídos no bloco decodificado é expresso em um formato YUV.