BR112013004435B1 - Método de codificação de imagem, método de decodificação de imagem, método de gerenciamento de memória, aparelho de codificação de imagem, aparelho de decodificação de imagem, aparelho de gerenciamento de memória, e aparelho de codificação e decodificação de imagem - Google Patents

Método de codificação de imagem, método de decodificação de imagem, método de gerenciamento de memória, aparelho de codificação de imagem, aparelho de decodificação de imagem, aparelho de gerenciamento de memória, e aparelho de codificação e decodificação de imagem Download PDF

Info

Publication number
BR112013004435B1
BR112013004435B1 BR112013004435-7A BR112013004435A BR112013004435B1 BR 112013004435 B1 BR112013004435 B1 BR 112013004435B1 BR 112013004435 A BR112013004435 A BR 112013004435A BR 112013004435 B1 BR112013004435 B1 BR 112013004435B1
Authority
BR
Brazil
Prior art keywords
image
layer
belonging
decoding
encoding
Prior art date
Application number
BR112013004435-7A
Other languages
English (en)
Other versions
BR112013004435A8 (pt
BR112013004435A2 (pt
Inventor
Takahiro Nishi
Youji Shibahara
Hisao Sasai
Toshiyasu Sugio
Original Assignee
Sun Patent Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust filed Critical Sun Patent Trust
Publication of BR112013004435A2 publication Critical patent/BR112013004435A2/pt
Publication of BR112013004435A8 publication Critical patent/BR112013004435A8/pt
Publication of BR112013004435B1 publication Critical patent/BR112013004435B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

MÉTODO DE CODIFICAÇÃO DE IMAGEM, MÉTODO DE DECODIFICAÇÃO DE IMAGEM, MÉTODO DE GERENCIAMENTO DE MEMÓRIA, APARELHO DE CODIFICAÇÃO DE IMAGEM, APARELHO DE DECODIFICAÇÃO DE IMAGEM, APARELHO DE GERENCIAMENTO DE MEMÓRIA, E APARELHO DE CODIFICAÇÃO E DECODIFICAÇÃO DE IMAGEM. A presente invenção refere-se a um método de codificação de imagem que permite a redução das cargas de processamento. Quando as figuras incluídas em um sinal de vídeo são classificadas em camadas de maneira a pertencerem às suas respectivas camadas, uma figura que pertence à segunda camada que está localizada em uma faixa restrita de acordo com a primeira camada a qual pertence uma figura corrente a ser codificada que é uma das figuras, é consultada como uma figura de referência para a figura corrente (S10), e a figura corrente é codificada com base na figura de referência (S11).

Description

Campo Técnico
[0001] A presente invenção refere-se a um método de codificação de imagem, a um método de decodificação de imagem, e outros semelhantes, para vídeo.
Antecedentes da Técnica
[0002] Em um método de codificação de imagem para codificação de vídeo, de maneira geral um volume de informação é comprimido usando redundância em uma direção espacial e em uma direção temporal mantida pelo vídeo. Em geral, a conversão em uma região de frequência é utilizada como método de utilização da redundância na direção espacial, e uma codificação previsão entre figuras (daqui por diante denominada inter previsão) é utilizada como método de utilização da redundância na direção temporal. Quando uma figura é codificada na codificação inter previsão, uma figura codificada que precede ou sucede uma figura corrente a ser codificada na ordem de exibição é utilizada como uma figura de referência. Um vetor de movimento é derivado realizando uma estimativa do movimento na figura corrente com relação à figura de referência, e uma diferença é calculada entre os dados da imagem da figura corrente e uma figura preditiva obtida pela realização da compensação de movimento com base no vetor de movimento, com isso removendo a redundância na direção temporal.
[0003] Com o padrão de codificação de imagem denominado H.264 que já foi padronizado, três tipos de figuras; ou seja, figura-I, figura-B, e figura-P, são utilizadas para compressão do volume de informação. A figura-I é uma figura na qual a codificação inter previsão não é realizada, em outras palavras, uma figura na qual a intra previsão da figura (daqui por diante denominada intra previsão) é realizada. A figura-P é uma figura na qual a codificação inter previsão é realizada em consulta a uma figura codificada que precede ou sucede uma figura corrente a ser codificada na ordem de exibição. A figura-B é uma figura na qual a codificação inter previsão é realizada em consulta a duas figuras codificadas que precedem ou sucedem a figura corrente na ordem de exibição. Além disso, a figura-I e a figura-P incluem uma fatia de comutação e similares (fatia SI, fatia SP) para fazer a comutação entre fluxos, e similares.
[0004] Com o método de codificação de imagem e com o método de decodificação de imagem que satisfazem o padrão H.264 existente, esses métodos devem ser aplicáveis a todas as relações de referência que possam ser concebidas pela definição das figuras desses tipos. Quando uma figura-P é decodificada, por exemplo, é necessário que uma figura sucessora na ordem de exibição possa ser consultada. Além disso, quando presentes dois vetores de movimento para a figu- ra-B, as direções desses dois vetores de movimento podem ser de avanço ou recuo. Além disso, as figuras diferentes para cada bloco em uma fatia pode ser consultadas. Para corresponder à flexibilidade de tal estrutura de referência, é preciso que alguns processos sejam executados para o método de codificação de imagem e para o método de decodificação de imagem no padrão H.264 (vide, por exemplo, a Literatura de Não Patente 1). Lista de Citação Literatura de Não Patente NPL 1 ITU-TH. 264 03/2010
Sumário da Invenção Problema Técnico
[0005] No entanto, com o método de codificação de imagem e com o método de decodificação de imagem revelados pela Literatura de Não Patente 1 descrita acima, a carga de processamento é alta, tornando-se um problema.
[0006] Em vista do problema descrito acima, um objetivo da pre sente invenção é fornecer um método de codificação de imagem e um método de decodificação de imagem que permitam reduzir a carga de processamento.
Solução para o Problema
[0007] Para alcançar o objetivo descrito acima, um método de co dificação de imagem de acordo com um aspecto da presente invenção é um método de codificação de imagem para codificar um sinal de vídeo, o método de codificação de imagem compreendendo: consultar uma imagem como uma imagem de referência para uma imagem corrente a ser codificada, quando uma pluralidade de imagens incluídas no sinal de vídeo são classificadas em camadas de maneira que cada imagem da pluralidade de imagens pertença a uma das camadas correspondentes, a imagem corrente sendo uma da pluralidade de ima-gens que pertence a uma primeira camada, e a imagem de referência pertencendo a uma segunda camada localizada em uma faixa restrita de acordo com a primeira camada; e codificar a imagem corrente com base na imagem de referência.
[0008] De acordo com a estrutura descrita acima, a camada a qual pertence uma imagem de referência que é consultada durante a codificação de uma imagem corrente a ser codificada está presente dentro de uma faixa que é restrita de acordo com a primeira camada a qual pertence a imagem corrente. Portanto, como a imagem de referência que é consultada durante a codificação da imagem corrente é restrita de acordo com a primeira camada, é possível reduzir a carga de processamento da codificação.
[0009] Além disso, como a imagem de referência é restrita, tam bém é possível, durante a decodificação de uma imagem codificada como descrito acima, reduzir a carga de processamento da decodifica- ção. Além disso, na consulta, pode ser proibido consultar uma imagem que pertence a uma camada localizada acima da primeira camada, e a imagem que pertence à segunda camada pode ser consultada como a imagem de referência, a segunda camada estando localizada em uma faixa restrita à primeira camada ou abaixo da primeira camada.
[00010] De acordo com a estrutura descrita acima, como é proibido consultar uma imagem que pertence a uma camada localizada acima da primeira camada a qual a imagem corrente pertence, é possível codificar a imagem corrente com menos carga de processamento. Igualmente, como não é necessário, também durante a decodificação de uma imagem codificada, consular uma imagem que pertence a uma camada localizada acima de uma camada a qual a imagem codificada pertence, é possível decodificar a imagem codificada com menos carga de processamento. Além disso, no caso em que cada imagem incluída em um sinal de vídeo é tratada como uma imagem a ser codificada e o sinal de vídeo é codificado, não é necessário consultar, na decodificação de qualquer imagem incluída no sinal de vídeo codificado, uma imagem que pertence a uma camada localizada acima de uma camada a qual a imagem a ser codificada pertence. Portanto, é necessário somente que o aparelho de decodificação de imagem de-codifique uma imagem que pertence a uma camada que é o alvo da reprodução especial, sendo possível, portanto, omitir o problema de decodificação e consulta a uma imagem que pertence a uma camada em posição mais alta que a camada que é o alvo da reprodução especial. Por exemplo, no caso em que a camada que é o alvo da reprodu- ção especial, tal como a reprodução N tempo-velocidade(N □ 2), é a camada do nível mais baixo localizada na parte inferior, o aparelho de decodificação de imagem não expressa o problema de decodificação e consulta a uma imagem que não é o alvo da reprodução especial, e tem somente que decodificar cada uma das imagens que pertence à camada do nível mais baixo. Por exemplo, cada imagem da pluralidade de imagens é uma figura ou uma fatia.
[00011] Além disso, para alcançar o objetivo descrito acima, um método de codificação de imagem de acordo com outro aspecto da presente invenção é um método de codificação de imagem para codificar um sinal de vídeo, o método de codificação de imagem compreendendo: gerar um sinalizador indicando se uma restrição deve ou não ser imposta na seleção de uma imagem de referência que é consultada para a codificação de uma imagem corrente a ser codificada, quando uma pluralidade de imagens incluídas no sinal de vídeo são classificadas em camadas de maneira que cada imagem da pluralidade de imagens pertença a uma das camadas correspondentes, a imagem corrente sendo uma da pluralidade de imagens; selecionar, na qualidade de imagem de referência para a imagem corrente, uma imagem que satisfaz uma condição restrita de acordo com uma primeira camada a qual a imagem corrente pertence, quando o sinalizador indica que a restrição deve ser imposta; codificar a imagem corrente em consulta à imagem de referência selecionada; e incluir o sinalizador no sinal de vídeo que foi codificado.
[00012] De acordo com a estrutura descrita acima, no caso em que o sinalizador indica a adição de uma restrição, uma imagem que satisfaz a condição restrita de acordo com a primeira camada a qual a imagem corrente a ser codificada pertence é selecionada como uma imagem de referência. Mais especificamente, uma imagem de referência que é consultada para codificação da imagem corrente é restrita de acordo com a primeira camada. Em consequência disso, é possível reduzir a carga de processamento de codificação da imagem corrente. Além disso, como um sinalizador que indica se uma restrição é ou não imposta à seleção de uma imagem de referência é gerado e incluído em um sinal de vídeo codificado, é possível ao aparelho de decodifica- ção de imagem que decodifica o sinal de vídeo codificado determinar facilmente se uma restrição é ou não imposta à seleção da imagem de referência. Em consequência disso, o aparelho de decodificação de imagem pode decodificar corretamente o sinal de vídeo codificado com menos carga de processamento.
[00013] Além disso, na seleção de uma imagem de referência, quando uma imagem de critério que pertence a um segunda camada localizada em uma faixa restrita de acordo com a primeira camada está localizada entre a imagem corrente e uma imagem candidata em ordem de codificação, pode ser proibido selecionar a imagem candidata como a imagem de referência e uma imagem, que não a imagem candidata pode ser selecionada como a imagem de referência. Por exemplo, na seleção de uma imagem de referência, é proibido selecionar a imagem candidata como a imagem de referência quando a imagem de critério pertencer à segunda camada localizada em uma faixa restrita abaixo da primeira camada. Além disso, na seleção de uma imagem de referência, pode ser proibido selecionar, como a imagem de referência, a imagem candidata que precede a imagem corrente em ordem de codificação.
[00014] De acordo com a estrutura descrita acima, é possível selecionar uma imagem apropriada como a imagem de referência e reduzir ainda mais a carga de processamento.
[00015] Além disso, para alcançar o objetivo descrito acima, um método de decodificação de imagem de acordo com um aspecto da presente invenção é um método de decodificação de imagem para de- codificar um sinal de vídeo codificado, o método de decodificação de imagem compreendendo: consultar uma imagem como uma imagem de referência para uma imagem corrente a ser decodificada, quando uma pluralidade de imagens incluídas no sinal de vídeo codificado são classificadas em camadas de maneira que cada imagem da pluralidade de imagens pertença a uma das camadas correspondentes, a imagem corrente sendo uma da pluralidade de imagens que pertence a uma primeira camada, a imagem de referência pertencendo a uma se-gunda camada localizada em uma faixa restrita de acordo com a primeira camada; e decodificar a imagem corrente com base na imagem de referência. Por exemplo, o método de decodificação de imagem descrito acima compreende adicionalmente gerar uma lista de referência que indica uma ou mais imagens, cada uma delas pertence à primeira camada ou a uma camada abaixo da primeira camada, salvo todas as imagens que pertencem às suas respectivas camadas localizadas acima da primeira camada, entre as imagens incluídas no sinal de vídeo codificado, em que na consulta à imagem de referência, a imagem de referência é selecionada a partir de uma ou mais imagens indicadas na lista de referência.
[00016] De acordo com a estrutura descrita acima, a camada a qual a imagem de referência que é consultada para a decodificação da imagem corrente a ser decodificada pertence está presente em uma faixa que é restrita de acordo com a primeira camada a qual a imagem corrente pertence. Portanto, como a imagem de referência que é consultada para a decodificação da imagem corrente é restrita de acordo com a primeira camada, é possível reduzir a carga de processamento da decodificação.
[00017] Além disso, para alcançar o objetivo descrito acima, um método de decodificação de imagem de acordo com outro aspecto da presente invenção é um método de decodificação de imagem para de- codificar um sinal de vídeo codificado, o método de decodificação de imagem compreendendo: obter, a partir do sinal de vídeo codificado, um sinalizador indicando se impõe-se uma restrição ou não sobre a seleção de uma imagem de referência que é consultada para a decodi- ficação de uma imagem corrente a ser decodificada, quando uma pluralidade de imagens incluídas no sinal de vídeo codificado são classificadas em camadas de maneira que cada imagem da pluralidade de imagens pertença a uma das camadas correspondentes, a imagem corrente sendo uma da pluralidade de imagens; selecionar, na qualidade de imagem de referência para a imagem corrente, uma imagem que satisfaz uma condição restrita de acordo com uma primeira camada a qual a imagem corrente pertence, quando o sinalizador indica que a restrição deve ser imposta; e decodificar a imagem corrente em consulta à imagem de referência selecionada.
[00018] De acordo com a estrutura descrita acima, no caso em que o sinalizador indica a imposição de uma restrição, uma imagem que satisfaz a condição restrita de acordo com a primeira camada a qual pertence a imagem corrente a ser decodificada é selecionada como uma imagem de referência. Para ser específico, uma imagem de referência que é consultada para a decodificação da imagem corrente é restrita de acordo com a primeira camada. Em consequência disso, é possível reduzir a carga de processamento da decodificação da imagem corrente.
[00019] Além disso, para alcançar o objetivo descrito acima, um método de gerenciamento de memória de acordo com um aspecto da presente invenção é um método de gerenciamento de memória para gerenciar uma memória na qual uma imagem que é consultada para a codificação ou decodificação de um sinal de vídeo é armazenado, o método de gerenciamento de memória compreendendo armazenar, em uma região da memória, uma imagem alvo a ser armazenada, quando uma pluralidade de imagens incluídas no sinal de vídeo são classificadas em camadas de maneira que cada imagem da pluralidade de imagens pertença a uma das camadas correspondentes, a região estando restrita a uma capacidade da camada que é uma capacidade alocada a uma camada a qual a imagem alvo pertence, a imagem alvo sendo uma imagem da pluralidade de imagens. Para ser específico, o método de gerenciamento de memória descrito acima compreende adicionalmente alocar , a cada uma das camadas, uma parte correspondente da capacidade disponível da memória como uma capacidade da camada.
[00020] Em um caso, por exemplo, em que uma imagem de refe rência de longo tempo que é consultada por um longo período de tempo pertence a outra camada, e a imagem de referência de longo tempo é armazenada em outra região de uma memória. Nesse caso, quando a imagem alvo a ser armazenada é armazenada na outra região, a imagem de referência de longo tempo pode ser excluída da memória em alguns casos. É necessário, portanto, realizar tal processamento como a decodificação da imagem de referência de longo tempo novamente, a fim de consultar a imagem de referência de longo tempo depois que a imagem de referência de longo tempo é excluída da memória. Em vista disso, com o método de gerenciamento de memória de acordo com um aspecto da presente invenção, como a imagem alvo a ser armazenada é armazenada em uma região de uma memória, que é restrita a uma capacidade da camada que é alocada à camada a qual a imagem alvo pertence, é possível impedir a imagem de referência de longo tempo de ser excluída da memória. Em outras palavras, é possível armazenar uma imagem de referência necessária na memória sem falhas. Em consequência disso, é possível omitir tal processo redundante enquanto decodifica novamente a imagem de referência de longo tempo. Além disso, é possível reduzir a carga de processamento para aplicar sucessivamente um comando de gerenciamento de memória para instruir a exclusão de uma imagem desnecessária a fim de armazenar a imagem de referência necessária na memória sem falhas, por exemplo.
[00021] Aqui, no armazenamento, quando a região não tem capacidade remanescente disponível para armazenar a imagem alvo, uma imagem existente mais anteriormente armazenada entre uma ou mais das imagens existentes já armazenadas na região pode ser excluída da região, de maneira que a imagem alvo é armazenada.
[00022] Além disso, uma camada a qual uma imagem de referência pertence pode ser restrita a uma camada igual a ou localizada abaixo de uma camada a qual pertence uma imagem corrente a ser processada, a imagem de referência sendo uma imagem a ser consultada para a codificação ou decodificação da imagem corrente entre a pluralidade de imagens incluídas no sinal de vídeo, e na alocação da capacidade da camada, camada-por-camada, uma capacidade da camada maior que a capacidade da camada alocada à uma camada de nível superior localizada acima de uma camada do nível mais baixo pode ser alocada à camada do nível mais baixo localizada na parte inferior entre a pluralidade de camadas.
[00023] De acordo com a estrutura descrita acima, como a camada a qual a imagem de referência pertence é restrita à camada no mesmo nível que ou nível mais baixo que a camada a qual a imagem corrente pertence, é altamente provável que uma imagem que pertence à camada do nível mais baixo seja consultada por um período de tempo mais longo que uma imagem que pertence a uma camada de nível superior. Em vista disso, com o método de gerenciamento de memória de acordo com um aspecto da presente invenção, uma capacidade da camada maior que uma capacidade da camada alocada à camada de nível superior é alocada à camada do nível mais baixo, e é possível armazenar, portanto, por um longo período de tempo, a imagem que pertence à camada do nível mais baixo, na memória. Em consequência disso, quando uma imagem que pertence à camada do nível mais baixo é consultada, é possível impedir a situação de que a imagem seja excluída da memória e não possa ser consultada.
[00024] Além disso, o método de gerenciamento de memória descrito acima pode compreender adicionalmente assinalar um atributo sobre uma imagem que pertence a uma camada localizada acima de uma camada a qual pertence a imagem corrente que é um alvo de codificação ou decodificação, entre a pluralidade de imagens armazenadas na memória. Por exemplo, na marcação de um atributo, um atributo que indica que a imagem não é utilizada para referência é assinalada.
[00025] De acordo com a estrutura descrita acima, como o atributo é assinalado na imagem, é possível identificar facilmente uma imagem desnecessária que não é utilizada para referência e excluir a imagem da memória antes de excluir outras imagens. Em consequência disso, é possível utilizar eficazmente a capacidade da memória.
[00026] Deve-se notar que a presente invenção pode ser implantada não somente como método de codificação de imagem, método de decodificação de imagem, e método de gerenciamento de memória conforme descrito acima, mas também como aparelho para execução de processos de acordo com os métodos citados acima, um circuito integrado, um programa para fazer com que um computador execute os processos de acordo com os métodos, e um meio de gravação no qual o programa é armazenado.
Efeitos Vantajosos da Invenção
[00027] O método de codificação de imagem e o método de decodi- ficação de imagem de acordo com a presente invenção podem reduzir as cargas de processamento.
Breve Descrição dos Desenhos
[00028] [Figura 1] A Figura 1 é um diagrama de bloco que ilustra um aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção; [Figura 2] A Figura 2 é um diagrama que ilustra uma estrutura de referência construída por uma unidade inter previsão de acordo com a Modalidade 1 da presente invenção; [Figura 3] A Figura 3 é um exemplo de um método de gerenciamento de memória no caso em que uma figura de referência necessária é excluída; [Figura 4] A Figura 4 é um diagrama que ilustra um exemplo do método de gerenciamento de memória quando impõe-se uma restrição na ordem de codificação das figuras; [Figura 5] A Figura 5 é um diagrama que ilustra o método de gerenciamento de memória realizado por uma unidade de controle da memória de acordo com a Modalidade 1 da presente invenção; [Figura 6] A Figura 6 é um fluxograma que ilustra processos realizados por um aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção; [Figura 7] A Figura 7 é um fluxograma que ilustra processos utilizando um sinalizador, realizados pelo aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção; [Figura 8] A Figura 8 é um fluxograma que ilustra processos específicos realizados pelo aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção; Figura 9] A Figura 9 é um diagrama de bloco que ilustra um aparelho de decodificação de imagem de acordo com a Modalidade 1 da presente invenção; [Figura 10] A Figura 10 é um fluxograma que ilustra processos realizados por um aparelho de decodificação de imagem de acor- do com a Modalidade 1 da presente invenção; [Figura 11] A Figura 11 é um fluxograma que ilustra processos utilizando um sinalizador, realizados pelo aparelho de decodifica- ção de imagem de acordo com a Modalidade 1 da presente invenção; [Figura 12] A Figura 12 é um fluxograma que ilustra um método de gerenciamento de memória de acordo com a Modalidade 1 da presente invenção; [Figura13] A Figura 13 é um fluxograma que ilustra processos específicos realizados pelo aparelho de decodificação de imagem de acordo com a Modalidade 1 da presente invenção; [Figura 14] A Figura14 é um diagrama que ilustra uma estrutura de referência de acordo com um exemplo de modificação da Modalidade 1 da presente invenção; [Figura 15] A Figura15 é um diagrama que ilustra um exemplo do método de gerenciamento de memória de acordo com um exemplo de modificação da Modalidade 1 da presente invenção; [Figura 16] A Figura16 é um diagrama que ilustra outro exemplo do método de gerenciamento de memória de acordo com a Modificação 1 da modalidade da presente invenção; [Figura 17] A Figura 17 ilustra uma configuração geral de um sistema de fornecimento de conteúdo para implantar serviços de distribuição de conteúdo; [Figura 18] A Figura 18 é uma configuração geral de um sistema de difusão digital; [Figura 19] A Figura 19 é um diagrama de bloco que ilustra um exemplo de uma configuração de um televisão; [Figura 20] A Figura 20 é um diagrama de bloco que ilustra um exemplo de uma configuração de uma unidade de reprodu- ção/gravação de informações que lê e grava informações de ou em um meio de gravação que é um disco óptico; [Figura 21] A Figura 21 é um desenho que mostra um exemplo de uma configuração de um meio de gravação que é um disco óptico; [Figura 22A] A Figura 22A é um exemplo de um telefone celular; [Figura 22B] A Figura 22B é um exemplo de uma configuração de telefone celular; [Figura 23] A Figura 23 ilustra uma estrutura de dados mul- tiplexados; [Figura 24] A Figura 24 é um desenho que ilustra esquematicamente como cada um dos fluxos é multiplexado em dados multiple- xados; [Figura 25] A Figura 25 é um desenho que ilustra como um fluxo de vídeo é armazenado em um fluxo de pacotes PES mais detalhadamente; [Figura 26] A Figura 26 é um desenho que mostra uma es trutura de pacotes TS e pacotes fontes nos dados multiplexados; [Figura 27] A Figura 27 é um desenho que mostra uma es trutura de dados de um PMT; [Figura 28] A Figura 28 ilustra uma estrutura interna das informações de dados multiplexados; [Figura 29] A Figura 29 é um desenho que mostra uma estrutura interna das informações do atributo de fluxo; [Figura 30] A Figura 30 é um desenho que mostra etapas para identificação dos dados de vídeo; [Figura 31] A Figura 31 é um diagrama de bloco que ilustra um exemplo de uma configuração de um circuito integrado para implantar o método de codificação de vídeo e o método de decodificação de vídeo de acordo com cada uma das Modalidades; [Figura 32] A Figura 32 é um desenho que mostra uma con- figuração para fazer a comutação entre frequências de acionamento; [Figura 33] A Figura 33 é um desenho que mostra etapas para identificar dados de vídeo e fazer a comutação entre frequências de acionamento; [Figura 34] A Figura 34 é um desenho que mostra um exemplo de uma tabela de consulta na qual os padrões de dados de vídeo são associados às frequências de acionamento; [Figura 35A] A Figura 35A é um desenho que mostra um exemplo de uma configuração para compartilhar um módulo de uma unidade de processamento de sinal; e [Figura 35B] A Figura 35B é um desenho que mostra outro exemplo de uma configuração para compartilhar um módulo de uma unidade de processamento de sinal.
Descrição das Modalidades
[00029] Primeiramente, antes de descrever as modalidades de acordo com a presente invenção, serão descritos alguns processos realizados durante a codificação ou decodificação de uma imagem.
[00030] Por exemplo, um aparelho de codificação de imagem e um aparelho de decodificação de imagem constroem uma lista de referência (também consultada como uma lista da figura de referência). Mais especificamente, esses aparelhos, durante a codificação ou decodifi- cação de uma fatia tal como uma fatia-B com consulta a outra figura, constroem uma lista de referência nas quais as figuras que serão consultadas para a fatia (um macrobloco incluído na fatia) são listadas. Nesse processo, é necessário classificar as figuras na ordem numérica da figura na lista de referência (processo de classificação no tempo de inicialização da lista de referência). Por exemplo, o aparelho de codificação de imagem e o aparelho de decodificação de imagem, após obter a fatia-B, adiciona uma figura de referência que é consultada para a fatia-B (a figura utilizada para uma referência de curto prazo e para uma referência de longo prazo). Daqui por diante o mesmo se aplica à lista de referência (L0, L1). Aqui, o aparelho de codificação de imagem e o aparelho de decodificação de imagem classificam as figuras de referência na lista de referência (L0, L1) em ordem descendente (uma primeira ordem antecipada) de acordo com os números da figura (Pic Num) das figuras de referência.
[00031] Além disso, o aparelho de codificação de imagem e o aparelho de decodificação de imagem cause uma memória lógica única (DPB: Buffer de Figura Decodificada) para manter tal figura como uma figura de referência que é consultada por um longo período de tempo, por exemplo. Aqui, a fim de evitar que a memória seja saturada, é necessário assinalar um atributo em cada uma destas figuras mantidas na memória para gerenciar tais figuras.
[00032] Por exemplo, o aparelho de codificação de imagem e o aparelho de decodificação de imagem assinalam um atributo "não utilizada para referência" em uma figura que não é utilizada como uma figura de referência, ao determinar que a figura provavelmente será menos consultada ou ao receber um comando predeterminado (MMCP: comando de gerenciamento de memória). Deve-se notar que o comando predeterminado é um comando que especifica que uma figura a ser gerenciada não é consultada. Mais especificamente, esse método ou controle de marcação inclui um método de gerenciamento FIFO (Primeiro a Entrar Primeiro a Sair) e um controle de memória adaptativo utilizando uma comando de controle de gerenciamento da memória.
[00033] Aqui, a flexibilidade da estrutura de referência que é possibilitada pela definição da figura de H.264 não contribui diretamente para facilitar a implantação do aparelho de decodificação de imagem. Muito embora a flexibilidade da estrutura de referência possa contribuir para aumentar a eficiência da codificação de compressão, se a flexibi- lidade contribui ou não para facilitar a implantação do aparelho de de- codificação de imagem que reproduz dados codificados (fluxo codificado) é outra questão. Portanto, a flexibilidade da estrutura de referência aumenta a carga de processamento do aparelho de codificação de imagem e do aparelho de decodificação de imagem. Por exemplo, há o caso em que a implantação do aparelho de decodificação de imagem é facilitada quando é possível determinar que condições restritivas são impostas.
[00034] Além disso, existe o caso em que pelo menos a flexibilidade excessiva impõe uma limitação aos processos em geral. Por exemplo, quando o aparelho de codificação de imagem e o aparelho de decodi- ficação de imagem que consultam um grande número de figuras de referência por um longo período de tempo gerenciam uma memória (realizando o processamento de marcação) utilizando o método FIFO já mencionado, pode ocorrer que uma figura necessária para referência seja excluída da memória devido ao tamanho limitado da memória. Ademais, quando o aparelho de codificação de imagem e o aparelho de decodificação de imagem realizam o controle de memória adaptati- vo utilizando o comando de gerenciamento de memória mencionado, é requerido um comando (comando de gerenciamento de memória) todas as vezes que o controle for realizado.
[00035] Em vista disso, o método de codificação de imagem e o método de decodificação de imagem de acordo com um modalidade da presente invenção são caracterizados por reduzir a carga de processamento utilizando uma estrutura de referência na qual uma condição restritiva é imposta. Além disso, o método de gerenciamento de memória de acordo com um modalidade da presente invenção é caracterizado por evitar um aumento da carga de processamento, impedindo desta maneira que uma figura necessária para referência seja excluída de uma memória.
[00036] A seguir será descrita uma modalidade de acordo com a presente invenção em consulta aos desenhos. Deve-se notar que cada uma da modalidades discutidas abaixo descreve um exemplo específico preferencial da presente invenção. Um valor numérico, forma, material, elementos estruturais, posições esquemáticas e formas de conexão dos elementos estruturais, etapas, a ordem das etapas, e outras funções similares são exemplos, e não pretendem limitar a presente invenção. A presente invenção é limitada unicamente pelo escopo das reivindicações. Portanto, entre os elementos estruturais nas modalida-des abaixo, os elementos estruturais que não são descritos nas reivindicações independentes que indicam o conceito mais abrangente da presente invenção não são necessariamente requeridos para a solução do problema da presente invenção, contudo são discutidos como componentes para uma modalidade mais preferencial.
(Modalidade 1)
[00037] A Figura 1 é um diagrama de bloco que ilustra um aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção.
[00038] Um aparelho de codificação de imagem 1000 de acordo com a presente modalidade é caracterizado pelo fato de que uma restrição de acordo com uma estrutura da camada de uma figura é imposta à referência da figura na codificação inter previsão. O aparelho de codificação de imagem 1000 descrito acima inclui: um subtrator 1101; uma unidade de transformação ortogonal 1102; uma unidade de quan- tização 1103; uma unidade de codificação de entropia 1104; uma uni-dade de quantização inversa 1105; uma unidade de transformação ortogonal inversa 1106; um somador 1107; um filtro de desbloqueio 1108; uma memória 1109; uma unidade intra previsão 1110; uma unidade inter previsão 1111; uma unidade de estimativa do movimento 1112; um comutador 1113; e uma unidade de controle da memória 1200.
[00039] O subtrator 1101 obtém um sinal de vídeo, e uma imagem de previsão do comutador 1113. Então, o subtrator 1101 subtrai a imagem de previsão de um bloco corrente a ser codificado incluído no sinal de vídeo, gerando uma imagem diferencial.
[00040] A unidade de transformação ortogonal 1102 realiza transformada ortogonal (transformada de frequência) tal como transformada discreta de cosseno na imagem diferencial gerada pelo subtrator 1101, transformando a imagem diferencial em um bloco de coeficiente que inclui múltiplos coeficientes de frequência. A unidade de quantização 1103 quantiza cada um dos coeficientes de frequência incluídos no bloco de coeficiente, gerando um bloco de coeficiente quantizado.
[00041] A unidade de quantização inversa 11105 realiza a quanti- zação inversa no bloco de coeficiente quantizado pela unidade de quantização 1103. A unidade de transformação ortogonal inversa 1106 realiza transformação ortogonal inversa (transformação de frequência inversa), tal como transformada inversa discreta de cosseno, em cada um dos coeficientes de frequência incluídos no bloco de coeficiente no qual a quantização inversa foi realizada, gerando uma imagem diferencial decodificada.
[00042] O somador 1107 obtém uma imagem de previsão do comutador 1113 e adiciona a imagem de previsão à imagem diferencial decodificada gerada pela unidade de transformação ortogonal inversa 1106, gerando uma imagem decodificada local (imagem de reconfiguração).
[00043] O filtro de desbloqueio 1108 remove os efeitos de bloqueio da imagem decodificada local gerada pelo somador 1107, e armazena a imagem decodificada local na memória 1109. A memória 1109 é uma memória para armazenar a imagem decodificada local como uma imagem de referência para inter previsão. Deve-se notar que a memó- ria 1109 é utilizada como Buffer da Figura Decodificada (DPB).
[00044] A unidade intra previsão 1110 realiza intra previsão no bloco corrente a ser codificado, utilizando a imagem decodificada local gerada pelo somador 1107, gerando uma imagem de previsão (imagem intra previsão).
[00045] A unidade de estimativa do movimento 112 detecta um vetor de movimento para o bloco corrente incluído no sinal de vídeo, e emite o vetor de movimento detectado para a unidade inter previsão 1111 e para a unidade de codificação de entropia 1104.
[00046] A unidade inter previsão 1111 consulta a imagem armazenada na memória 1109 e utiliza o vetor de movimento detectado pela unidade de estimativa do movimento 1112, realizando assim a compensação de movimento no bloco corrente. A unidade inter previsão 1111 realiza a previsão compensada pelo movimento conforme descrito acima; ou seja, realiza a inter previsão no bloco corrente, gerando uma imagem de previsão (imagem inter previsão) do bloco corrente.
[00047] Além disso, a unidade inter previsão 1111 estratifica as figuras incluídas no sinal de vídeo. Mais especificamente, a unidade inter previsão 1111 classifica, em camadas, as figuras incluídas no sinal de vídeo, de maneira que cada uma das figuras pertence a uma das camadas correspondentes. Deve-se notar que, a unidade inter previsão 1111, por exemplo, estratifica múltiplas figuras na presente modalidade; no entanto, cada uma das imagens a ser estratificada não está limitada a uma figura, e outras unidades da imagem, tal como uma fatia, podem ser utilizadas.
[00048] Nesse caso, a unidade inter previsão 1111 consulta, como uma figura de referência para a figura corrente a ser codificada, uma figura que pertence à segunda camada que está presente dentro de uma faixa que é restrita de acordo com a primeira camada a qual pertence a figura corrente que é uma da figuras. Mais especificamente, a unidade inter previsão 1111 impede a consulta a uma figura que pertença a uma camada acima, ou em um nível mais alto que, a primeira camada, e consulta, como uma figura de referência, uma figura que pertence à segunda camada localizada em uma faixa restrita ao mesmo nível ou nível mais baixo que a primeira camada.
[00049] Além disso, a unidade inter previsão 1111 gera um sinalizador indicando a imposição ou não de uma restrição à seleção de uma figura de referência que é consultada na codificação da figura corrente a ser codificada que é uma das figuras, e emite o sinalizador à unidade de codificação de entropia 1104. Por exemplo, quando a restrição de consulta com base na estrutura da camada é imposta à figura corrente conforme descrito acima, a unidade inter previsão 1111 gera um sinalizador indicando 1 e emite o sinalizador à unidade de codificação de entropia 1104. Em outras palavras, no caso em que o sinalizador que indica a adição de de uma restrição, a unidade inter previsão 1111 seleciona, como uma figura de referência para a figura corrente, uma figura que satisfaz a condição restrita de acordo com a primeira camada a qual pertence a figura corrente.
[00050] Além disso, a unidade inter previsão 1111 gera, para cada uma das figuras que são estratificadas, informações da camada indicando uma camada a qual a figura pertence, e emite as informações da camada à unidade de codificação de entropia 1104 e à unidade de controle da memória 1200.
[00051] O comutador 1113, quando codificação intra previsão é realizada no bloco corrente a ser codificado, emite a imagem de previsão (imagem intra previsão) gerada pela unidade intra previsão 1110 ao subtrator 1101 e ao somador 1107. Em contrapartida, quando a codificação inter previsão é realizada no bloco corrente a ser codificado, o comutador 1113 emite a imagem de previsão (imagem inter previsão) gerada pela unidade inter previsão 1111 ao subtrator 1101 e ao soma- dor 1107.
[00052] A unidade de codificação de entropia 1104 realiza a codificação de entropia (codificação de comprimento variável): no bloco de coeficiente quantizado pela unidade de quantização 1103; em um vetor de movimento detectado pela unidade de estimativa do movimento 1112; e no sinalizador e nas informações da camada geradas pela unidade inter previsão 1111, gerando um fluxo codificado. Por meio dos processos descritos acima, o fluxo codificado inclui o sinalizador e as informações da camada descritas acima.
[00053] A unidade de controle da memória 1200 obtém, da unidade inter previsão 1111, informações da camada de cada uma das figuras, e gerencia a figura armazenada na memória 1109, com base em uma camada da figura indicada pelas informações da camada; ou seja, com base em uma estrutura da camada. Mais especificamente, a unidade de controle da memória 1200 aloca, como uma capacidade da camada, uma parte da capacidade de memória disponível na memória 1109, para cada uma das camadas. Então, a unidade de controle da memória 1200 armazena uma figura corrente a ser armazenada em uma região, dentro da memória 1109, que é restrita à capacidade da camada que é uma capacidade alocada à camada a qual pertence a figura corrente. Deve-se notar que, quando a região não tem capacidade remanescente disponível para armazenar a figura corrente a ser armazenada, a unidade de controle da memória 1200 pode excluir, da região, uma figura existente armazenada antecipadamente entre uma ou mais figuras existentes já armazenadas na região, de maneira que a figura corrente é armazenada.
[00054] Aqui, durante a alocação de uma capacidade da camada a cada uma das camadas, a unidade de controle da memória 1200 aloca, a uma camada do nível mais baixo localizada na parte inferior entre as camadas, uma capacidade da camada maior que uma capaci- dade da camada alocada à uma camada de nível superior localizada acima da camada do nível mais baixo.
[00055] Além disso, a unidade de controle da memória 1200 assinala um atributo em uma figura pertencente a uma camada localizada acima de uma camada a qual pertence a figura corrente a ser codificada, entre as figuras armazenadas na memória 1109. Mais especificamente, a unidade de controle da memória 1200 assinala um atributo que indica que a figura não é utilizada para consulta.
[00056] A seguir descreve-se em detalhes uma estrutura da camada e uma estrutura de referência de uma figura, que é construída pela unidade inter previsão 1111.
[00057] A Figura 2 é um diagrama que ilustra uma estrutura da camada e uma estrutura de referência construída pela unidade inter previsão 1111. Deve-se notar que, na Figura 2, um alfabeto e um caractere numérico adicionados a uma figura indicam um tipo de figura e uma ordem de exibição, respectivamente, da figura. Por exemplo, I0 indica uma tipo de figura "I" e a ordem de exibição da figura "0", e Br2 indica uma tipo de figura "B" e a ordem de exibição da figura "2".
[00058] A unidade inter previsão 1111 define uma estrutura de referência com base em uma estrutura da camada construída pela classificação de múltiplas figuras incluídas em um sinal de vídeo em camadas, como mostra a Figura 2. Aqui, a unidade inter previsão 1111 utiliza uma figura posicionada no topo na ordem de exibição entre as múltiplas figuras, como uma figura-I, e utiliza figuras, salvo a figura-I no topo, como figura B. Além disso, quando a unidade inter previsão 1111 realiza a inter previsão em uma figura pertencente a uma camada, para cada uma das múltiplas camadas, consulta uma figura que pertence ao mesmo nível que ou nível mais baixo que da camada. Mais especificamente, com a estrutura de referência construída pela unidade inter previsão 1111, impõe-se uma restrição que não permite a referência a uma figura classificada em uma camada acima ou mais alta que uma camada a qual uma figura corrente a ser codificada pertence (a qual permite a referência a uma figura em uma camada que é igual à ou uma camada abaixo da camada corrente). Por exemplo, a unidade inter previsão 1111 consulta uma figura I0 que pertence a uma camada 0 e uma figura Br2 que pertence a uma camada 2 durante a realização da inter previsão em uma figura B1 que pertence a uma camada 3, como mostra a Figura 2. Além disso, durante a realização da inter previsão em uma figura Bf8 que pertence à camada 0 no nível mais baixo, a unidade inter previsão 1111 se refere à figura I0 que pertence à mesma camada 0. Aqui, somente as figuras precedentes na ordem de exibição podem ser consultadas para a inter previsão de uma figura pertencente à camada 0 no nível mais baixo.
[00059] Conforme descrito acima, com a estrutura de referência de acordo com a presente modalidade, é possível melhorar a eficiência de compressão de um sinal de vídeo porque as figuras, salvo a figuraI, são as figuras-B. De maneira geral, uma figura que é codificada em consulta a mais figuras de referência pode melhorar a eficiência de compressão de mais de uma figura que é codificada em consulta a menos figuras de referência. Portanto, com a estrutura de referência de acordo com a presente modalidade, é possível melhorar a eficiência de compressão de um sinal de vídeo porque as figuras, salvo a fi- gura-I, são as figuras-B.
[00060] Além disso, com a estrutura de referência de acordo com a presente modalidade, uma figura pertencente a uma camada em um nível mais alto entre múltiplas camadas é codificada em consulta a uma figura que pertence à mesma camada ou uma figura pertencente a uma camada em um nível mais baixo. Isso facilita realizar uma reprodução especial, tal como a reprodução em velocidade dupla, em um aparelho de reprodução que inclui um aparelho de decodificação de imagem.
[00061] Durante a realização da reprodução em alta velocidade, por exemplo, o aparelho de reprodução reproduz somente as figuras que pertencem à camada 0. Com a estrutura de referência ilustrada na Figura 2, o aparelho de reprodução reproduz as figuras I0, Bf8, e Bf16. As figuras que pertencem à camadas 0 e 1 são reproduzidas quando a velocidade de reprodução deve ser reduzida, e as figuras que pertencem às camadas 0, 1, e 2 são reproduzidas quando a velocidade de reprodução deve ser reduzida ainda mais. Conforme descrito acima, é possível realizar facilmente a reprodução flexível em alta velocidade definindo a estrutura de referência de acordo com as camadas.
[00062] Mais especificamente, quando o aparelho de codificação de imagem codifica uma figura corrente a ser exibida que é exibida em reprodução especial em consulta a uma figura, como uma figura de referência, que pertence a uma camada em um nível mais alto que uma camada a qual pertence a figura corrente, o aparelho de reprodução precisa decodificar a figura de referência apesar de a figura de referência não ser exibida na reprodução especial. No entanto, com o aparelho de codificação de imagem 1000 de acordo com a presente modalidade, é proibido, a cada uma das figuras, consultar uma figura pertencente a uma camada em um nível mais alto que uma camada a qual cada uma das figuras pertence. Portanto, é possível dispensar o aparelho de reprodução do incômodo da decodificação uma figura de referência que não é exibida em uma reprodução especial. Em consequência disso, de acordo com a presente modalidade, é possível reduzir a carga de processamento do aparelho de decodificação de ima-gem incluído no aparelho de reprodução.
[00063] Aqui, a unidade inter previsão 1111 gera um sinalizador conforme descrito acima. Mais especificamente, a unidade inter previsão 1111 emite um sinalizador que determina, com um bit, se um sinal de vídeo (fluxo) é (i) codificado com um condição restritiva hierárquica para um propósito específico (reprodução especial, por exemplo) ou (ii) um fluxo que é codificado sem uma condição restritiva. A unidade de codificação de entropia 1104 adiciona o sinalizador (1 bit) ao topo de uma unidade de acesso (sequência ou unidade de acesso aleatório, por exemplo) em um fluxo codificado, por exemplo. Isso permite que o aparelho de reprodução determine, com o menor número de bits, se um fluxo codificado ou uma figura codificada serve ou não a um propósito específico, tal como a reprodução em alta velocidade e acesso aleatório. Em consequência disso, é possível minimizar o efeito de compatibilidade para um fluxo codificado que seja um sinal de vídeo codificado pelo padrão H.264 convencional e para o aparelho de decodificação de imagem que decodifica o fluxo codificado. Além disso, as informações que indicam a estrutura da camada e a estrutura de referência de acordo com um propósito; ou seja, informações indicando se uma restrição é ou não imposta, podem ser adicionadas a uma parte adicional, tal como SEI (informações de intensificação suplementar) separadamente do sinalizador já mencionado (1 bit).
[00064] Além disso, a unidade inter previsão 1111 gera informações da camada conforme descrito acima. Mais especificamente, a unidade inter previsão 1111 emite, para cada figura, informações da camada (informações de identificação) para identificar a qual camada a figura pertence. A unidade de codificação de entropia 1104, nesse momento, adiciona as informações da camada a um cabeçalho de uma figura correspondente às informações da camada. Mais especificamente, a unidade inter previsão 1111 aloca as mesmas informações da camada a todas as fatias em uma figura (quadro ou par de campo). Isso por não ser necessário alocar cada parte (fatia) na figura a uma das camadas correspondentes diferentes entre si no caso da reprodução especial, tal como a reprodução em alta velocidade ou acesso aleatório. Por meio dos processos descritos acima, a unidade de codificação de entropia 1104 adiciona as informações da camada a um cabeçalho de uma figura, tal como um conjunto de parâmetros da figura.
[00065] Em consequência disso, durante a realização da reprodução em alta velocidade do fluxo codificado, o aparelho de reprodução obtém as informações da camada do cabeçalho da figura e reproduz somente as figuras necessárias à reprodução em alta velocidade.
[00066] Além disso, a unidade de codificação de entropia 1104 pode dispõe múltiplos itens das informações da camada coletivamente no topo de um fluxo codificado. Mais especificamente, a unidade de codificação de entropia 1104 dispõe no topo de um fluxo codificado, como informações de gerenciamento, cada uma das informações da camada das múltiplas figuras incluídas no fluxo codificado, de acordo com ordem de codificação ou ordem de exibição da figuras. O aparelho de reprodução pode determine que tipo de reprodução em alta ve-locidade (reprodução especial) pode ser realizado, lendo as informações de gerenciamento no topo antes de decodificar o fluxo codificado.
[00067] Além disso, no caso de armazenar o fluxo codificado em um disco óptico, a unidade de codificação de entropia 1104 pode armazenar separadamente, no disco óptico, as informações de gerenciamento do fluxo codificado. Armazenando as informações de gerenciamento separadamente do fluxo codificado, é possível ao aparelho de reprodução determinar que tipo de reprodução em alta velocidade pode ser realizado, antes de reproduzir o fluxo codificado.
[00068] Deve-se notar que, de acordo com a presente modalidade, uma figura pertencente a uma camada em um nível alto é codificada em consulta a uma figura pertencente a uma camada no mesmo nível ou em um nível mais baixo. No entanto, uma figura que pertença a uma camada em um nível predeterminado pode excepcionalmente ser codificada em consulta a uma figura que pertença a uma camada em um nível mais alto que o nível predeterminado. Como mostram as setas pontilhadas na Figura 2, por exemplo, uma figura pertencente a uma camada em um nível mais baixo é codificada em consulta a uma figura pertencente a uma camada em um nível mais alto. Para ser específico, a figura Bf16 que pertence à camada 0 no nível mais baixo é codificada em consulta à figura Br4 que pertence à camada 1 em um nível mais alto e à figura Br6 que pertence à camada 2 em um nível mais alto.
[00069] Conforme a descrição acima, uma figura pertencente a uma camada em um nível predeterminado consulta uma figura pertencente a uma camada em um nível mais alto, permitindo assim aumentar ainda mais a eficiência de compressão de um sinal de vídeo. Nesse intervalo de tempo, como impõe-se uma restrição à reprodução especial, as informações que indicam que tipo de reprodução especial é possível realizar podem ser recém adicionadas ao fluxo codificado. Por exemplo, são adicionadas informações que indicam até que camada de figuras pode ser consultada por uma figura pertencente a uma camada no nível mais baixo. Conforme ilustrado na Figura 2, por exemplo, a unidade inter previsão 1111 emite informações indicando que é possível consultar a figura pertencente à camada 2, e a unidade de codificação de entropia 1104 adiciona as informações ao fluxo codificado. Em consequência disso, o aparelho de reprodução determina, com base nas informações, que é possível reproduzir as figuras que pertencem às suas respectivas camadas 0, 1, e 2 e as figuras que pertencem às suas respectivas camadas 0, 1, 2, e 3, como reprodução especial. As informações que indicam até que camada das figuras é possível consultar podem ser adicionadas ao cabeçalho do fluxo codificado, ou podem ser armazenadas como informações de gerenciamento diferentes do fluxo codificado.
[00070] Deve-se notar que a unidade inter previsão 1111, ao reali- zar a inter previsão de uma figura que sucede uma figura pertencente a uma camada no nível mais baixo na ordem de exibição, pode evitar a consulta a uma figura que precede a figura pertencente a uma camada no nível mais baixo na ordem de exibição. Em outras palavras, a unidade inter previsão 1111 diz respeito à figura pertencente à camada no nível mais baixo como figura de critério para ajustar uma restrição de consulta. Com essa restrição de consulta, é possível assegurar, quando o aparelho de decodificação de imagem acessa aleatoriamente uma figura pertencente à camada no nível mais baixo, decodificar figuras posicionadas posteriormente à figura que é aleatoriamente acessada. Além disso, a unidade inter previsão 1111 pode emitir, para uma figura pertencente à camada no nível mais baixo, informações indicando se a figura é ou não a figura de critério para a restrição de consulta. Nesse caso, a unidade de codificação de entropia 1104 adiciona, à figura, informações que indicam se a figura é ou não a figura de critério. De acordo com os processos descritos acima, como a figura de critério e as figuras, salvo a figura de critério, estão presentes juntas na camada no nível mais baixo, é possível obter melhorias na eficiência de compressão e no acesso aleatório de um sinal de vídeo.
[00071] Aqui, a figura de critério pode ser uma figura que pertence não à camada no nível mais baixo, mas a uma camada em um nível mais baixo que a figura corrente a ser codificada, por exemplo. Para ser específico, a figura de critério é uma figura que pertence à segunda camada posicionada em uma faixa restrita de acordo com a primeira camada a qual pertence a figura corrente; ou seja, uma faixa restrita a ser mais baixa que a primeira camada. Por exemplo, a figura de critério está presente entre a figura corrente e uma figura candidata na ordem de codificação. Nesse caso, a unidade inter previsão 1111, durante a seleção de uma figura de referência, impede a seleção, como a figura de referência, da figura candidata que precede à figura corrente na ordem de codificação e seleciona uma figura, salvo a figura candidata, como a figura de referência. Com isso, é possível selecionar uma figura apropriada como a figura de referência e reduzir ainda mais a carga de processamento.
[00072] Além disso, a unidade inter previsão 1111 pode consultar uma figura na camada no nível mais baixo, ao realizar a inter previsão em uma figura em uma posição de acesso do acesso aleatório. Mais especificamente, ao realizar a inter previsão em uma figura pertencente à camada 3, que pode ser a posição de acesso do acesso aleatório, somente uma figura pertencente à camada 0 pode ser consultada como figura de referência. Isso permite que o aparelho de decodificação de imagem consulte diretamente, durante a decodificação de uma figura em uma posição de acesso de acesso aleatório, à figura de referência na camada 0 e decodifica a figura na posição de acesso sem decodificar uma figura em uma camada intermediária; ou seja, uma camada entre uma camada a qual pertence a figura na posição de acesso e a camada 0 no nível mais baixo. Além disso, dados de codificação adicionais, tal como fatia de Comutação P (SP) não são requeri dos.
[00073] Consta a seguir uma descrição detalhada de um método de gerenciamento de memória para gerenciar a memória 1109, realizado pela unidade de controle da memória 1200.
[00074] Por exemplo, quando um método de gerenciamento de memória de acordo com padrão H.264 existente é simplesmente aplicado à estrutura de referência ilustrada na Figura 2, uma figura de referência que é consultada para codificação uma figura corrente a ser codificada é excluída da memória 1109, resultando com isso que a figura de referência em alguns casos não possa ser consultada.
[00075] A Figura 3 é um exemplo de um método de gerenciamento de memória no caso em que uma figura de referência necessária é excluída.
[00076] Primeiramente, a figura I0 é codificada e decodificada, e armazenada como uma figura de referência I0 na memória no 0ésimo processo na ordem de codificação. Então, as figuras de referência são armazenadas sequencialmente na memória. A figura I0, a figura Bf8, a figura Br4, e a figura Br2 são armazenadas na memória no terceiro processo na ordem de codificação. A seguir, no quarto processo na ordem de codificação, a figura Br6 é recém adicionada à memória 1109 e a figura I0 armazenada mais antecipadamente na memória é excluída da memória.
[00077] No entanto, como a figura I0 é consultada para o codificação da figura B1 no quinto processo na ordem de codificação, a figura I0 precisa ser novamente decodificada no quinto processo. Em outras palavras, a memória deve ter uma capacidade grande o bastante para armazenar a figura I0 na memória para a codificação da figura B1.
[00078] Da mesma maneira acima, a figura Br8 é excluída da me mória no nono processo na ordem de codificação. No entanto, como a figura Bf8 é consultada para o codificação da figura Br12 no décimo processo na ordem de codificação, a figura Bf8 precisa ser decodificada novamente no décimo processo. Em outras palavras, para assegurar que a figura Bf8 seja armazenada na memória no décimo processo na ordem de codificação, a memória deve ter uma capacidade maior. Como alternativa, o comando de gerenciamento de memória (MMCO) precisa ser aplicado.
[00079] Conforme afirmação acima, a simples aplicação do método de gerenciamento de memória de acordo com padrão H.264 existente à estrutura de referência ilustrado na Figura 2 resulta no problema de exclusão de uma figura de referência que deve ser armazenada na memória.
[00080] Para solucionar tal problema, pode-se impor uma restrição à ordem de codificação das figuras.
[00081] A Figura 4 é um diagrama que ilustra um exemplo do método de gerenciamento de memória quando impõe-se uma restrição na ordem de codificação das figuras.
[00082] Por exemplo, impõe-se uma restrição de que uma figura pertencente a uma camada, salvo uma camada no nível mais alto, é codificada no último momento possível na ordem de codificação. Deve-se notar que, mesmo com essa restrição, uma figura sucessora na ordem de codificação não é consultada para a codificação de uma figura precedente na ordem de codificação. Além disso, a ordem de codificação é igual à ordem de decodificação.
[00083] Para ser específico, na ordem de codificação mostrada na Figura 4, a figura Br6 na camada 2 sucede as figuras B1 e B3 na camada 3 na ordem de codificação. Durante a codificação da figura B1 na camada 3 de acordo com essa ordem de codificação, a figura I0 que é consultada pela figura B1 é armazenada na memória 1109. Portanto, é possível omitir o problema de novamente decodificar a I0 e de reduzir o aumento na capacidade da memória 1109.
[00084] No entanto, mesmo nesse caso, a figura Br8 é excluída da memória através do nono processo (codificação e decodificação da figura Bf16) na ordem de codificação. Em consequência disso, como a figura Bf8 é consultada para a codificação da figura Br12 no décimo processo na ordem de codificação, a figura Bf8 precisa ser decodificada novamente. Em outras palavras, para assegurar que a figura Bf8 seja armazenada no décimo processo na ordem de codificação, a memória é deve ter uma capacidade maior de memória. Como alternativa, o comando de gerenciamento de memória (MMCO) precisa ser aplicado.
[00085] A Figura 5 é um diagrama que ilustra o método de gerenciamento de memória realizado pela unidade de controle da memória 1200 de acordo com a presente modalidade.
[00086] A unidade de controle da memória 1200 gerencia a memória 1109 utilizando a estrutura da camada e a estrutura de referência de uma figura. Por exemplo, a memória 1109 tem uma capacidade de memória para armazenar quatro figuras. Nesse caso, a unidade de controle da memória 1200 aloca, à camada 0 no nível mais baixo, a capacidade de memória para duas figuras como uma capacidade da camada, da capacidade de memória para quatro figuras que é a capacidade de memória disponível 1109. Além disso, a unidade de controle da memória 1200 aloca, para a camada 1 e a camada 2 individualmente, a capacidade de memória para uma figura como a capacidade da camada, da capacidade de memória mencionada acima para quatro figuras da memória 1109. Mais especificamente, a capacidade da camada para uma figura é alocada para cada uma das camadas intermediárias, salvo a camada 0 no nível mais baixo e a camada 3 no nível mais alto.
[00087] A seguir, a unidade de controle da memória 1200 obtém, da unidade inter previsão 1111, as informações da camada de uma figura incluída no sinal de vídeo. No caso em que as informações da camada indica a camada 0, a unidade de controle da memória 1200 armazena a figura em uma região da capacidade da camada da memória 1109 que é alocada à camada 0. Além disso, no caso em que as informações da camada indicam a camada 1 ou 2, a unidade de controle da memória 1200 armazena a figura em uma região da capacidade da camada da memória 1109 que é alocada à camada 1 ou 2.
[00088] Na presente modalidade conforme descrito acima, a capacidade da camada é mais alocada à camada em um nível baixo a qual uma figura com mais chances de ser consultada por outras figuras pertence, e menos alocada à camada em um nível alto a qual uma figura com menos chance de ser consultada por outras figuras pertence. Isso torna possível armazenar, sem falhas, na memória 1109, a figura de referência necessária para codificação e decodificação sem ampliar a capacidade de memória ou aplicar MMCO.
[00089] Deve-se notar que o modo de alocação da capacidade da camada não está restrito ao exemplo mostrado na Figura 5. É necessário somente que a unidade de controle da memória 1200 aloque a capacidade da camada preferencialmente à camada no nível baixo. Por exemplo, a unidade de controle da memória 1200 pode alocar a capacidade da camada para três figuras à camada 0 e a capacidade da camada para uma figura a todas as demais camadas 1 e 2.
[00090] A Figura 6 é um fluxograma que ilustra processos realizados pelo aparelho de codificação de imagem 1000 de acordo com a presente modalidade.
[00091] A unidade inter previsão 1111 do aparelho de codificação de imagem 1000 consulta, como uma imagem de referência para uma imagem corrente a ser codificada, uma imagem que pertence à segunda camada em uma faixa restrita de acordo com a primeira camada a qual a imagem corrente pertence (Etapa S10). Então, o aparelho de codificação de imagem 1000 codifica a imagem corrente com base na imagem de referência (Etapa S 11). Deve-se notar que a unidade inter previsão 1111 serve como uma unidade de referência (a primeira unidade de referência) que consulta a imagem de referência de acordo com a presente modalidade. Além disso, pelo menos um elemento estrutural fornecido no aparelho de codificação de imagem 1000 serve como unidade de codificação que codifica a imagem corrente.
[00092] Com isso, a camada a qual pertence a imagem de referência que é consultada para codificação da imagem corrente está presente dentro de uma faixa restrita de acordo com a primeira camada a qual a imagem corrente pertence. Portanto, como a imagem de referência que é consultada para codificação da imagem corrente está res- trita de acordo com a primeira camada, é possível reduzir a carga de processamento da codificação. Além disso, como a imagem de referência também está restrita durante a decodificação de uma imagem codificada como descrito acima, é possível reduzir a carga de processamento da decodificação.
[00093] Aqui, durante a consulta à imagem de referência na Etapa S10, a unidade inter previsão 1111 impede a consulta a uma imagem que pertence a uma camada em um nível mais alto que a primeira camada, e consulta, como a imagem de referência, uma imagem que pertence à segunda camada localizada em uma faixa restrita à primeira camada ou a uma camada abaixo da primeira camada.
[00094] Com isso, como é proibido consultar uma imagem que pertence a uma camada em posição mais alta que a primeira camada a qual a imagem corrente pertence, é possível codificar a imagem corrente com menos carga de processamento. Igualmente, como não é necessário, durante a decodificação de uma imagem codificada, para consultar uma imagem que pertence a uma camada localizada acima de uma camada a qual a imagem codificada pertence, é possível decodificar a imagem codificada com menos carga de processamento. Além disso, no caso em que cada imagem incluída em um sinal de vídeo é tratada como uma imagem a ser codificada e o sinal de vídeo é codificado, não é necessário consultar, na decodificação de quaisquer imagens incluídas no sinal de vídeo codificado, uma imagem que pertença a uma camada localizada acima de uma camada a qual a imagem pertence. Portanto, é somente necessário ao aparelho de decodi- ficação de imagem decodificar uma imagem que pertence a uma ca-mada que é o alvo de um reprodução especial (reprodução em alta velocidade), e portanto, é possível omitir o inconveniente da decodifi- cação e consulta a uma imagem que pertence a uma camada em posição mais alta que a camada que é o alvo da reprodução especial. No caso em que a camada que é o alvo de um reprodução especial, tal como reprodução N tempo-velocidade (N □ 2) é a camada do nível mais baixo 0 localizada na parte inferior, o aparelho de decodificação de imagem não assume o inconveniente de decodificar e consultar uma imagem que não é o alvo da reprodução especial e nas camadas 1, 2, e 3 em posição mais alta que a camada do nível mais baixo. Deve-se notar que cada uma das imagens é uma figura ou uma fatia.
[00095] A Figura 7 é um fluxograma que ilustra processos nos quais um sinalizador é utilizado e que são realizados pelo aparelho de codificação de imagem 1000 de acordo com a presente modalidade.
[00096] A unidade inter previsão 1111 do aparelho de codificação de imagem 1000 gera um sinalizador que indica se adiciona ou não uma restrição à seleção de uma imagem de referência a ser consultada para a codificação de uma imagem corrente a ser codificada (Etapa S20). A seguir, no caso em que o sinalizador indica a adição de uma restrição, a unidade inter previsão 1111 seleciona, como uma imagem de referência para a imagem corrente, uma imagem que satisfaz a condição restrita de acordo com a restrição de acordo com a primeira camada a qual a imagem corrente pertence (Etapa S21). A seguir, o aparelho de codificação de imagem 1000 codifica a imagem corrente, em consulta à imagem de referência selecionada (Etapa S22). Então, a unidade de codificação de entropia 1104 do aparelho de codificação de imagem 1000 inclui o sinalizador no fluxo codificado que é o sinal de vídeo codificado (Etapa S23). Deve-se notar que a unidade inter previsão 1111 serve como unidade de geração de sinalizador que gera um sinalizador e, ao mesmo tempo, como uma unidade de seleção que seleciona uma imagem de referência, de acordo com a presente modalidade. Além disso, pelo menos um elemento estrutural fornecido no aparelho de codificação de imagem 1000 serve como unidade de codificação que codifica a imagem corrente a ser codificada. Além dis- so, a unidade de codificação de entropia 1104 serve como uma unidade de inserção que inclui o sinalizador em um fluxo codificado.
[00097] Com isso, no caso em que o sinalizador indica a adição de uma restrição, uma imagem que satisfaz a condição restrita de acordo com a primeira camada a qual a imagem corrente pertence é selecionada como uma imagem de referência. Mais especificamente, uma imagem de referência que é consultada para a codificação da imagem corrente é restrita de acordo com a primeira camada. Em consequência disso, é possível reduzir a carga de processamento da codificação da imagem corrente. Além disso, como um sinalizador que indica se impõe-se ou não uma restrição na seleção de uma imagem de referência é gerado e incluído em um fluxo codificado, é possível ao aparelho de decodificação de imagem que decodifica o fluxo codificado determinar facilmente se impõe-se ou não uma restrição na seleção da imagem de referência. Em consequência disso, o aparelho de decodi- ficação de imagem pode decodificar apropriadamente o sinal de vídeo codificado com menos carga de processamento.
[00098] A Figura 8 é um fluxograma que ilustra processos específicos realizados pelo aparelho de codificação de imagem 1000 de acordo com a presente modalidade.
[00099] Primeiramente, o aparelho de codificação de imagem 1000 obtém um sinal de vídeo a ser codificado (S100).
[000100] A seguir, o aparelho de codificação de imagem 1000 classifica, em camadas, as figuras incluídas no sinal de vídeo obtido (Etapa S101). Então, o aparelho de codificação de imagem 1000 codifica as figuras de acordo com a restrição com base na estrutura da camada das figuras (Etapa S 102). A seguir, o aparelho de codificação de imagem 1000 emite um fluxo codificado que inclui as figuras codificadas, as informações da camada das figuras, e um sinalizador (S103).
[000101] A Figura 9 é um diagrama de bloco que ilustra o aparelho de decodificação de imagem de acordo com um modalidade da presente invenção.
[000102] Um aparelho de decodificação de imagem 2000 de acordo com a presente modalidade é um aparelho que decodifica corretamente um fluxo codificado gerado pelo aparelho de codificação de imagem 1000 e inclui: uma unidade de decodificação de entropia 2101; uma unidade de quantização inversa 2102; uma unidade de transformação ortogonal inversa 2103; um somador 2104; um filtro de desbloqueio 2105; uma memória 2106; uma unidade intra previsão 2107; uma unidade inter previsão 2108; um comutador 2109; e uma unidade de controle da memória 2200.
[000103] A unidade de decodificação de entropia 2101 obtém um fluxo codificado e realiza a decodificação de entropia (decodificação de comprimento variável) no fluxo codificado. Mais especificamente, a unidade de decodificação de entropia 2101 gera um bloco de coeficiente quantizado, um vetor de movimento, um sinalizador, e informações da camada, ao realizar a decodificação de entropia.
[000104] A unidade de quantização inversa 2102 realiza a quantiza- ção inversa no bloco de coeficiente quantizado resultante da decodifi- cação de entropia realizada pela unidade de decodificação de entropia 2101. A unidade de transformação ortogonal inversa 2103 realiza a transformação ortogonal inversa (transformação de frequência inversa), tal como a transformada inversa discreta de cosseno, em cada um dos coeficientes de frequência incluído no bloco de coeficiente quanti- zado inverso, gerando uma imagem diferencial decodificada.
[000105] O somador 2104 obtém uma imagem de previsão do comutador 2109 e adiciona a imagem de previsão à imagem diferencial decodificada gerada pela unidade de transformação ortogonal inversa 2103, gerando uma imagem decodificada (imagem de reconfiguração).
[000106] O filtro de desbloqueio 2105 remove os efeitos de bloqueio da imagem decodificada gerada pelo somador 2104, armazena a imagem decodificada na memória 2106, e emite a imagem decodificada.
[000107] A unidade intra previsão 2107 realiza a intra previsão em um bloco corrente a ser decodificado, utilizando a imagem decodificada gerada pelo somador 2104, gerando uma imagem de previsão (imagem intra previsão).
[000108] A unidade inter previsão 2108 consulta, como uma imagem de referência, a imagem armazenada na memória 2106, e utiliza o vetor de movimento resultante da decodificação da entropia realizada pela unidade de decodificação de entropia 2101, realizando assim a compensação de movimento no bloco corrente. A unidade inter previsão 2108 realiza a compensação de movimento conforme descrito acima; ou seja, realiza a inter previsão no bloco corrente, gerando uma imagem de previsão (imagem inter previsão) do bloco corrente.
[000109] Aqui, a unidade inter previsão 2108 impõe uma restrição à seleção de uma imagem de referência assim como a unidade inter previsão 1111 do aparelho de codificação de imagem 1000. Ou seja, a unidade inter previsão 2108 consulta, como uma figura de referência para a figura corrente a ser decodificada, uma figura que pertence à segunda camada que está presente dentro de uma faixa que é restrita de acordo com a primeira camada a qual pertence a figura corrente. Mais especificamente, a unidade inter previsão 2108 impede a consulta a uma figura que pertença a uma camada acima, ou em um nível mais alto que, a primeira camada, e consulta, como uma figura de referência, uma figura que pertence à segunda camada que está localizada em uma faixa restrita à primeira camada ou a uma camada abaixo da primeira camada.
[000110] Além disso, a unidade inter previsão 2108 gera uma lista de referência que indica uma ou mais figuras, cada uma delas pertencente à primeira camada ou a uma camada abaixo da primeira camada, salvo todas as figuras que pertencem às suas respectivas camadas presentes em posição mais alta que a primeira camada, entre as figuras incluídas no fluxo codificado. A unidade inter previsão 2108, durante a consulta a uma figura de referência, seleciona uma figura de referência de uma ou mais figuras indicadas na lista de referência.
[000111] Além disso, a unidade inter previsão 2108 obtém o sinalizador descrito acima. Aqui, no caso em que o sinalizador indica a adição de uma restrição, a unidade inter previsão 2108 seleciona, como uma figura de referência para a figura corrente, uma figura que satisfaz a condição restrita de acordo com a primeira camada a qual pertence a figura corrente. Por exemplo, a unidade inter previsão 2108 seleciona uma figura de referência utilizando uma figura de critério da mesma maneira que a unidade inter previsão 1111 do aparelho de codificação de imagem 1000. Então, a unidade inter previsão 2108 decodifica a figura corrente em consulta à figura de referência selecionada.
[000112] O comutador 2109, quando a codificação intra previsão tiver sido realizada no bloco corrente, emite a imagem de previsão (imagem intra previsão) gerada pela unidade intra previsão 2107 ao somador 2104. Nesse intervalo de tempo, o comutador 2109, quando codificação inter previsão tiver sido realizada no bloco corrente, emite a imagem de previsão (imagem inter previsão) gerada pela unidade inter previsão 2108 ao somador 2104.
[000113] A unidade de controle da memória 2200 obtém, da unidade de decodificação de entropia 2101, informações da camada de cada uma das figuras, e gerencia cada uma das figuras armazenadas na memória 2106, com base em uma camada da figura indicada pelas informações da camada; ou seja, com base em uma estrutura da camada, da mesma maneira que a unidade de controle da memória 1200 do aparelho de codificação de imagem 1000.
[000114] A Figura 10 é um fluxograma que ilustra processos realiza- dos pelo aparelho de decodificação de imagem 2000 de acordo com a presente modalidade.
[000115] A unidade inter previsão 2108 do aparelho de decodificação de imagem 2000 consulta, como uma imagem de referência para uma imagem corrente a ser decodificada, uma imagem que pertence à segunda camada em uma faixa restrita de acordo com a primeira camada a qual a imagem corrente pertence (Etapa S30). Então, o aparelho de decodificação de imagem 2000 decodifica a imagem corrente com base na imagem de referência (Etapa S31). Deve-se notar que a unidade inter previsão 2108 serve como uma unidade de referência (a segunda unidade de referência) que consulta a imagem de referência de acordo com a presente modalidade. Além disso, um ou mais elementos estruturais fornecidos no aparelho de decodificação de imagem 2000 servem como unidades de decodificação que decodificam a imagem corrente. Além disso, a imagem é uma figura, uma fatia, ou similares.
[000116] Por exemplo, a unidade inter previsão 2108 gera uma lista de referência que indica uma ou mais figuras, cada uma delas pertencente a uma camada que está presente no mesmo nível ou em nível mais baixo que a primeira camada, salvo todas as figuras que pertencem às suas respectivas camadas presentes em posição mais alta que a primeira camada, entre as figuras incluídas no fluxo codificado. Então, a unidade inter previsão 2108, durante a consulta à figura de referência na Etapa S30, seleciona uma figura de referência entre uma ou mais figuras indicadas na lista de referência.
[000117] Com isso, a camada a qual pertence a imagem de referência que é consultada para a decodificação da imagem corrente está presente em uma faixa restrita de acordo com a primeira camada a qual a imagem corrente pertence. Portanto, como a imagem de referência que é consultada para a decodificação da imagem corrente é restrita de acordo com a primeira camada, é possível reduzir a carga de processamento da decodificação.
[000118] A Figura 11 é um fluxograma que ilustra processos realizados pelo aparelho de decodificação de imagem 2000 de acordo com a presente modalidade.
[000119] A unidade inter previsão 2108 do aparelho de decodificação de imagem 2000 obtém, de um fluxo codificado, um sinalizador que indica a imposição ou não de uma restrição à seleção da imagem de referência a ser consultada para decodificar a imagem corrente que é uma das imagens incluídas no fluxo codificado (Etapa S40). A seguir, quando o sinalizador indica a imposição de uma restrição, a unidade inter previsão 2108 seleciona, como uma imagem de referência para a imagem corrente, uma imagem que satisfaz a condição restrita de acordo com a primeira camada a qual a imagem corrente pertence (Etapa S41). Então, o aparelho de decodificação de imagem 2000 decodifica a imagem corrente com base na imagem de referência selecionada (Etapa S42). Deve-se notar que a unidade inter previsão 2108 serve como uma unidade de obtenção do sinalizador que obtém o sinalizador e, ao mesmo tempo, uma unidade de seleção que seleciona uma imagem de referência.
[000120] Com isso, no caso em que o sinalizador indica a imposição de uma restrição, uma imagem que satisfaz a condição restrita de acordo com a primeira camada a qual a imagem corrente pertence é selecionada como uma imagem de referência. Mais especificamente, uma imagem de referência que é consultada para a decodificação da imagem corrente é restrita de acordo com a primeira camada. Em consequência disso, é possível reduzir a carga de processamento da de- codificação da imagem corrente.
[000121] A Figura 12 é um fluxograma que ilustra um método de gerenciamento de memória de acordo com a presente modalidade.
[000122] A unidade de controle da memória 2200 do aparelho de de- codificação de imagem 2000 armazena uma imagem alvo a ser armazenada entre as imagens incluídas no fluxo codificado, em uma região da memória 2106, que é restrita a uma capacidade da camada que é uma capacidade alocada à uma camada a qual a imagem alvo pertence (Etapa S50). Mais especificamente, a unidade de controle da memória 2200 aloca, como uma capacidade da camada, parte da capacidade de memória disponível na memória 2106, para cada uma das camadas. Deve-se notar que, de acordo com a presente modalidade, a unidade de controle da memória 2200 serve como aparelho de gerenciamento de memória e inclui uma unidade de controle de armazenamento para armazenar a imagem alvo para armazenamento descrito acima.
[000123] Existe o caso, por exemplo, em que uma imagem de referência de longo tempo que é consultada por um longo período de tempo pertence a outra camada, e a imagem de referência de longo tempo é armazenada em outra região. Nesse caso, quando a imagem alvo é armazenada na outra região, a imagem de referência de longo tempo pode ser excluída da memória 2106 em alguns casos. É necessário portanto realizar o processamento, tal como a decodificação da ima-gem de referência de longo tempo novamente, a fim de consultar a imagem de referência de longo tempo depois da exclusão da memória 2106 da imagem de referência de longo tempo. Em vista disso, com o método de gerenciamento de memória de acordo com a presente modalidade, como uma imagem alvo a ser armazenada é armazenada em uma região de uma memória, que é restrita a uma capacidade da camada que é alocada à camada a qual a imagem alvo pertence e restrita a uma capacidade da camada, é possível impedir a imagem de referência de longo tempo de ser excluída da memória 2106. Em outras palavras, é possível armazenar um imagem de referência neces- sária na memória 2106 sem falhas. Em consequência disso, é possível omitir um processo redundante, tal como a uma nova decodificação da imagem de referência de longo tempo. Além disso, é possível reduzir a carga de processamento para aplicar sucessivamente um comando de gerenciamento de memória que instrua a exclusão de uma imagem desnecessária para armazenar uma imagem de referência necessária na memória 2106 sem falhas.
[000124] Deve-se notar que, no caso em que a região descrita acima não possui capacidade remanescente para armazenar uma imagem alvo a ser armazenada durante o armazenamento da imagem alvo, a unidade de controle da memória 2200 exclui da região, entre uma ou mais imagens existentes que já tenham sido armazenadas na região, a imagem existente que tenha sido armazenada mais antecipadamente, de maneira que a imagem alvo é armazenada.
[000125] De acordo com a presente modalidade, uma camada a qual uma imagem de referência, que é uma imagem a ser consultada para a codificação ou decodificação da imagem corrente a ser processada, das múltiplas imagens incluídas no sinal de vídeo (fluxo codificado), está restrita a ser uma camada que está no mesmo nível ou nível mais baixo que a camada a qual a imagem corrente pertence. Nesse caso, durante a alocação de uma capacidade da camada a cada uma das camadas, a unidade de controle da memória 2200 aloca, para uma camada do nível mais baixo 0 localizada na parte inferior entre a ca-madas, uma capacidade da camada maior que uma capacidade da camada alocada à uma camada de nível superior em posição mais alta que a camada do nível mais baixo 0.
[000126] Com isso, como a camada a qual a imagem de referência pertence é restrita à camada no mesmo nível que ou nível mais baixo que a camada a qual a imagem corrente pertence, é altamente provável que uma imagem que pertença à camada do nível mais baixo 0 seja consultada por um período de tempo mais longo que uma imagem que pertence à camada de nível superior. Em vista disso, uma capacidade da camada maior que uma capacidade da camada alocada à camada de nível superior é alocada à camada do nível mais baixo 0 com o método de gerenciamento de memória de acordo com a presente modalidade, e é possível portanto armazenar, na memória, a imagem que pertence à camada do nível mais baixo 0 por um longo período de tempo. Em consequência disso, quando uma imagem que pertence à camada do nível mais baixo 0 é consultada, é possível impedir essa situação já que a imagem foi excluída da memória 2106 e portanto não pode ser consultada.
[000127] Além disso, a unidade de controle da memória 2200 assinala um atributo na imagem, das imagens armazenadas na memória 2106, que pertence a uma camada localizada acima de uma camada a qual a imagem corrente a ser decodificada pertence. Por exemplo, a unidade de controle da memória 2200 assinala um atributo que indica que a imagem não é utilizada para referência.
[000128] Com isso, como o atributo é assinalado na imagem, é possível identificar facilmente uma imagem desnecessária que não deve ser utilizada para referência e excluir a imagem da memória 2106 antes de excluir outras imagens. Em consequência disso, é possível utilizar eficazmente a capacidade da memória 2106.
[000129] A Figura 13 é um fluxograma que ilustra processos específicos realizados pelo aparelho de decodificação de imagem 2000 de acordo com a presente modalidade.
[000130] Primeiramente, o aparelho de decodificação de imagem 2000 obtém um sinalizador com um bit de um fluxo codificado e determina se o sinalizador indica ou não 1 (Etapa S201).
[000131] Quando o aparelho de decodificação de imagem 2000 determina que o sinalizador não indica 1 (No na Etapa S201), o aparelho de decodificação de imagem 2000 obtém uma figura corrente a ser decodificada correspondente ao sinalizador (Etapa S202), e decodifica a figura corrente usando um método geral (por exemplo, inter previsão ou intra previsão de acordo com padrão H.264) (Etapa S203).
[000132] Por outro lado, quando o aparelho de decodificação de imagem 2000 determina que o sinalizador indica 1 (Sim na Etapa S201), o aparelho de decodificação de imagem 2000 obtém uma figura corrente a ser decodificada que corresponde ao sinalizador (Etapa S204), e determina se a figura corrente é ou não uma figura a ser decodificada por meio de inter previsão (Etapa S205).
[000133] Quando o aparelho de decodificação de imagem 2000 determina que a figura corrente não é uma figura a ser decodificada por meio de inter previsão (No na Etapa S205), o aparelho de decodifica- ção de imagem 2000 decodifica a figura corrente por meio de intra previsão (Etapa S206).
[000134] Por outro lado, quando o aparelho de decodificação de imagem 2000 determina que a figura corrente é uma figura a ser decodificada por meio de inter previsão (Sim na Etapa S205), o aparelho de decodificação de imagem 2000 obtém informações da camada da figura corrente (Etapa S207). Em seguida a unidade inter previsão 2108 do aparelho de decodificação de imagem 2000 identifica a figura pertencente a uma camada em um nível mais alto que uma camada indicada nas informações da camada (Etapa S208). A seguir, a unidade inter previsão 2108 constrói uma lista de referência (L0, L1) da figura corrente utilizando uma figura, salvo a figura identificada entre as figuras armazenadas na memória 2106 (Etapa S209).
[000135] Além disso, a unidade de controle da memória 2200 do aparelho de decodificação de imagem 2000 assinala um atributo que indica "não utilizada para referência" na figura identificada na Etapa S208 (Etapa S210). Em seguida a unidade inter previsão 2108 decodi- fica a figura corrente por meio de inter previsão utilizando a figura de referência indicada na lista de referência construída na Etapa S209 (Etapa S211).
[000136] Na Etapa S210, a unidade de controle da memória 2200 assinala o atributo de "não utilizada para referência" em todas as figuras de referência que pertencem a uma camada em um nível mais alto que uma camada indicada pelas informações da camada, entre as figuras (figuras de referência) mantidas na memória 2106. Isso permite que o aparelho de decodificação de imagem 2000 saiba antecipadamente que a condição restritiva em que uma figura pertencente a uma camada em um nível mais alto que uma camada da figura corrente não tem permissão para ser consultada está anexada ao fluxo codificado.
[000137] Conforme descrito acima, de acordo com a presente modalidade, é possível assinalar o atributo "não utilizada para referência" em uma figura de referência que certamente não será utilizada para referência, por meio do terceiro método (um método baseado em uma estrutura da camada) diferente do gerenciamento geral FIFO e do controle de memória adaptativo utilizando MMCO. Isso torna possível, quando a figura de referência é emitida (exibida), excluir automaticamente a figura de referência da memória 210.
[000138] Além disso, o aparelho de decodificação de imagem 2000, ao construir a lista de referência na Etapa S209 (processo de classificação no momento de inicialização da lista de referência), gera ou atualiza a lista de referência de uma figura corrente a ser decodificada (ou uma fatia corrente a ser decodificada), exceto a figura de referência em uma camada de um nível mais alto que uma camada da figura corrente, da lista de referência. Isso permite facilitar o processo de construção da lista de referência. (Modificação)
[000139] Deve-se notar que, na presente modalidade, a consulta a uma figura e gerenciamento da memória ilustrados na Figura 14, Figura 15, e Figura 16 pode ser realizada.
[000140] A Figura 14 é um diagrama que indica uma estrutura de referência de acordo com a presente modificação. Deve-se notar que, na Figura 14, um alfabeto, um caractere numérico, e um caractere numérico fornecidos em parênteses, que são adicionados a uma figura indicam um tipo de figura, uma ordem de exibição da figura, e uma ordem de codificação da figura, respectivamente. I0(0) indica o tipo de figura "I", uma ordem de exibição "0" da figura, e a ordem de codificação "0" da figura. O Br2(3) indica o tipo de figura "B", uma ordem de exibição "2" da figura, e a ordem de codificação "3" da figura.
[000141] Por exemplo, com a estrutura de referência de acordo com a presente modificação, uma figura precedente na ordem de exibição é consultada na codificação ou decodificação da figura Bf8(1) e da figura Bf16(9) individualmente que são as figuras-B que pertencem à camada 0 no nível mais baixo, como mostram as setas sólidas, cada uma delas denotada por f na Figura 14. Além disso, na codificação ou decodifica- ção de uma figura pertencente a uma camada em um nível mais alto que a camada 0 e em um nível mais baixo que a camada 3 do nível mais alto, tal como a figura Br2(3) que pertencem à camada 2, uma figura seguinte na ordem de exibição é consultada como mostram as setas sólidas, cada uma delas denotada por r na Figura 14.
[000142] Conforme a descrição acima, o aparelho de codificação de imagem 1000 e o aparelho de decodificação de imagem 2000 de acordo com a presente modificação, para codificar ou de codificar uma fi- gura-B, podem consultar como uma figura de referência somente uma figura presente em uma única direção (avanço ou recuo) com relação à figura-B na ordem de exibição. Nesse caso, o aparelho de codificação de imagem 1000 pode incluir, em um fluxo codificado, um sinali- zador unidirecional que indica se a consulta está somente à única direção. Aqui, o sinalizador unidirecional indica: se a consulta é permitida ou não somente às figuras precedentes e não às figuras seguintes na camada 0; se a consulta é permitida ou não somente às figuras seguintes e não às figuras precedentes nas camadas 1 e 2. Conforme descrito acima, o sinalizador unidirecional indica se é imposta ou não uma restrição à consulta em termos de estrutura da camada. Além disso, o aparelho de codificação de imagem 1000 inclui um sinalizador unidirecional no fluxo codificado para cada unidade predeterminada, tal como uma sequência no fluxo codificado. O aparelho de decodifica- ção de imagem 2000 obtém o sinalizador unidirecional incluído no fluxo codificado, e decodifica uma figura corrente a ser decodificada com referência somente a uma figura presente em um única direção (avanço ou recuo) de acordo com a camada da figura corrente no caso em que o sinalizador da direção única indica uma restrição de consulta.
[000143] Deve-se notar que o aparelho de decodificação de imagem 2000, mesmo quando o sinalizador unidirecional indica uma restrição de consulta, pode consultar uma figura em uma direção, salvo a direção única como mostram as setas pontilhadas denotadas pela opção de significado opt na Figura 14, quando a figura na direção, salvo a direção única, pode ser utilizada. Além disso, o aparelho de codificação de imagem 1000 pode indicar uma figura na única direção com um tipo de figura. Nesse caso, o aparelho de codificação de imagem 1000 inclui o tipo de figura no fluxo codificado, e o aparelho de decodifica- ção de imagem 2000 consulta, como uma figura de referência, uma figura na única direção com base no tipo de figura incluída no fluxo codificado. Além disso, quando as informações da camada são incluídas no fluxo codificado, o aparelho de decodificação de imagem 2000 desocupa a memória 2106 com base em as informações da camada.
[000144] A Figura 15 é um diagrama que indica um exemplo do mé- todo de gerenciamento de memória de acordo com a presente modificação.
[000145] O aparelho de decodificação de imagem 2000, durante a realização da reprodução em velocidade 1-tempo (reprodução normal) em um fluxo codificado com a estrutura de referência mostrada na Figura 14, decodifica uma figura que pertence a cada uma das camadas 0, 1, 2, e 3. Nesse caso, após a decodificação das figuras que pertencem às suas respectivas camadas 0, 1, e 2, o aparelho de decodifica- ção de imagem 2000 armazena essas figuras na memória 2106 como figuras de referência. Por outro lado, mesmo após a decodificação das figuras que pertencem à camada 3, o aparelho de decodificação de imagem 2000 não armazena essas figuras na memória 2106 como figuras de referência. Do contrário, mesmo quando as figuras que pertencem à camada 3 são armazenadas na memória 2106, a unidade de controle da memória 2200 assinala um atributo "não utilizada para referência" nessas figuras quando armazena essas figuras.
[000146] A Figura 16 é um diagrama que indica outro exemplo do método de gerenciamento de memória de acordo com a presente modificação.
[000147] O aparelho de decodificação de imagem 2000, durante a realização da reprodução de avanço rápido em um fluxo codificado que tem a estrutura de referência mostrada na Figura 14, decodifica uma figura que pertence a cada uma das camadas 0, 1, e 2, à exceção da camada 3. Mais especificamente, a decodificação ou reprodução da figuras Br1(4), Br3(5), Br5(7), e Br7(8) são ignoradas. Nesse caso, após a decodificação das figuras que pertencem às suas respectivas camadas 0 e 1, o aparelho de decodificação de imagem 2000 armazena essa figuras na memória 2106 como figuras de referência. Por outro lado, mesmo após a decodificação das figuras que pertencem à camada 2, o aparelho de decodificação de imagem 2000 não armaze- na essas figuras na memória2106 como figuras de referência. Do contrário, mesmo quando as figuras que pertencem à camada 2 são armazenadas na memória 2106, a unidade de controle da memória 2200 assinala um atributo "não utilizada para referência" nessas figuras quando armazena essas figuras.
[000148] É possível reduzir a carga de processamento de codificação ou decodificação com o método de consulta a uma figura e também com o método de gerenciamento de memória de acordo com a presente modificação.
(Modalidade 2)
[000149] O processamento descrito na Modalidade acima pode ser implantada simplesmente em um sistema de computador independente, por gravação, em um meio de gravação, um programa para implantação das configurações do método de codificação de vídeo (método de codificação de imagem) e do método de decodificação de vídeo (método de decodificação de imagem) descritos na Modalidade citada. O meio de gravação pode ser qualquer meio de gravação desde que o programa possa ser gravado, tal como um disco magnético, um disco óptico, um disco óptico magnético, um cartão IC, e uma memória se- micondutora.
[000150] Daqui por diante, as aplicações ao método de codificação de vídeo (método de codificação de imagem) e ao método de decodifi- cação de vídeo (método de decodificação de imagem) descritos na Modalidade já mencionada e os sistemas que os utilizam serão descritos. O sistema é caracterizado por incluir um aparelho de codificação e decodificação de imagem que inclui um aparelho de codificação de imagem que utiliza o método de codificação de imagem e um aparelho de decodificação de imagem que utiliza o método de decodificação de imagem. Outras configurações no sistema podem ser modificadas apropriadamente dependendo dos casos.
[000151] A Figura 17 ilustra uma configuração geral de um sistema de fornecimento de conteúdo ex100 para implantação dos serviços de distribuição de conteúdo. A área para fornecimento dos serviços de comunicação é dividida em células de tamanho desejado, e estações bases ex106, ex107, ex108, ex109, e ex110 as quais são estações sem fio fixas instaladas em cada uma das células.
[000152] O sistema de fornecimento de conteúdo ex100 é conectado dispositivos, tal como um computador ex111, um assistente pessoal digital (PDA) ex112, uma câmera ex113, um telefone celular ex114 e uma máquina de jogos ex115, através da Internet ex101, um provedor de serviço na Internet ex102, uma rede de telefonia ex104, bem como as estações bases ex106 a ex110, respectivamente.
[000153] No entanto, a configuração do sistema de fornecimento de conteúdo ex100 não está limitada à configuração mostrada na Figura 17, e uma combinação na qual qualquer um dos elementos são conectados é aceitável. Além disso, cada dispositivo pode ser diretamente conectado à rede de telefonia ex104, em lugar da ligação pelas estações bases ex106 as ex110 as quais são estações sem fio fixas. Ademais, os dispositivos podem ser interconectados entre si um por meio de comunicação sem fio de curta distância e outras.
[000154] A câmera ex113, tal como uma câmera de vídeo digital, é capaz de capturar vídeo. Uma câmera ex116, tal como uma câmera de vídeo digital, é capaz de capturar imagens congeladas e vídeo. Ademais, o telefone celular ex114 pode ser de um tipo que satisfaça qualquer um dos padrões, tal como o Sistema Global para Comunicações Móveis (GSM I), Acesso Múltiplo por Divisão de Código (CDMA), Acesso Múltiplo de Banda Larga por Divisão de Código (W-CDMA), Evolução de Longo Prazo (LTE), e Acesso de Pacote em Alta Velocidade (HSPA). Como alternativa, o telefone celular ex114 pode ser um Sistema de Telefone de Mão Pessoal (PHS).
[000155] No sistema de fornecimento de conteúdo ex100, um servidor de transmissão contínua (streaming) ex103 é conectado à câmera ex113 e outros através da rede de telefonia ex104 e da estação base ex109, que permite a distribuição das imagens de uma apresentação ao vivo e outras. Nesse tipo de distribuição, um conteúdo (por exemplo, vídeo de uma apresentação de música ao vivo) capturado pelo usuário utilizando a câmera ex113 é codificado conforme descrito acima em cada uma das Modalidades (isso significa que a câmera ex113 serve como aparelho de codificação de imagem de acordo com a presente invenção), e o conteúdo codificado é transmitido ao servidor de transmissão contínua ex103. Por outro lado, o servidor de transmissão contínua ex103 realizada a distribuição de fluxo dos dados de conteúdo transmitidos aos clientes a pedido desses. Os clientes incluem o computador ex111, o PDA ex112, a câmera ex113, o telefone celular ex114, e a máquina de jogos ex115 que são capazes de decodificar os dados codificados mencionados acima. Cada um dos dispositivos que receberam os dados distribuídos decodifica e reproduz os dados codificados (isso significa que cada um dos dispositivos serve como aparelho de decodificação de imagem de acordo com a presente invenção).
[000156] Os dados capturados podem ser codificados pela câmera ex113 ou pelo servidor de transmissão contínua ex103, que transmite os dados, ou os processos de codificação podem ser compartilhados entre a câmera ex113 e o servidor de transmissão contínua ex103. De maneira semelhante, os dados distribuídos podem ser decodificados pelo clientes ou pelo servidor de transmissão contínua ex103, ou os processos de decodificação podem ser compartilhados entre os clientes e o servidor de transmissão contínua ex103. Ademais, os dados de vídeo e imagens congeladas capturados não somente pela câmera ex113, mas também pela câmera ex116, podem ser transmitidos ao servidor de transmissão contínua ex103 por meio do computador ex111. Os processos de codificação podem ser realizados pela câmera ex116, pelo computador ex111, ou pelo servidor de transmissão contínua ex103, ou compartilhados entre si.
[000157] Ademais, os processos de codificação e decodificação podem ser realizados por um LSI ex500 incluído em geral no computador ex111 e nos dispositivos individualmente. O LSI ex500 pode ser configurado de um único chip ou de uma pluralidade de chips. O software para codificação e decodificação de vídeo pode estar integrado em algum tipo de meio de gravação (tal como um CD-ROM, um disco flexível, um disco rígido) que seja legível pelo computador ex111 e outros, e os processos de codificação e decodificação podem ser realizados utilizando o software. Ademais, quando o telefone celular ex114 é equipado com uma câmera, os dados da imagem obtidos pela câmera podem ser transmitidos. Os dados de vídeo são dados codificados pelo LSI ex500 incluído no telefone celular ex114.
[000158] Ademais, o servidor de transmissão contínua ex103 pode ser formado por servidores e computadores, e pode decentralizar dados e processar os dados descentralizados, gravar, ou distribuir dados.
[000159] Conforme a descrição acima, os clientes podem receber e reproduzir os dados codificados no sistema de fornecimento de conteúdo ex100. Em outras palavras, os clientes podem receber e decodificar informações transmitidas pelo usuário, e reproduzir os dados decodificados em tempo real no sistema de fornecimento de conteúdo ex100, de maneira que o usuário que não conta com qualquer direito e equipamento particular pode implantar a difusão pessoal.
[000160] À parte o exemplo do sistema de fornecimento de conteúdo ex100, pelo menos um entre o aparelho de codificação de vídeo (aparelho de codificação de imagem) e o aparelho de decodificação de vídeo (aparelho de decodificação de imagem) descrito em cada uma das Modalidades podem ser implantados em um sistema de difusão digital ex200 ilustrado na Figura 18. Mais especificamente, uma estação de difusão ex201 comunica ou transmite, por ondas de rádio a um satélite de difusão ex202, os dados multiplexados obtidos pela multiplexação dados de áudio e outros nos dados de vídeo. Os dados de vídeo são dados codificados pelo método de codificação de vídeo descrito na Modalidade já mencionada (em outras palavras, dados codificados pelo aparelho de codificação de imagem de acordo com a presente invenção). Com o recebimento dos dados multiplexados, o satélite de difusão ex202 transmite ondas de rádio para difusão. Então, uma antena de uso doméstico ex204 com uma função de recepção da difusão por satélite recebe as ondas de rádio. A seguir, um dispositivo, tal como uma televisão (receptor) ex300 e um decodificador de sinais (STB) ex217 decodificam os dados recebidos multiplexados e reproduz os dados decodificados (isso significa que o dispositivo opera como aparelho de decodificação de imagem de acordo com a presente invenção).
[000161] Ademais, um leitor/gravador ex218 que (i) lê e decodifica os dados multiplexados gravados em um meio de gravação ex215, tal como um DVD e um BD, ou (i) codifica os sinais de vídeo no meio de gravação ex215, e em alguns casos, grava os dados obtidos pela mul- tiplexação de um sinal de áudio nos dados codificados que podem incluir o aparelho de decodificação de vídeo ou o aparelho de codificação de vídeo como mostra a Modalidade já mencionada. Nesse caso, os sinais de vídeo reproduzidos são exibidos no monitor ex219, e po-dem ser reproduzidos por outro dispositivo ou sistema utilizando o meio de gravação ex215 nos quais os dados multiplexados são gravados. Também é possível implantar o aparelho de decodificação de vídeo no decodificador de sinais ex217 conectado ao cabo ex203 para uma televisão a cabo ou à antena ex204 para difusão por satélite e/ou terrestre, de maneira a exibir os sinais de vídeo no monitor ex219 da televisão ex300. O aparelho de decodificação de vídeo pode ser implantado não no decodificador de sinais, mas na televisão ex300.
[000162] A Figura 19 ilustra a televisão (receptor) ex300 que utiliza o método de codificação de vídeo e o método de decodificação de vídeo descrito na Modalidade já mencionada. A televisão ex300 inclui: um sintonizador ex301 que obtém ou fornece dados multiplexados obtidos pela multiplexação dos dados de áudio nos dados de vídeo, por meio da antena ex204 ou do cabo ex203, etc. que recebe uma difusão; uma unidade de modulação/demodulação ex302 que demodula os dados multiplexados recebidos ou modula os dados em dados multiplexados que serão fornecidos externamente; e uma unidade de multiplexa- ção/demultiplexação ex303 que demultiplexa os dados multiplexados modulados nos dados de vídeo e dados de áudio, ou multiplexa os dados de vídeo e os dados de áudio codificados por uma unidade de processamento de sinal ex306 em dados.
[000163] A televisão ex300 inclui adicionalmente: uma unidade de processamento de sinal ex306 que inclui uma unidade de processamento do sinal de áudio ex304 e uma unidade de processamento do sinal de vídeo ex305 (que serve como aparelho de codificação de imagem ou aparelho de decodificação de imagem de acordo com a presente invenção) que decodifica dados de áudio e dados de vídeo e codifica dados de áudio e dados de vídeo, respectivamente; um alto- falante ex307 que fornece o sinal de áudio decodificado; e uma unidade de saída ex309 que inclui uma unidade de exibição ex308 que exibe o sinal de vídeo decodificado, tal como um visor. Ademais, a televisão ex300 inclui uma unidade de interface ex317 que inclui uma unidade de entrada em operação ex312 que recebe a entrada de uma operação do usuário. Ademais, a televisão ex300 inclui uma unidade de controle ex310 que controla de maneira geral cada elemento consti- tuinte da televisão ex300, e uma unidade de circuito de suprimento de energia ex311 que supre energia a cada um dos elementos. Salvo a unidade de entrada em operação ex312, a unidade de interface ex317 pode incluir: uma ponte ex313 que é conectada a um dispositivo externo, tal como o leitor/gravador ex218; uma unidade de slot ex314 para permitir a anexação do meio de gravação ex216, tal como um cartão SD; um driver ex315 que será conectado a um meio de gravação externo, tal como um disco rígido; e um modem ex316 que será conectado a uma rede de telefonia. Aqui, o meio de gravação ex216 pode gravar informações eletricamente utilizando uma elemento de memória semicondutora não volátil/volátil para armazenamento. Os elementos constituintes da televisão ex300 são conectados entre si por meio de um barramento síncrono.
[000164] Primeiramente, será descrita a configuração na qual a televisão ex300 decodifica os dados multiplexados obtidos de fora por meio da antena ex204 e outros e reproduz os dados decodificados. Na televisão ex300, mediante uma operação do usuário de um controlador remoto ex220 e outros, a unidade de multiplexação/demultiplexação ex303 demultiplexa os dados multiplexados demodulados pela unidade de modulação/demodulação ex302, sob controle da unidade de controle ex310 que inclui uma CPU. Ademais, a unidade de proces-samento do sinal de áudio ex304 decodifica os dados de áudio demul- tiplexados, e a unidade de processamento do sinal de vídeo ex305 decodifica os dados de vídeo demultiplexados, utilizando o método de decodificação descrito na Modalidade já mencionada, na televisão ex300. A unidade de saída ex309 fornece o sinal de vídeo decodificado e o sinal de áudio externo, respectivamente. Quando a unidade de saída ex309 fornece o sinal de vídeo e o sinal de áudio, os sinais podem ser armazenados temporariamente em buffers ex318 e ex319, e outros, de maneira que os sinais são reproduzidos em sincronia entre si. Ademais, a televisão ex300 pode ler os dados multiplexados não por meio de uma difusão e outros, mas usando o meio de gravação ex215 e ex216, tal como um disco magnético, um disco óptico, e um cartão SD. A seguir, será descrita uma configuração na qual a televisão ex300 codifica um sinal de áudio e um sinal de vídeo, e transmite os dados externamente ou grava os dados em um meio de gravação. Na televisão ex300, mediante uma operação do usuário a partir do controlador remoto ex220 e outros, a unidade de processamento do sinal de áudio ex304 codifica um sinal de áudio, e a unidade de processamento do sinal de vídeo ex305 codifica um sinal de vídeo, sob controle da unidade de controle ex310 utilizando o método de codificação descrito na Modalidade já mencionada. A unidade de multiplexa- ção/demultiplexação ex303 multiplexa o sinal de vídeo codificado e o sinal de áudio, e fornece os sinais resultantes externamente. Quando a unidade de multiplexação/demultiplexação ex303 multiplexa o sinal de vídeo e o sinal de áudio, os sinais podem ser armazenados temporariamente nos buffers ex320 e ex321, e outros, de maneira que os sinais são reproduzidos em sincronia entre si. Aqui, os buffers ex318, ex319, ex320, e ex321 podem ser múltiplos, como ilustrado, ou pelo menos um buffer pode ser compartilhado na televisão ex300. Ademais, os dados podem ser armazenados em um buffer de maneira que é possível evitar o fluxo excedente ou fluxo insuficiente do sistema entre a unidade de modulação/demodulação ex302 e a unidade de multiplexa- ção/demultiplexação ex303, por exemplo.
[000165] Ademais, a televisão ex300 pode incluir uma configuração para recebimento de uma entrada AV de um microfone ou de uma câmera, salvo a configuração para obter dados de áudio e vídeo de uma difusão ou meio de gravação, e pode codificar os dados obtidos. Muito embora a televisão ex300 possa codificar, multiplexar, e fornecer dados externos na descrição, ela pode ser capaz de somente receber, decodificar, e fornecer dados externos, porém não codificar, multiple- xar, e fornecer dados externos.
[000166] Ademais, quando o leitor/gravador ex218 lê ou grava dados multiplexados de ou em um meio de gravação, um entre a televisão ex300 e o leitor/gravador ex218 pode decodificar ou codificar os dados multiplexados, e a televisão ex300 e o leitor/gravador ex218 podem compartilhar a decodificação ou codificação.
[000167] Como exemplo, a Figura 20 ilustra uma configuração de uma unidade de reprodução/gravação de informações ex400 quando os dados são lidos ou gravados de ou em um disco óptico. A unidade de reprodução/gravação de informações ex400 inclui elementos constituintes ex401, ex402, ex403, ex404, ex405, ex406, e ex407 que se rão descritos a seguir. O cabeçote óptico ex401 irradia um ponto de laser em uma superfície de gravação do meio de gravação ex215 que é um disco óptico para gravar informações, e detecta a luz refletida pela superfície de gravação do meio de gravação ex215 para ler as informações. A unidade de gravação da modulação ex402 aciona eletricamente um laser semicondutor incluído no cabeçote óptico ex401, e modula a luz a laser de acordo com os dados gravados. A unidade de demodulação da reprodução ex403 amplifica um sinal de reprodução obtido ao detectar eletricamente a luz refletida pela superfície de gravação utilizando um foto detector incluído no cabeçote óptico ex401, e demodula o sinal de reprodução separando um componente de sinal gravado no meio de gravação ex215 para reproduzir as informações necessárias. O buffer ex404 mantém temporariamente as informações que serão gravadas no meio de gravação ex215 e as informações reproduzidas do meio de gravação ex215. O motor de disco ex405 gira o meio de gravação ex215. A unidade de servo-controle ex406 move o cabeçote óptico ex401 até uma faixa de informações predeterminada ao mesmo tempo em que controla drive de rotação do motor de disco ex405 de maneira a acompanhar o ponto de laser. A unidade de controle do sistema ex407 controla de maneira geral a unidade de repro- dução/gravação de informações ex400. Os processos de leitura e gravação podem ser implantados pela unidade de controle do sistema ex407 utilizando várias informações armazenadas no buffer ex404 e gerando e adicionando novas informações conforme necessário, e pela unidade de gravação da modulação ex402, a unidade de demodula- ção da reprodução ex403, e pela unidade de servo-controle ex406 que grava e reproduz informações por meio do cabeçote óptico ex401 enquanto é de maneira coordenada. A unidade de controle do sistema ex407 inclui, por exemplo, um microprocessador, e executa o processamento fazendo com que um computador execute um programa para leitura e gravação.
[000168] Muito embora o cabeçote óptico ex401 irradie um ponto de laser na descrição, ele pode realizar a gravação de alta densidade utilizando luz de campo próximo.
[000169] A Figura 21 ilustra o meio de gravação ex215 que é o disco óptico. Sobre a superfície de gravação do meio de gravação ex215, são formados sulcos guias em espirais, e uma faixa de informações ex230 grava, antecipadamente, informações de endereço indicando uma posição absoluta no disco de acordo com a mudança na forma dos sulcos guias. As informações de endereço incluem informações para determinar posições de gravação dos blocos ex231 que são uma unidade para gravação de dados. A reprodução das faixas de informações ex230 e a leitura das informações de endereço em um aparelho que grava e reproduz dados pode levar à determinação das posições dos blocos de gravação. Ademais, o meio de gravação ex215 inclui uma área de gravação de dados ex233, uma área de circunferência interna ex232, e uma área de circunferência externa ex234. A área de gravação de dados ex233 é uma área para uso na gravação dos da dos do usuário. A área de circunferência interna ex232 e a área de circunferência externa ex234 que estão dentro e fora da área de gravação de dados ex233, respectivamente são para uso específico, exceto para gravação dos dados do usuário. A unidade de reprodu- ção/gravação de informações 400 lê e grava dados de áudio e dados de vídeo codificados, ou dados multiplexados obtidos pela multiplexa- ção dos dados de áudio e vídeo codificados, da e na área de gravação de dados ex233 do meio de gravação ex215.
[000170] Muito embora um disco óptico com uma camada, tal como um DVD e um BD já descrito como exemplo na descrição, o disco óptico não se limita a tanto, e pode ser um disco óptico com uma estrutura de múltiplas camadas e capaz de ser gravado em uma parte, salvo a superfície. Ademais, o disco óptico pode ter uma estrutura para gra- vação/reprodução multidimensional, tal como a gravação de informações utilizando luz de cores com diferentes comprimentos de onda na mesma porção do disco óptico e para gravação de informações com diferentes camadas e vários ângulos.
[000171] Ademais, um carro ex210 com uma antena ex205 pode receber dados do satélite ex202 e outros, e reproduzir vídeo em um dispositivo de exibição, tal como um sistema de navegação do veículo ex211 instalado no carro ex210, no sistema de difusão digital ex200. Aqui, uma configuração do sistema de navegação do veículo ex211 será uma configuração, por exemplo, que inclui uma unidade de re-cepção de GPS da configuração ilustrada na Figura 19. O mesmo será válido para a configuração do computador ex111, do telefone celular ex114, e de outros.
[000172] A Figura 22A ilustra o telefone celular ex114 que utiliza o método de codificação de vídeo e o método de decodificação de vídeo descritos na Modalidade já mencionada. O telefone celular ex114 inclui: uma antena ex350 para transmitir e receber ondas de rádio por meio da estação base ex110; uma unidade de câmera ex365 capaz de capturar imagens em movimento e congeladas; e uma unidade de exibição ex358, tal como um visor de cristal líquido, para exibir os dados como vídeo decodificado capturado pela unidade de câmera ex365 ou recebido pela antena ex350. O telefone celular ex114 inclui adicionalmente: uma unidade de corpo principal que inclui um conjunto de teclas de operação ex366; uma unidade de saída de áudio ex357, como um alto-falante para saída de áudio; uma unidade de entrada de áudio ex356 como um microfone para entrada de áudio; uma unidade de memória ex367 para armazenar o vídeo capturado ou as figuras congeladas, áudio gravado, dados codificados ou decodificados do vídeo recebido, as figuras congeladas, e-mails, ou outros; e uma unidade de slot ex364 que é uma unidade de interface para um meio de gravação que armazena os dados da mesma maneira que a unidade de memória ex367.
[000173] A seguir, será descrito um exemplo de uma configuração do telefone celular ex114 em referência à Figura 22B. No telefone celular ex114, uma unidade de controle principal ex360 designada para controlar de maneira geral cada uma das unidades do corpo principal que inclui a unidade de exibição ex358, bem como as teclas de operação ex366, é conectada mutuamente, por meio de um barramento síncrono ex370, a uma unidade de circuito de suprimento de energia ex361, uma unidade de controle da entrada em operação ex362, uma unidade de processamento do sinal de vídeo ex355, uma unidade de interface da câmera ex363, uma unidade de controle com visor de cristal líquido (LCD) ex359, uma unidade de modulação/demodulação ex352, uma unidade de multiplexação/demultiplexação ex353, uma unidade de processamento do sinal de áudio ex354, a unidade de slot ex364, e a unidade de memória ex367.
[000174] Quando um tecla de encerramento de chamada ou uma tecla de energia é LIGADA pela operação de um usuário, a unidade de circuito de suprimento de energia ex361 supre as respectivas unidades com energia de um pacote de bateria de maneira a ativar o telefone celular ex114.
[000175] No telefone celular ex114, a unidade de processamento do sinal de áudio ex354 converte os sinais de áudio coletados pela unidade de entrada de áudio ex356 no modo de conversação por voz em sinais digitais de áudio sob controle da unidade de controle principal ex360 que inclui uma CPU, ROM, e RAM. Então, a unidade de modu- lação/demodulação ex352 realiza processamento de espectro espalhado nos sinais digitais de áudio, e a unidade de transmissão e recepção ex351 realiza a conversão de digital em analógico e conversão de frequência nos dados, de maneira a transmitir os dados resultantes através da antena ex350 Ainda, no telefone celular ex114, a unidade de transmissão e recepção ex351 amplifica os dados recebidos pela antena ex350 no modo de conversação por voz e realiza a conversão de frequência e a conversão de dados analógicos em digitais. Então, a unidade de modulação/demodulação ex352 realiza o processamento de espectro espalhado inverso nos dados, e a unidade de processamento do sinal de áudio ex354 os converte em sinais analógicos de áudio, de maneira a emiti-los através da unidade de saída de áudio ex357.
[000176] Ademais, quando um e-mail no modo de comunicação de dados é transmitido, os dados do texto do e-mail inseridos pela operação das teclas de operação ex366 e outros do corpo principal são enviados à unidade de controle principal ex360 através da unidade de controle da entrada em operação ex362. A unidade de controle principal ex360 faz com que a unidade de modulação/demodulação ex352 realize o processamento de espectro espalhado nos dados do texto, e a unidade de transmissão e recepção ex351 realiza a conversão de digital em analógico e a conversão de frequência nos dados resultantes para transmitir os dados à estação base ex110 através da antena ex350. Quando um e-mail é recebido, o processamento que é aproximadamente inverso ao processamento para transmissão de um e-mail é realizado nos dados recebidos, e os dados resultantes são fornecidos à unidade de exibição ex358.
[000177] Quando vídeo, imagens congeladas, ou vídeo e áudio no modo de comunicação de dados é ou são transmitidos, a unidade de processamento do sinal de vídeo ex355 comprime e codifica os sinais de vídeo supridos pela unidade de câmera ex365 utilizando o método de codificação de vídeo mostrada na Modalidade já mencionada (isso significa que a unidade de processamento do sinal de vídeo ex355 serve como aparelho de codificação de imagem de acordo com a presente invenção), e transmite os dados de vídeo codificados à unidade de multiplexação/demultiplexação ex353. Em contrapartida, durante o momento em que a unidade de câmera ex365 captura vídeo, imagens congeladas, e outros, a unidade de processamento do sinal de áudio ex354 codifica os sinais de áudio coletados pela unidade de entrada de áudio ex356, e transmite os dados de áudio codificados à unidade de multiplexação/demultiplexação ex353.
[000178] A unidade de multiplexação/demultiplexação ex353 multi- plexa os dados de vídeo codificados supridos pela unidade de processamento do sinal de vídeo ex355 e os dados de áudio codificados supridos pela unidade de processamento do sinal de áudio ex354, utilizando um método predeterminado. Então, a unidade de modula- ção/demodulação ex352 realiza o processamento de espectro espalhado nos dados multiplexados, e a unidade de transmissão e recepção ex351 realiza a conversão de digital em analógico e a conversão de frequência nos dados de maneira a transmitir os dados resultantes através da antena ex350.
[000179] Quando recebe os dados de um arquivo de vídeo que está ligado a uma página da rede e outros no modo de comunicação de dados ou quando recebe um e-mail com vídeo e/ou áudio anexados, a fim de decodificar os dados multiplexados recebidos através da antena ex350, a unidade de multiplexação/demultiplexação ex353 demultiple- xa os dados multiplexados em um fluxo de bits de dados de vídeo e um fluxo de bits de dados de áudio, e supre a unidade de processamento do sinal de vídeo ex355 com os dados de vídeo codificados e a unidade de processamento do sinal de áudio ex354 com os dados de áudio codificados, por meio do barramento síncrono ex370. A unidade de processamento do sinal de vídeo ex355 decodifica o sinal de vídeo utilizando um método de decodificação de vídeo correspondente ao método de codificação mostrado em cada uma das Modalidades, e em seguida a unidade de exibição ex358 exibe, por exemplo, as imagens de vídeo e congeladas incluídas no arquivo de vídeo ligado à página da rede através da unidade de controle de LCD ex359. Ademais, a unidade de processamento do sinal de áudio ex354 decodifica o sinal de áudio, e a unidade de saída de áudio ex357 fornece o áudio.
[000180] Ademais, de maneira semelhante à televisão ex300, um terminal, tal como o telefone celular ex114, tem preferencialmente 3 tipos de configurações de implantação que incluem não somente (i) um terminal de transmissão e recepção que inclui um aparelho de codificação e um aparelho de decodificação, mas também (ii) um terminal de transmissão que inclui somente um aparelho de codificação e (iii) um terminal de recepção que inclui somente um aparelho de deco- dificação. Muito embora o sistema de difusão digital ex200 receba e transmita os dados multiplexados obtidos pela multiplexação dos dados de áudio em dados de vídeo na descrição, os dados multiplexados podem ser dados obtidos pela multiplexação não dos dados de áudio, mas dos dados de caractere relativos ao vídeo nos dados de vídeo, e podem não ser dados multiplexados, mas dados de vídeo em si.
[000181] Nessa condição, o método de codificação de vídeo e o método de decodificação de vídeo na Modalidade já mencionada podem ser utilizados em qualquer um dos dispositivos e sistemas descritos. Portanto, as vantagens descritas na Modalidade já mencionada podem ser obtidas.
[000182] Ademais, a presente invenção não se limita à Modalidade já mencionada, e várias modificações e revisões são possíveis sem que o escopo da presente invenção seja desvirtuado.
(Modalidade 3)
[000183] Dados de vídeo podem ser gerados comutando, conforme necessário, entre (i) o método de codificação de vídeo ou o aparelho de codificação de vídeo mostrado em cada uma das Modalidades e (ii) um método de codificação de vídeo ou um aparelho de codificação de vídeo em conformidade com um padrão diferente, tal como MPEG-2, MPEG4-AVC, e VC-1.
[000184] Aqui, quando uma pluralidade de dados de vídeo que se adequa aos diferentes padrões é gerada e então decodificada, os métodos de decodificação precisam ser selecionados para satisfazer os diferentes padrões. No entanto, como não é possível detectar a qual padrão se adequa cada um dos dados da pluralidade de dados de vídeo a ser decodificado, ocorre um problema em que não é possível selecionar o método de decodificação correto.
[000185] Para solucionar o problema, os dados multiplexados obtidos pela multiplexação dos dados de áudio e outros nos dados de vídeo tem uma estrutura que inclui informações de identificação que indicam a qual padrão os dados de vídeo se adequam. A estrutura específica dos dados multiplexados que incluem os dados de vídeo gerados no método de codificação de vídeo e pelo aparelho de codificação de vídeo mostrado em cada uma das Modalidades será descrita a seguir. Os dados multiplexados são um fluxo digital no formato de Fluxo de Transporte MPEG2.
[000186] A Figura 23 ilustra uma estrutura de dados multiplexados. Conforme ilustrado na Figura 23, os dados multiplexados podem ser obtidos pela multiplexação de pelo menos um entre um fluxo de vídeo, um fluxo de áudio, um fluxo da representação gráfica de apresentação (PG), e um fluxo da representação gráfica interativa. O fluxo de vídeo representa o vídeo primário e o vídeo secundário de um filme, o fluxo de áudio (IG) representa uma parte de áudio primário e uma parte de áudio secundário a ser misturada com a parte de áudio primário, e o fluxo da representação gráfica de apresentação representa as legen-das do filme. Aqui, o vídeo primário é o vídeo normal que será exibido em uma tela, e o vídeo secundário é vídeo que será exibido em uma janela menor no vídeo principal. Ademais, o fluxo da representação gráfica interativa representa uma tela interativa que será gerada dispondo os componentes GUI em uma tela. O fluxo de vídeo é codificado no método de codificação de vídeo ou pelo aparelho de codificação de vídeo mostrado em cada uma das Modalidades, ou em um método de codificação de vídeo ou por um aparelho de codificação de vídeo em conformidade com um padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1. O fluxo de áudio é codificado de acordo com um padrão, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, e PCM linear.
[000187] Cada fluxo incluído nos dados multiplexados é identificado por PID. Por exemplo, 0x1011 é alocado ao fluxo de vídeo que será utilizado para o vídeo de um filme, 0x1100 a 0x111F são alocados para os fluxos de áudio, 0x1200 a 0x121F são alocados para os fluxos da representação gráfica de apresentação, 0x1400 a 0x141F são alocados para os fluxos interativo da representação gráfica, 0x1B00 a 0x1B1F são alocados para os fluxos de vídeo que serão utilizados pa- ra o vídeo secundário do filme, e 0x1A00 a 0x1A1F são alocados para os fluxos de áudio que serão utilizados para o vídeo secundário que será misturado com o áudio primário.
[000188] A Figura 24 ilustra esquematicamente como os dados são multiplexados. Primeiramente, um fluxo de vídeo ex235 formado por quadros de vídeo e um fluxo de áudio ex238 formado por quadros de áudio são transformados em um fluxo de pacotes PES ex236 e um fluxo de pacotes PES ex239, e adicionalmente nos pacotes TS ex237 e pacotes TS ex240, respectivamente. De maneira semelhante, os dados de um fluxo da representação gráfica de apresentação ex241 e os dados de um fluxo da representação gráfica interativa ex244 são transformados em um fluxo de pacotes PES ex242 e um fluxo de pacotes PES ex245, e ainda nos pacotes TS ex243 e pacotes TS ex246, res-pectivamente. Esses pacotes TS são multiplexados em um fluxo para obter os dados multiplexados ex247.
[000189] A Figura 25 ilustra como um fluxo de vídeo é armazenado em um fluxo de pacotes PES mais detalhadamente. A primeira barra na Figura 25 mostra um fluxo do quadro de vídeo em um fluxo de vídeo. A segunda barra mostra o fluxo de pacotes PES. Como indicam as setas denotadas como yy2, yy2, yy3, e yy4 na Figura 25, o fluxo de vídeo é dividido em figuras como as figuras-I, figuras-B, e figuras-P, cada uma delas é uma unidade de apresentação de vídeo, e as figuras são armazenadas em uma carga de cada um dos pacotes PES. Cada um dos pacotes PES tem um cabeçalho PES, e o cabeçalho PES armazena um Carimbo do Tempo de Apresentação (PTS) indicando um display time da figura, e um Carimbo do Tempo de Decodificação (DTS) indicando um tempo de decodificação da figura.
[000190] A Figura 26 ilustra um formato dos pacotes TS que será finalmente gravado nos dados multiplexados. Cada um dos pacotes TS é um pacote de comprimento fixo de 188 bytes que inclui um cabe- çalho TS de 4 bytes contendo informações, tal como um PID para identificar um fluxo e uma carga TS de 184 bytes para armazenar dados. Os pacotes PES são divididos, e armazenados nas cargas TS, respectivamente. Quando um BD ROM é utilizado, a cada um dos pacotes TS é fornecido um 4-byte TP_Extra_Header de 4 bytes, resultando assim em pacotes fontes de 192 bytes. Os pacotes fontes são gravados nos dados multiplexados. O TP_Extra_Header armazena informações, tal como um Arrival_Time_Stamp (ATS). O ATS mostra um tempo de início da transferência no qual cada um dos pacotes TS deve ser transferido a um filtro PID. Os pacotes fontes são dispostos nos dados multiplexados como mostra a parte inferior da Figura 26. Os números crescentes a partir do cabeçote dos dados multiplexados são denominados números do pacote fonte (SPNs).
[000191] Cada um dos pacotes TS incluído nos dados multiplexados inclui não somente fluxos de áudio, vídeo, legendas e outros, mas também um Quadro de Associação do Programa (PAT), um Quadro do Mapa do Programa (PMT), e uma Referência de Relógio do Programa (PCR). O PAT mostra qual PID em um PMT utilizado nos dados multi- plexados indica, e um PID do PAT em si é registrado como zero. O PMT armazena os PIDs dos fluxos de vídeo, áudio, legendas e outros incluídos nos dados multiplexados, e informações de atributo dos fluxos correspondentes aos PIDs. O PMT também tem vários descritores relativos aos dados multiplexados. Os descritores têm informações, tal como informações do controle de cópia que mostram se a cópia dos dados multiplexados é permitida ou não. A PCR armazena informações de tempo STC correspondentes a um ATS que mostra quando o pacote PCR é transferido a um decodificador, a fim de obter a sincronia entre um Relógio de Tempo de Chegada (ATC) que é um eixo do tempo de ATSs, e um Relógio de Tempo do Sistema (STC) que é um eixo do tempo de PTSs e DTSs.
[000192] A Figura 27 ilustra a estrutura de dados d PMT em detalhes. Um cabeçalho PMT é disposto no topo do PMT. O cabeçalho PMT descreve o comprimento dos dados incluídos no PMT e outros. Uma pluralidade de descritores relativos aos dados multiplexados é disposta após o cabeçalho PMT. Informações, tal como informações do controle de cópia são descritas nos descritores. Após os descritores, dispõe-se uma pluralidade de fragmentos das informações de fluxo relativas aos fluxos incluídos nos dados multiplexados. Cada fragmento das informações de fluxo inclui descritores de fluxo, cada um deles descrevendo informações, tal como um tipo de fluxo para identificar uma codec de compressão de um fluxo, um fluxo PID, e informações do atributo de fluxo (tal como uma relação de quadro ou uma relação de aspecto). Os descritores de fluxo são iguais em número ao número de fluxos nos dados multiplexados.
[000193] Quando os dados multiplexados são gravados em um meio de gravação e outros, são gravados junto com os arquivos de informações de dados multiplexados.
[000194] Cada um dos arquivos de informações de dados multiple- xados são informações de gerenciamento dos dados multiplexados como mostra a Figura 28. Os arquivos de informações de dados multi- plexados estão em correspondência de um para um com os dados multiplexados, e cada um dos arquivos inclui informações de dados multiplexados, informações do atributo de fluxo, e um mapa de entrada.
[000195] Conforme ilustrado na Figura 28, os dados multiplexados incluem uma taxa do sistema, um tempo de início da reprodução, e um tempo final de reprodução. A taxa do sistema indica a taxa de transferência máxima em que um sistema alvo decodificador que será descrito posteriormente transfere os dados multiplexados para um filtro PID. Os intervalos dos ATSs incluídos nos dados multiplexados são fixados para que não sejam mais altos que uma taxa do sistema. O tempo de início da reprodução indica um PTS em um quadro de vídeo no cabeçote dos dados multiplexados. Um intervalo de um quadro é adicionado a um PTS em um quadro de vídeo no término dos dados multiplexados, e o PTS é ajustado para o tempo final de reprodução.
[000196] Como mostra a Figura 29, um fragmento das informações de atributo é registrado nas informações do atributo de fluxo, para cada PID de cada fluxo incluído nos dados multiplexados. Cada fragmento das informações de atributo tem diferentes informações dependendo se o fluxo correspondente é um fluxo de vídeo, um fluxo de áudio, um fluxo da representação gráfica de apresentação, ou um fluxo da representação gráfica interativa. Cada fragmento das informações de atributo do fluxo de vídeo transporta informações que incluem que tipo de codec de compressão é utilizado para comprimir o fluxo de vídeo, e a resolução, relação de aspecto e relação de quadro dos fragmentos dos dados da figura que estão incluídos no fluxo de vídeo. Cada fragmento das informações do fluxo de áudio de atributo transporta informações que incluem que tipo de codec de compressão é utilizado para comprimir o fluxo de áudio, quantos canais estão incluídos no fluxo de áudio, que idioma o fluxo de áudio suporta, e quão alta é a frequência de amostragem. As informações de atributo do fluxo de vídeo e as informações do fluxo de áudio de atributo são utilizadas para inicialização de um decodificador antes que o reprodutor reproduza de volta as informações.
[000197] Na presente modalidade, os dados multiplexados que serão utilizados são de um tipo de fluxo incluído no PMT. Ademais, quando os dados multiplexados são gravado em um meio de gravação, as informações de atributo do fluxo de vídeo incluídas nas informações de dados multiplexados são utilizadas. Mais especificamente, o método de codificação de vídeo ou o aparelho de codificação de vídeo descri- tos em cada uma das Modalidades incluem uma etapa ou uma unidade para alocar informações únicas que indicam dados de vídeo gerado pelo método de codificação de vídeo ou o aparelho de codificação de vídeo em cada uma das Modalidades, ao tipo de fluxo incluído no PMT ou as informações de atributo do fluxo de vídeo. Com a configuração, os dados de vídeo gerados pelo método de codificação de vídeo ou pelo aparelho de codificação de vídeo descritos em cada uma das Modalidades podem ser distinguidos dos dados de vídeo que se adequam a outro padrão.
[000198] Ademais, a Figura 30 ilustra etapas do método de decodifi- cação de vídeo de acordo com a Modalidade 9. Na Etapa exS100, o tipo de fluxo incluído no PMT ou as informações de atributo do fluxo de vídeo são obtidos dos dados multiplexados. A seguir, na Etapa exS101, determina-se se o tipo de fluxo ou as informações de atributo do fluxo de vídeo indicam ou não que os dados multiplexados são gerados pelo método de codificação de vídeo ou pelo aparelho de codificação de vídeo em cada uma das Modalidades. Quando é determinado que o tipo de fluxo ou as informações de atributo do fluxo de vídeo indica que os dados multiplexados são gerados pelo método de codificação de vídeo ou pelo aparelho de codificação de vídeo em cada uma das Modalidades, na Etapa exS102, o tipo de fluxo ou as informações de atributo do fluxo de vídeo são decodificados pelo método de decodificação de vídeo em cada uma das Modalidades. Ademais, quando o tipo de fluxo ou as informações de atributo do fluxo de vídeo indicam adequação aos padrões convencionais, tal como MPEG-2, MPEG4-AVC, e VC-1, na Etapa exS103, o tipo de fluxo ou as informações de atributo do fluxo de vídeo são decodificados por um método de decodificação de vídeo em conformidade com os padrões convencionais.
[000199] Nessa condição, a alocação de um novo valor único ao tipo de fluxo ou às informações de atributo do fluxo de vídeo permite determinar se o método de decodificação de vídeo ou o aparelho de de- codificação de vídeo que é descrito em cada uma das Modalidades pode ou não realizar a decodificação. Mesmo quando os dados multi- plexados se adequam a um padrão diferente, um aparelho ou método de decodificação correto pode ser selecionado. Portanto, passa a ser possível decodificar informações sem qualquer erro. Ademais, o aparelho ou método de codificação de vídeo, ou o aparelho ou método de decodificação de vídeo nessa Modalidade podem ser utilizados nos dispositivos e sistemas descritos acima.
(Modalidade 4)
[000200] O método de codificação de vídeo, o aparelho de codificação de vídeo, o método de decodificação de vídeo, e o aparelho de decodificação de vídeo individualmente em cada uma das Modalidades é tipicamente obtido na forma de um circuito integrado ou de um circuito Integrado de Larga Escala (LSI). Como exemplo do LSI, a Figura 31 ilustra uma configuração de LSI ex500 que é constituído na forma de um chip. O LSI ex500 inclui elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, e ex509 que serão descritos abaixo, e os elementos são conectados entre si por meio de um bar- ramento ex510. A unidade de circuito de suprimento de energia ex505 é ativada fornecendo energia a cada um dos elementos quando a unidade de circuito de suprimento de energia ex505 é ligada.
[000201] Por exemplo, quando a codificação é realizada, o LSI ex500 recebe um sinal AV de um microfone ex117, uma câmera ex113, e outros por meio de um IO AV ex509 sob controle de uma unidade de controle ex501 que inclui uma CPU ex502, um controlador de memória ex503, um controlador de fluxo ex504, e uma unidade de controle da frequência de acionamento ex512. O sinal AV recebido é armazenado temporariamente em uma memória externa ex511, tal como uma SDRAM. Sob o controle da unidade de controle ex501, os dados armazenados são segmentados em partes dos dados de acordo com o volume de processamento e com velocidade que serão transmitidos a uma unidade de processamento de sinal ex507. Então, a unidade de processamento de sinal ex507 codifica um sinal de áudio e/ou um sinal de vídeo. Aqui, a codificação do sinal de vídeo é a codificação descrita em cada uma das Modalidades. Ademais, a unidade de processamento de sinal ex507 às vezes multiplexa os dados de áudio codificados e os dados de vídeo codificados, e um fluxo IO ex506 fornece os dados multiplexados externamente. Os dados multiplexados fornecidos são transmitidos a uma estação base ex107, ou gravados no meio de gravação ex215. Quando o conjunto de dados é multiplexado, os dados devem ser armazenados temporariamente no buffer ex508 de maneira que o conjunto de dados seja sincronizado entre si.
[000202] Muito embora a memória ex511 seja um elemento externo ao LSI ex500, ela pode ser incluída no LSI ex500. O buffer ex508 não se limita a um buffer, mas pode ser formado por buffers. Ademais, o LSI ex500 pode ser constituído em um chip ou em uma pluralidade de chips.
[000203] Ademais, muito embora a unidade de controle ex501 inclua a CPU ex502, o controlador de memória ex503, o controlador de fluxo ex504, a unidade de controle da frequência de acionamento ex512, a configuração da unidade de controle ex501 não se limitam a tanto. Por exemplo, a unidade de processamento de sinal ex507 pode incluir adicionalmente uma CPU. A inclusão de outra CPU na unidade de processamento de sinal ex507 pode aumentar a velocidade de processamento. Ademais, em outro exemplo, a CPU ex502 pode operar como ou ser uma parte da unidade de processamento de sinal ex507, e, por exemplo, pode incluir uma unidade de processamento do sinal de áudio. Nesse caso, a unidade de controle ex501 inclui a unidade de pro- cessamento de sinal ex507 ou a CPU ex502 que inclui uma parte da unidade de processamento de sinal ex507.
[000204] A denominação aqui utilizada é LSI, mas também pode ser denominada IC, sistema LSI, super LSI, ou ultra LSI dependendo do grau de integração.
[000205] Ademais, as formas de obter integração não estão limitadas ao LSI, e um circuito especial ou um processador de propósitos gerais e ainda outros também podem realizar a integração. O Arranjo de Portas Programável em Campo (FPGA) que pode ser programado após a fabricação de LSIs ou um processador reconfigurável que permita a reconfiguração da conexão ou a configuração de um LSI pode ser utilizada para igual propósito.
[000206] No futuro, com o avanço na tecnologia de semicondutores, uma tecnologia novíssima poderá substituir o LSI. Os blocos funcionais podem ser integrados com o uso dessa tecnologia. A possibilidade é que a presente invenção seja aplicada à biotecnologia.
(Modalidade 5)
[000207] Quando os dados de vídeo são decodificados no método de codificação de vídeo ou pelo aparelho de codificação de vídeo descrito em cada uma das Modalidades, em comparação à situação em que os dados de vídeo se adequam a um padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1, o volume de processamento preferencialmente aumenta. Portanto, o LSI ex500 precisa ser ajustado a uma frequência de acionamento mais alta que da CPU ex502 que será utilizada quando os dados de vídeo em conformidade com o padrão convencional forem decodificados. No entanto, quando a frequência de acionamento é ajustada para ser mais alta, como problema ocorre o aumento do consumo de energia.
[000208] Para solucionar o problema, o aparelho de decodificação de vídeo, tal como a televisão ex300 e o LSI ex500 é configurado para determinar a qual padrão os dados de vídeo se adequam, e comutar entre as frequências de acionamento de acordo com o padrão determinado. A Figura 32 ilustra uma configuração ex800 na presente modalidade. Uma unidade de comutação da frequência de acionamento ex803 ajusta uma frequência de acionamento a uma frequência de acionamento mais alta quando os dados de vídeo são gerados pelo método de codificação de vídeo ou pelo aparelho de codificação de vídeo descrito em cada uma das Modalidades. Então, a unidade de comutação da frequência de acionamento ex803 instrui uma unidade de processamento da decodificação ex801 que executa o método de decodificação de vídeo descrito em cada uma das Modalidades para decodificar os dados de vídeo. Quando os dados de vídeo se adequam ao padrão convencional, a unidade de comutação da frequência de acionamento ex803 ajusta uma frequência de acionamento a uma frequência de acionamento mais baixa que dos dados de vídeo gerados pelo método de codificação de vídeo ou pelo aparelho de codifica-ção de vídeo descrito em cada uma das Modalidades. Então, a unidade de comutação da frequência de acionamento ex803 instrui a unidade de processamento da decodificação ex802 que se adequa ao padrão convencional para decodificar os dados de vídeo.
[000209] More especificamente, a unidade de comutação da frequência de acionamento ex803 inclui a CPU ex502 e a unidade de controle da frequência de acionamento ex512 na Figura 31. Aqui, a unidade de processamento da decodificação ex801 que executa o método de decodificação de vídeo descrito em cada uma das Modalidades e a unidade de processamento da decodificação ex802 que se adequa ao padrão convencional correspondem à unidade de processamento de sinal ex507 na Figura 31. A CPU ex502 determina a qual padrão os dados de vídeo se adequam. Então, a unidade de controle da frequência de acionamento ex512 determina uma frequência de acionamento com base em um sinal emitido pela CPU ex502. Ademais, a unidade de processamento de sinal ex507 decodifica os dados de vídeo com base em um sinal da CPU ex502. Por exemplo, as informações de identificação descritas na Modalidade 3 são preferencialmente utilizadas para identificar os dados de vídeo. As informações de identificação não estão limitadas às informações descritas na Modalidade 3, mas podem ser quaisquer informações, desde que as informações indiquem a qual padrão os dados de vídeo se adequam. Por exemplo, quando for possível determinar quais dados de vídeo padronizados se adequam com base em um sinal externo para determinar que os dados de vídeo são utilizados para um televisão ou um disco, etc., a determinação pode ser realizada com base nesse sinal externo. Ademais, a CPU ex502 seleciona uma frequência de acionamento com base em, por exemplo, uma tabela de consulta na qual os padrões dos dados de vídeo são associados às frequências de acionamento como mostra a Figura 34. A frequência de acionamento pode ser selecionada armazenando a tabela de consulta no buffer ex508 e uma memória interna de um LSI e em referência à tabela de consulta pelo CPU ex502.
[000210] A Figura 33 ilustra etapas para a execução de um método na Modalidade 11. Primeiramente, na Etapa exS200, a unidade de processamento de sinal ex507 obtém informações de identificação dos dados multiplexados. A seguir, na Etapa exS201, a CPU ex502 determina se os dados de vídeo são gerados ou não com base nas informações de identificação pelo método de codificação e pelo aparelho de codificação descrito em cada uma das Modalidades. Quando os dados de vídeo são gerados pelo método de codificação de vídeo e pelo aparelho de codificação de vídeo descritos em cada uma das Modalidades, na Etapa exS202, a CPU ex502 transmite um sinal para ajustar a frequência de acionamento a uma frequência de acionamento mais alta à unidade de controle da frequência de acionamento ex512. Então, a unidade de controle da frequência de acionamento ex512 ajusta a frequência de acionamento à frequência de acionamento mais alta. Por outro lado, quando as informações de identificação indicam que os dados de vídeo se adequam ao padrão convencional, como o MPEG-2, MPEG4-AVC, e VC-1, na Etapa exS203, a CPU ex502 transmite um sinal para ajustar a frequência de acionamento a uma frequência de acionamento mais baixa à unidade de controle da frequência de acionamento ex512. Então, a unidade de controle da frequência de acionamento ex512 ajusta a frequência de acionamento à frequência de acionamento mais baixa que aquela no caso em que os dados de vídeo são gerados pelo método de codificação de vídeo e pelo aparelho de codificação de vídeo descritos em cada uma das Modalidades.
[000211] Ademais, junto com a comutação das frequências de acionamento, o efeito de conservação de energia pode ser aprimorado mudando a tensão a ser aplicada ao LSI ex500 ou um aparelho que inclui o LSI ex500. Por exemplo, quando a frequência de acionamento é ajustada para ser mais baixa, a tensão a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é preferencialmente ajustado para uma tensão mais baixa que aquela no caso em que a frequência de acionamento é ajustada para ser mais alta.
[000212] Ademais, quando o volume de processamento para decodi- ficação é maior, a frequência de acionamento pode ser ajustada para ser mais alta, e quando o volume de processamento para decodifica- ção é menor, a frequência de acionamento pode ser ajustada para ser mais baixa que do método para ajustar a frequência de acionamento. Portanto, o método de ajuste não se restringe aos descritos acima. Por exemplo, quando o volume de processamento para decodificação dos dados de vídeo em conformidade com o MPEG4-AVC é maior que o volume de processamento para decodificação dos dados de vídeo gerados pelo método de codificação de vídeo e pelo aparelho de codificação de vídeo descritos em cada uma das Modalidades, a frequência de acionamento é preferencialmente ajustada em ordem inversa ao ajuste descrito acima.
[000213] Ademais, o método para ajustar a frequência de acionamento não se restringe ao método para ajustar a frequência de acionamento mais baixa. Por exemplo, quando as informações de identificação indicam que os dados de vídeo são gerados pelo método de codificação de vídeo e pelo aparelho de codificação de vídeo descrito em cada uma das Modalidades, a tensão a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é preferencialmente ajustada mais alta. Quando as informações de identificação indicam que os dados de vídeo se adequam ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1, a tensão a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é preferencialmente ajustada mais baixa. Em outro exemplo, quando as informações de identificação indicam que os dados de vídeo são gerados pelo método de codificação de vídeo e pelo aparelho de codificação de vídeo descrito em cada uma das Modalidades, o acionamento da CPU ex502 não tem que ser preferencialmente suspenso. Quando as informações de identificação indicam que os dados de vídeo se adequam ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1, o acionamento da CPU ex502 é preferencialmente suspenso em um dado tempo porque a CPU ex502 tem capacidade adicional de processamento. Mesmo quando as informações de identificação indicam que os dados de vídeo são gerados pelo método de codificação de vídeo e pelo aparelho de codificação de vídeo descritos em cada uma das Modalidades, no caso em que a CPU ex502 pode sofrer um atraso de tempo, o acionamento da CPU ex502 é preferencialmente suspenso em dado mo- mento. Nesse caso, o tempo de suspensão é preferencialmente ajustado para ser mais curto que o tempo no caso em que quando as informações de identificação indicam que os dados de vídeo se adequam ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC1.
[000214] Por conseguinte, o efeito de conservação de energia pode ser aprimorado comutando entre as frequências de acionamento de acordo com o padrão ao qual os dados de vídeo se adequam. Ademais, quando o LSI ex500 ou o aparelho que inclui o LSI ex500 é acionado pelo uso de uma bateria, a vida da bateria pode ser prolongada com o efeito de conservação de energia.
(Modalidade 6)
[000215] Existem casos em que uma pluralidade de dados de vídeo que se adequam a um padrão diferente, são fornecidos aos dispositivos e sistemas, tal como um televisão e um telefone móvel. A fim de permitir a decodificação da pluralidade de dados de vídeo que se adequam aos diferentes padrões, a unidade de processamento de sinal ex507 do LSI ex500 precisa satisfazer os diferentes padrões. No entanto, os problemas do aumento na escala do circuito de LSI ex500 e do aumento de custo surgem com o uso individual das unidades de processamento de sinal ex507 que satisfazem os respectivos padrões.
[000216] Para solucionar o problema, o que é concebido é uma configuração na qual a unidade de processamento da decodificação para implantação do método de decodificação de vídeo descrito em cada uma das Modalidades e a unidade de processamento da decodificação que se adequa ao padrão convencional, tal como MPEG-2, MPEG4- AVC, e VC-1 são parcialmente compartilhadas. Ademais, ex900 na Figura 35A mostra outro exemplo no qual o processamento é parcial-mente compartilhado. Por exemplo, o método de decodificação de vídeo descrito em cada uma das Modalidades e o método de decodifica- ção de vídeo que se adequa a MPEG4-AVC têm, parcialmente em comum, os detalhes do processamento, como a codificação de entropia, quantização inversa, filtragem de desbloqueio, e previsão compensada pelo movimento. Os detalhes do processamento que serão compartilhados incluem preferencialmente o uso de uma unidade de processamento da decodificação ex902 que se adequa ao MPEG4- AVC. Em contrapartida, uma unidade de processamento da decodifi- cação dedicada ex901 é preferencialmente utilizada para outro processamento único da presente invenção. A unidade de processamento da decodificação para implantação do método de decodificação de vídeo descrito em cada uma das Modalidades pode ser compartilhada para o processamento que será compartilhado, e uma unidade de processamento da decodificação dedicada pode ser utilizada para processamento único do MPEG4-AVC.
[000217] Ademais, ex1000 na Figura 35B mostra outro exemplo no qual o processamento é parcialmente compartilhado. Este exemplo utiliza uma configuração que compreende uma unidade de processamento da decodificação dedicada ex1001 que suporta o processamento único da presente invenção, uma unidade de processamento da de- codificação dedicada ex1002 que suporta o processamento único de outro padrão convencional, e uma unidade de processamento da de- codificação ex1003 que suporta o processamento que será compartilhado entre o método de decodificação de vídeo na presente invenção e o método de decodificação de vídeo convencional. Aqui, as unidades de processamento da decodificação dedicadas ex1001 e ex1002 não são necessariamente especializadas no processamento da presente invenção e no processamento do padrão convencional, respectivamente, e podem ser capazes de implantar o processamento geral. Ademais, a configuração a Modalidade 12 pode ser implantada pelo LSI ex500.
[000218] Nessa condição, a redução da escala do circuito de um LSI e a redução do custo são possíveis por meio do compartilhamento da unidade de processamento da decodificação para o processamento que será compartilhado entre o método de decodificação de vídeo na presente invenção e o método de decodificação de vídeo em conformidade com o padrão convencional.
Aplicabilidade Industrial
[000219] O método de codificação de imagem e o método de decodi- ficação de imagem de acordo com a presente invenção têm o efeito vantajoso de reduzir as cargas de processamento e podem ser aplicados, por exemplo, a uma câmera de vídeo, a um telefone celular dotado das funções de captura e reprodução de vídeo, a um computador pessoal, a um aparelho de gravação e reprodução, e assim por diante. Listagem de Sinais de Referência 1000 aparelho de codificação de imagem 1101 subtrator 1102 unidade de transformação ortogonal 1103 unidade de quantização 1104 unidade de codificação de entropia 1105 unidade de quantização inversa 1106 unidade de transformação ortogonal inversa 1107 somador 1108 filtro de desbloqueio 1109 memória 1110 unidade intra previsão 1111 unidade inter previsão 1112 unidade de estimativa do movimento 1113 comutador 1200 unidade de controle da memória 2000 aparelho de decodificação de imagem unidade de decodificação de entropia unidade de quantização inversa unidade de transformação ortogonal inversa somador filtro de desbloqueio memória unidade intra previsão unidade inter previsão comutador unidade de controle da memória

Claims (7)

1. Método de codificação de imagem para codificação de um sinal de vídeo usando um processador, o referido método de codificação de imagem compreendendo: classificar (S101) uma pluralidade de imagens incluídas no sinal de vídeo em camadas, cada uma dentre a pluralidade de imagens pertencendo a uma correspondente das camadas, as camadas incluindo uma primeira camada e uma segunda camada; em que (i) quando uma imagem pertencente à primeira camada é codificada, a imagem pertencente à primeira camada é (a) capaz de se referir a outra imagem pertencente à primeira camada e (b) não é capaz de se referir a uma imagem pertencente a a segunda camada; e (ii) quando uma imagem pertencente à segunda camada é codificada, a imagem pertencente à segunda camada é capaz de (a) se referir a uma imagem pertencente à primeira camada e (b) outra imagem pertencente à segunda camada; o método compreendendo ainda codificação (S102) (i) uma primeira imagem (Bf16) perten cente à primeira camada, referindo-se a outra imagem pertencente à primeira camada e (ii) uma segunda imagem (Bf8) pertencente a uma das primeira camada e a segunda camada por inter-previsão, em que a segunda imagem (Bf8) precede a primeira imagem (Bf16) em ordem de codificação; e codificação (S102) de uma terceira imagem (Br12) pertencente à segunda camada por inter-previsão, em que a terceira imagem (Br12) segue a primeira imagem (Bf16) na ordem de codificação; caracterizado por caso a primeira imagem (Bf16) seja uma imagem especificada para proibir a terceira imagem (Br12) de se referir à segunda imagem (Bf8), a terceira imagem (Br12) é codificada sem se referir à segunda imagem (Bf8) anterior a primeira imagem (Bf16) na ordem de codificação; e caso a primeira imagem (Bf16) não seja a imagem especificada para proibir a terceira imagem (Br12) de se referir à segunda imagem (Bf8), a terceira imagem (Br12) pode ser codificada consultando a segunda imagem (Bf8) que precede a primeira imagem (Bf16) na ordem de codificação.
2. Método de codificação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que as camadas incluem ainda uma camada zero; em que (i) quando uma imagem pertencente à camada zero é codificada, a imagem pertencente à camada zero não pode se referir a outra imagem pertencente à primeira camada e à segunda camada; (ii) quando uma imagem pertencente à primeira camada é codificada, a imagem pertencente à primeira camada é capaz de se referir a uma imagem pertencente à camada zero; e (iii) quando uma imagem pertencente à segunda camada é codificada, a imagem pertencente à segunda camada é capaz de se referir a uma imagem pertencente à camada zero.
3. Método de codificação de imagem, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a primeira imagem (Bf16) é uma figura B.
4. Método de codificação de imagem, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a segunda imagem (Bf8) e a terceira imagem (Br12) são uma imagem B.
5. Aparelho de codificação de imagem que codifica um sinal de vídeo, o referido aparelho de codificação de imagem caracterizado pelo fato de que compreende: um processador; e uma memória não transitória armazenada nas instruções executáveis que, quando executadas, fazem com que o processador execute o método de codificação de imagem de acordo com qualquer uma das reivindicações 1 a 4.
6. Método de decodificação de imagem para decodificar um sinal de vídeo compreendendo uma pluralidade de imagens classificadas em camadas, cada uma dentre a pluralidade de imagens pertencendo a uma correspondente das camadas, as camadas incluindo uma primeira camada e uma segunda camada, em que (i) quando uma imagem pertencente à primeira camada é decodificada, a imagem pertencente à primeira camada é (i) capaz de se referir a outra imagem pertencente à primeira camada e (ii) não é capaz de se referir a uma imagem pertencente a a segunda camada; e (ii) quando uma imagem pertencente à segunda camada é decodificada, a imagem pertencente à segunda camada é capaz de (i) referir-se a uma imagem pertencente à primeira camada e (ii) outra imagem pertencente à segunda camada; o método compreendendo ainda decodificação (S31) (i) uma primeira imagem (Bf16) pertencente à primeira camada, referindo-se a outra imagem pertencente à primeira camada e (ii) uma segunda imagem (Bf8) pertencente a uma das primeira camada e a segunda camada por inter-previsão, em que a segunda imagem (Bf8) precede a primeira imagem (Bf16) em ordem de decodificação; e decodificar (S31) uma terceira imagem (Br12) pertencente à segunda camada por inter-previsão, em que a terceira imagem (Br12) segue a primeira imagem (Bf16) na ordem de decodificação; caracterizado por no caso em que a primeira imagem (Bf16) é uma imagem especificada para proibir a terceira imagem (Br12) de se referir à segunda imagem (Bf8), a terceira imagem (Br12) é decodificada sem se referir à segunda imagem (Bf8) anterior a primeira imagem (Bf16) na ordem de decodificação; e caso a primeira imagem (Bf16) não seja a imagem especificada para proibir a terceira imagem (Br12) de se referir à segunda imagem (Bf8), a terceira imagem (Br12) poderá ser decodificada consultando a segunda imagem (Bf8) que precede a primeira imagem (Bf16) na ordem de decodificação.
7. Aparelho de decodificação de imagem para decodificar um sinal de vídeo compreendendo uma pluralidade de imagens classificadas em camadas, cada uma dentre a pluralidade de imagens pertencendo a uma correspondente das camadas, as camadas incluindo uma primeira camada e uma segunda camada, em que (i) quando uma imagem pertencente à primeira camada é decodificada, a imagem pertencente à primeira camada é (i) capaz de se referir a outra imagem pertencente à primeira camada e (ii) não é capaz de se referir a uma imagem pertencente a a segunda camada; e (ii) quando uma imagem pertencente à segunda camada é decodificada, a imagem pertencente à segunda camada é capaz de (i) referir-se a uma imagem pertencente à primeira camada e (ii) outra imagem pertencente à segunda camada; o referido aparelho de decodificação de imagem caracterizado pelo fato de que compreende: um decodificador (2101-2200) adaptado para executar o método de decodificação de imagem de acordo com a reivindicação 6.
BR112013004435-7A 2011-01-14 2012-01-12 Método de codificação de imagem, método de decodificação de imagem, método de gerenciamento de memória, aparelho de codificação de imagem, aparelho de decodificação de imagem, aparelho de gerenciamento de memória, e aparelho de codificação e decodificação de imagem BR112013004435B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161432683P 2011-01-14 2011-01-14
US61/432,683 2011-01-14
US201161437145P 2011-01-28 2011-01-28
US61/437,145 2011-01-28
PCT/JP2012/000161 WO2012096186A1 (ja) 2011-01-14 2012-01-12 画像符号化方法、画像復号方法、メモリ管理方法、画像符号化装置、画像復号装置、メモリ管理装置および画像符号化復号装置

Publications (3)

Publication Number Publication Date
BR112013004435A2 BR112013004435A2 (pt) 2016-05-31
BR112013004435A8 BR112013004435A8 (pt) 2018-07-10
BR112013004435B1 true BR112013004435B1 (pt) 2022-03-29

Family

ID=46490752

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112013004435-7A BR112013004435B1 (pt) 2011-01-14 2012-01-12 Método de codificação de imagem, método de decodificação de imagem, método de gerenciamento de memória, aparelho de codificação de imagem, aparelho de decodificação de imagem, aparelho de gerenciamento de memória, e aparelho de codificação e decodificação de imagem

Country Status (13)

Country Link
US (7) US9584818B2 (pt)
EP (5) EP3131294B1 (pt)
JP (3) JPWO2012096186A1 (pt)
KR (1) KR101912472B1 (pt)
CN (3) CN103053160B (pt)
BR (1) BR112013004435B1 (pt)
CA (1) CA2806615C (pt)
ES (3) ES2912505T3 (pt)
MX (1) MX2013001652A (pt)
PL (3) PL4027644T3 (pt)
RU (1) RU2597469C2 (pt)
TW (1) TWI579802B (pt)
WO (1) WO2012096186A1 (pt)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053160B (zh) * 2011-01-14 2016-11-16 太阳专利托管公司 图像编码方法及图像编码装置
US9838701B2 (en) * 2011-08-03 2017-12-05 Mediatek Inc. Method and video decoder for decoding scalable video stream using inter-layer racing scheme
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
KR102046757B1 (ko) * 2012-09-28 2019-11-19 소니 주식회사 화상 처리 장치 및 방법
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
CN104243988B (zh) * 2013-06-14 2019-11-12 浙江大学 视频编解码方法及装置、传输视频码流的方法
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法
WO2015005331A1 (ja) * 2013-07-10 2015-01-15 シャープ株式会社 画像復号装置および画像符号化装置
US20150016500A1 (en) * 2013-07-11 2015-01-15 Qualcomm Incorporated Device and method for scalable coding of video information
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
US11134254B2 (en) * 2014-04-25 2021-09-28 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
AU2020352913A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Signaling of DPB parameters for multi-layer video bitstreams
US11677934B2 (en) * 2021-09-24 2023-06-13 Apple Inc. Encoding and decoding video content

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400075A (en) * 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
ES2721514T3 (es) * 2001-11-06 2019-08-01 Panasonic Ip Corp America Procedimiento de codificación de imágenes en movimiento y procedimiento de decodificación de imágenes en movimiento
EP1479245A1 (en) * 2002-01-23 2004-11-24 Nokia Corporation Grouping of image frames in video coding
EP1383339A1 (en) 2002-07-15 2004-01-21 Matsushita Electric Industrial Co., Ltd. Memory management method for video sequence motion estimation and compensation
US7929605B2 (en) * 2003-07-24 2011-04-19 Nippon Telegraph And Telephone Corporation Image decoding device, image decoding method, image decoding program, recording medium recording image decoding program
JP3910594B2 (ja) 2004-02-20 2007-04-25 三菱電機株式会社 画像符号化装置
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
RU2407217C2 (ru) * 2005-10-11 2010-12-20 Нокиа Корпорейшн Система и способ для эффективной адаптации масштабируемых потоков
WO2007080223A1 (en) 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
EP1809042A1 (en) * 2006-01-13 2007-07-18 THOMSON Licensing Method and apparatus for coding interlaced video data
KR101352978B1 (ko) * 2006-01-16 2014-01-28 고려대학교 산학협력단 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
JP4810298B2 (ja) 2006-05-09 2011-11-09 キヤノン株式会社 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
EP2224745B1 (en) * 2009-02-27 2019-11-06 STMicroelectronics Srl Temporal scalability in case of scene changes
CN101917614B (zh) 2010-06-03 2012-07-04 北京邮电大学 一种基于h.264分层b帧编码结构的码率控制方法
CN101895748B (zh) 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
CN103053160B (zh) * 2011-01-14 2016-11-16 太阳专利托管公司 图像编码方法及图像编码装置

Also Published As

Publication number Publication date
PL3131294T3 (pl) 2020-11-16
JPWO2012096186A1 (ja) 2014-06-09
CN106454363A (zh) 2017-02-22
PL4027644T3 (pl) 2024-03-11
US20180255314A1 (en) 2018-09-06
CA2806615A1 (en) 2012-07-19
US11044489B2 (en) 2021-06-22
US9584818B2 (en) 2017-02-28
ES2912505T3 (es) 2022-05-26
WO2012096186A1 (ja) 2012-07-19
ES2805202T3 (es) 2021-02-11
EP2665265A4 (en) 2016-03-30
JP2017184267A (ja) 2017-10-05
EP2665265A1 (en) 2013-11-20
BR112013004435A8 (pt) 2018-07-10
EP4250733A2 (en) 2023-09-27
BR112013004435A2 (pt) 2016-05-31
US20210235103A1 (en) 2021-07-29
CN103053160B (zh) 2016-11-16
MX2013001652A (es) 2013-03-21
US20200228819A1 (en) 2020-07-16
JP2018164302A (ja) 2018-10-18
US20220321903A1 (en) 2022-10-06
EP3700212B1 (en) 2022-03-23
US11843796B2 (en) 2023-12-12
TW201238357A (en) 2012-09-16
RU2597469C2 (ru) 2016-09-10
US10652566B2 (en) 2020-05-12
KR101912472B1 (ko) 2018-10-26
KR20130139223A (ko) 2013-12-20
EP3131294B1 (en) 2020-04-29
US20120183059A1 (en) 2012-07-19
JP6583702B2 (ja) 2019-10-02
JP6365956B2 (ja) 2018-08-01
CN103053160A (zh) 2013-04-17
ES2967302T3 (es) 2024-04-29
US20240064325A1 (en) 2024-02-22
EP3700212A1 (en) 2020-08-26
CN107071448B (zh) 2020-04-28
TWI579802B (zh) 2017-04-21
US20170105017A1 (en) 2017-04-13
CN106454363B (zh) 2019-05-10
EP4027644B1 (en) 2023-10-04
EP3131294A1 (en) 2017-02-15
RU2013106283A (ru) 2015-02-20
EP4027644A1 (en) 2022-07-13
EP4250733A3 (en) 2023-12-27
US11496762B2 (en) 2022-11-08
US10021410B2 (en) 2018-07-10
CN107071448A (zh) 2017-08-18
PL3700212T3 (pl) 2022-07-18
CA2806615C (en) 2018-02-13

Similar Documents

Publication Publication Date Title
JP6583702B2 (ja) 画像復号方法および画像復号装置
ES2834902T3 (es) Método de decodificación de imagen, y dispositivo de decodificación de imágenes
BR112013027350B1 (pt) Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem e aparelho de decodificação de imagem
TWI559752B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
BR112013020486B1 (pt) Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
ES2782227T3 (es) Procedimiento de codificación de imagen, procedimiento de decodificación de imagen, dispositivo de codificación de imagen, dispositivo de decodificación de imagen y dispositivo de codificación/decodificación de imagen
BR112013029425B1 (pt) Método de decodificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem, dispositivo de codificação de imagem, e dispositivo de codifica ção/decodificação de imagem
BR112013021018B1 (pt) Método e aparelho de decodificação de imagem
BR112013030498B1 (pt) Método de filtragem de desblocagem para codificação e decodificação de vídeo
BR112013031624B1 (pt) Método de decodificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem, dispositivo de codificação de imagem, e dispositivo de codificação/decodificação de imagem
BR112013031212B1 (pt) Método de decodificação de imagem e aparelho de decodificação de imagem
BR112012021600B1 (pt) método de filtragem de desbloqueio para filtrar uma pluralidade de blocos incluídos em uma imagem, método e aparelho de codificação para codificar uma imagem
BR112013003399B1 (pt) Método e aparelho de decodificação para decodificar um sinal de imagem codificado para uma unidade de codificação
BR112015001164B1 (pt) Método de decodificação de imagem
KR101842852B1 (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 및 화상 복호화 장치
WO2012090495A1 (ja) 画像符号化方法および画像復号方法

Legal Events

Date Code Title Description
B25A Requested transfer of rights approved

Owner name: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AME

B25A Requested transfer of rights approved

Owner name: SUN PATENT TRUST (US)

B15K Others concerning applications: alteration of classification

Ipc: H04N 19/50 (2014.01), H04N 19/172 (2014.01), H04N

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 12/01/2012, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF, QUE DETERMINA A ALTERACAO DO PRAZO DE CONCESSAO.