APARELHO PARA CODIFICAÇÃO DE IMAGEM.
Dividido do PI 0303673-1, depositado em 10 de abril de 2003. Campo Técnico '5 A presente invenção refere-se a um método de codificação de imagem para compactar um sinal de imagem em movimento de forma eficiente utilizando a correlação entre as imagens, com um método de decodificação de imagem para decodificar a imagem em movimento de forma correta e com um programa para compactar a imagem em movimento por softwa10 re.
Técnica Anterior
Em anos recentes, uma multimídia que integra áudio, vídeo e outras informações refere-se ao áudio e ao vídeo que têm sido populares; a mídia de informação convencional, a saber, um jornal, uma revista, uma TV, 15 um rádio, um telefone estariam integrados na multimídia. Em geral, a multimídia refere-se e representa não somente letras mas também gráficos, uma voz e particularmente uma imagem. Para tornar a mídia de informação convencional à multimídia, é essencial representar a informação em uma forma digital.
Visto que, quando a quantidade de informação de cada mídia de informação é estimada, a quantidade de informação por letra é 1 até 2 bytes, enquanto que a da voz por segundo precisa mais do que 64 kbits (qualidade de conversão por telefone) e adicionalmente aquela de uma imagem em movimento por segundo precisa mais do que 100 Mbits (padrão de qualida25 de de difusão de TV) e portanto não é realístico lidar com muita informação da mídia de informação como na forma digital. Por exemplo, um Telefone TV já tem estado em uso prático pela ISDN (Rede Digital de Serviço Integrado), o qual tem a velocidade de transmissão de 64 Kbps até 1,5 Mbps mas é impossível transmitir vídeos de uma TV e de uma câmara diretamente através 30 da ISDN.
Então, uma tecnologia para compactar informação torna-se necessária. Por exemplo, no caso de um Telefone TV, a tecnologia de com2 pactação de imagem em movimento do padrão H.261 ou H.263 internacionalmente padronizado pela ITU-T (International Telecommunication Union
Telecommunication Standardization Section) é utilizada. Adicionalmente, é possível pelo padrão MPEG-1 conter informação de imagem junto com in5 formação de voz em um CD (Disco Compacto) de música comum.
Aqui, o MPEG (Moving Picture Experts Group) é um padrão internacional para compactação digital de um sinal de imagem em movimento e o MPEG-1 é um padrão para compactar o sinal de imagem em movimento para 1,5 Mbps, a saber, cerca de um terço da informação de um sinal de TV. 10 Adicionalmente, a velocidade de transmissão cujo o sujeito é o padrão I MPEG-1 está principalmente limitada a cerca de 1,5 Mbps; padronizada pelo MPEG-2 para satisfazer a demanda adicional por imagem de alta qualidade, o sinal de imagem em movimento é compactado para 2 até 15 Mbps.
Adicionalmente, nas atuais circunstâncias, pelo grupo de traba15 Iho (ISO/IEC JTC1/SC29/WG11) que tem realizado a padronização do MPEG-1 e MPEG-2, o MPEG-4 que possui uma taxa de compactação adicionalmente mais elevada tem sido padronizado. O MPEG-4 não somente torna possível primeiro executar a codificação altamente eficiente com uma baixa taxa de bits, mas também uma tecnologia poderosa de resistência a 20 erro é introduzida. A tecnologia pode minimizar a degradação subjetiva da qualidade da imagem mesmo se um erro em um canal de transmissão ocorrer. Adicionalmente, o ISO/IEC e o ITU-T juntamente realizam a atividade de padronização do JVT (Grupo de Junção de Vídeo) como um método de codificação de tela da próxima geração; no presente momento, o que é chamado 25 de Modelo de Junção (2 (JM2) é o mais recente.
Diferente da codificação de imagem em movimento convencional, o JVT pode selecionar uma imagem arbitrária dentre várias imagens como uma imagem de referência precedente. Aqui, uma imagem representa um quadro ou um campo.
A figura 1A é um diagrama que explica a codificação da imagem que executa a codificação referindo-se a uma imagem selecionada de várias imagens de referência armazenadas em uma memória. A figura 1B é um diagrama de estrutura que apresenta a estrutura da memória que armazena as imagens.
Como apresentado na figura 1B, a memória é constituída da memória de curto prazo e da memória de longo prazo. A memória de curto '5 prazo memoriza várias imagens codificadas/decodificadas imediatamente antes e corresponde às imagens de referência de uma assim chamada imagem P(lmagem Codificada por Predição) e uma imagem B (Imagem Codificada por Predição Dupla) do MPEG-1 e do MPEG-2. A memória de longo prazo é utilizada par armazenar um sinal de imagem mais longo do que a 10 memória de curto prazo.
Normalmente, a memória de curto prazo é uma memória FIFO (primeiro que entra, primeiro que sai). No caso de armazenar uma imagem acima do limite superior da memória, a imagem mais antiga na memória de curto prazo é liberada e uma nova imagem é armazenada na área. Por con15 seqüência, normalmente para referir-se a uma imagem de referência que foi liberada da memória pelo mecanismo de FIFO, é possível referir-se à imagem de referência por um tempo longo por mover a imagem de referência antecipadamente da memória de curto prazo para a memória de longo prazo e armazenar a imagem na memória de longo prazo. A memória de longo 20 prazo é um método para claramente designar a área de armazenamento; é possível referir-se à imagem armazenada na área a não ser que a mesma área seja designada e gravada por cima.
A figura 1A apresenta a situação de predição na hora da codificação da imagem; a imagem do quadro de imagem Ns 2 refere-se à imagem 25 do quadro de imagem N9 0; a imagem do quadro de imagem Ns 1 refere-se à imagem do quadro de imagem N9 0 ou da imagem N9 2. De forma similar, a imagem do quadro de imagem N9 4 refere-se às imagens dos quadros de imagens N9s 0 e 2; a imagem do quadro de imagem N9 6 refere-se à imagem do quadro de imagem N9 0. Adicionalmente, a imagem do quadro de ima30 gem N9 5 pode referir-se às imagens dos quadros de imagens N9s 0, 2, 4 e
6.
Agora, nesta figura 1A, as imagens dos quadros de imagens N9s
Ο, 6 e 12 são referidas após um tempo relativamente longo, enquanto as imagens dos quadros Nes 2, 4 e 8 são referidas somente pelas imagens de curto tempo posteriores. Por conseqüência, como é apresentado na figura 1B, a área de memória para armazenar imagens é dividida na memória de 5 curto prazo e na memória de longo prazo; as imagens dos quadros de imagens Nss 0, 6 e 12 podem ser armazenadas na memória que precisa de armazenamento de longo prazo.
Agora, o uso da memória apresentado na figura 1A eficazmente precisa de gerenciamento sofisticado de memória; um mecanismo para con10 trolar a memória é introduzido no JVT.
I Os comandos para controlar a memória são como se segue:
1. O comando para selecionar as imagens que podem ser referidas;
2. O comando para liberar a área de memória que armazena as imagens que são sem uso como imagens de referência da codificação por predição na memória de curto prazo; e
3. O comando para mover o conteúdo da memória de curto prazo para a memória de longo prazo.
Ao se codificar e decodificar uma imagem, desde que a imagem que possui o menor erro de predição na unidade de bloco é selecionada das imagens que podem ser referidas, um sinal que designa as imagens de referência na unidade de bloco é necessário. Por eleger antecipadamente as imagens que podem ser referidas, é possível reduzir o número de candidatas das imagens de referência para um valor apropriado e reduzir o número e bits do sinal de designação de imagem de referência que é necessário na unidade de bloco.
Adicionalmente, no caso de mover as imagens da memória de curto prazo para a memória de longo prazo, desde que é desnecessário armazenar as imagens de mesmo conteúdo tanto na memória de curto prazo 30 como na memória de longo prazo, as imagens da memória de curto prazo são liberadas.
A figura 2A e a figura 2B são fluxogramas que apresentam um método convencional de codificação de imagem e um método convencional de decodificação de imagem.
A figura 2A apresenta operações que um dispositivo de codificação de imagem executa para liberar a área de memória que armazena as imagens que nunca são utilizadas como imagens de referência na codificação por predição. Na figura 2A, para começar, o dispositivo de codificação de imagem codifica a imagem informada (Etapa 100). Após a codificação, o dispositivo de codificação de imagem examina se existe uma área desnecessária (as imagens que não são referidas na codificação futura) na memória (Etapa 101) e julga se uma imagem na memória que nunca é utilizada como referência existe ou não (Etapa 102). Quando a imagem na memória quê nunca é utilizada como referência é julgada como existindo (Sim na Etapa 102), o comando para liberar uma imagem na memória que nunca é utilizada como referência é codificado como informação de gerenciamento de memória (Etapa 103), uma imagem na memória que nunca é utilizada como referência é liberada (uma imagem na memória é apagada) (Etapa 104) e o processamento termina. Por outro lado, no caso do dispositivo de codificação de imagem julgar que não existe imagem na memória que nunca é utilizada como referência (Não na Etapa 102), o processamento termina sem executar as operações na Etapa 103 e na Etapa 104.
A seguir, as operações que um dispositivo de decodificação de imagem executa para liberar a área de memória que armazena imagens que nunca são utilizadas como referência na codificação por predição são explicadas baseado no fluxograma da figura 2B. Para começar, o dispositivo de decodificação de imagem decodifica a informação de gerenciamento de memória (Etapa 110) e decodifica um sinal de imagem a partir de um sinal codificado (Etapa 111). O dispositivo de decodificação de imagem julga se existe um comando de liberação de memória ou não como resultado do exame (Etapa 112). Se o comando de liberação de memória existir (Sim na Etapa 112), o dispositivo de decodificação de imagem julga se existem imagens que devam ser liberadas pelo comando ou se a memória já foi liberada (as imagens já foram apagadas) (Etapa 113). Se o dispositivo de decodifica6 ção de imagem julgar que a memória já foi liberada (Sim na Etapa 112), o dispositivo de decodificação de imagem assume que isto é um ERRO porque o JVT proíbe transmitir o comando para liberar a mesma imagem novamente após liberar a imagem da memória e portanto liberar a memória no5 vamente que já foi liberada é o ERRO. Por outro lado, se o dispositivo de decodificação de imagem julgar que a memória não está liberada (Não na Etapa 113); ele libera a memória (Etapa 114) e termina o processamento. Se ele julgou que não existe comando de liberação de memória (Não na Etapa 112), as operações da Etapa 110 e da Etapa 111 não são executadas e o 10 processamento termina. Incidentalmente, a Etapa 110 e a Etapa 11 não esI tão em ordem particular e podem alterar-se em direções opostas.
A figura 3A e a figura 3B são fluxogramas que apresentam outro método convencional de codificação de imagem e outro método convencional de decodificação de imagem.
A figura 3A apresenta as operações que o dispositivo de codificação de imagem executa para mover as imagens da memória de curto prazo para a memória de longo prazo.
Na figura 3A, para começar, o dispositivo de codificação de imagem codifica a imagem informada (Etapa 120). Após a codificação, o dispo20 sitivo de codificação de imagem examina se existem imagens que devem ser movidas para a memória de longo prazo (Etapa 121) e julga se existem imagens que devem ser movidas ou não (Etapa 122). Se existirem as imagens que devem ser movidas (Sim na Etapa 122), o dispositivo de codificação de imagem codifica um comando para indicar como as imagens são movidas 25 para a memória de longo prazo como a informação de gerenciamento de memória (Etapa 123), move as imagens para a memória de longo prazo baseado no comando (Etapa 124) e termina o processamento. Por outro lado, no caso do dispositivo de codificação de imagem julgar que não existe imagem que deva ser movida para a memória de longo prazo (Não na Etapa 30 122), o dispositivo de codificação de imagem não executa as operações da
Etapa 123 e da Etapa 124 e termina o processamento.
A seguir, as operações que o dispositivo de decodificação de imagem executa para mover as imagens da memória de curto prazo para a memória de longo prazo são explicadas baseado no fluxograma da figura 3B. Para começar, o dispositivo de decodificação de imagem decodifica a informação de gerenciamento de memória (Etapa 130). A seguir, o dispositi'5 vo de decodificação de imagem decodifica um sinal de imagem a partir de um sinal codificado (Etapa 131). Então, o dispositivo de decodificação de imagem julga se existe um comando para mover as imagens para a memória de longo prazo ou não na informação de gerenciamento de memória decodificada (Etapa 132). Se o dispositivo de decodificação de imagem julgar que 10 existe o comando (Sim na Etapa 132), ele julga a seguir se existem imagens que devam ser movidas pelo comando ou se as imagens já foram movidas (não existe imagem porque as imagens são liberadas após o movimento) (Etapa 133). O JVT proíbe transmitir o comando para mover a mesma imagem novamente para a memória de longo prazo após mover a imagem para 15 a memória de longo prazo. Por conseqüência, no caso de mover a imagem que já foi movida para a memória de longo prazo novamente para a memória de longo prazo, é assumido como sendo o ERRO. Portanto, quando o dispositivo de decodificação de imagem julga que a imagem já foi movida (Sim na Etapa 133), o dispositivo de decodificação de imagem assume isto como 20 sendo o ERRO e quando o dispositivo de decodificação de imagem julga que a imagem não está movida, o dispositivo de decodificação de imagem move a imagem para a memória de longo prazo (Etapa 134) e termina o processamento.
Por outro lado, no caso do dispositivo de decodificação de ima25 gem julgar que não existe comando para mover a imagem para a memória de longo prazo (Não na Etapa 132), o dispositivo de decodificação de imagem não executa as operações da Etapa 133 e da Etapa 134 e termina o processamento. Incidentalmente, a Etapa 130 e a Etapa 131 não estão em ordem particular e podem alterar-se em direção oposta.
A figura 4A e a figura 4B são fluxogramas que apresentam ainda outro método convencional de codificação de imagem e ainda outro método convencional de decodificação de imagem.
Para começar, as operações que o dispositivo de codificação de imagem executa para selecionar a imagem que pode ser referida são explicadas baseado no fluxograma da figura 4A.
Para um início, o dispositivo de codificação de imagem seleciona imagens de referência que são esperadas ter uma alta correlação com as imagens codificadas (geralmente, imagens de referência que estão temporariamente fechadas) como candidatas das imagens de referência (Etapa 200). A seguir, o dispositivo de codificação de imagem codifica a informação de designação (um tipo de informação de gerenciamento de memória) que indi10 ca as candidatas selecionadas das imagens de referência (Etapa 201), refeI re-se e codifica uma imagem de referência apropriada das candidatas selecionadas das imagens de referência na unidade de bloco (Etapa 202) e termina o processamento. Incidentalmente, a Etapa 201 e a Etapa 202 não estão em ordem particular e podem ser alteradas em direções opostas.
A seguir, as operações que o dispositivo de decodificação de imagem executa para selecionar a imagem que pode ser referida são explicadas baseado no fluxograma da figura 4B.
Para um início, o dispositivo de decodificação de imagem decodifica a informação de designação, um tipo de informação de gerenciamento 20 de memória (Etapa 210), seleciona as candidatas das imagens de referência a partir da memória como um resultado (Etapa 211), seleciona uma imagem de referência apropriada das candidatas selecionadas das imagens de referência na unidade de bloco, decodifica a imagem de referência apropriada enquanto referindo-se à mesma (Etapa 212) e termina o processamento.
Agora, nos métodos convencionais de codificação de imagem e nos métodos convencionais de decodificação de imagem, o dispositivo de codificação de imagem codifica e emite o comando para liberar as imagens que nunca são utilizadas como referência a partir da memória e o comando para mover as imagens da memória de curto prazo para a memória de longo 30 prazo e transmite os comandos para o dispositivo de decodificação de imagem, o qual decodifica os comandos. O número desta transmissão está limitado a somente uma imagem e portanto no caso da imagem incluindo o co mando sendo perdido por um erro de transmissão ou semelhante, é impossível decodificar a imagem porque o dispositivo de decodificação não pode decodificar a colocação da imagem na memória de forma correta.
Adicionalmente, ao se codificar e decodificar uma imagem, no '5 caso de selecionar uma imagem de referência, quando o dispositivo de codificação de imagem seleciona simplesmente as imagens temporariamente fechadas somente como as candidatas de imagem de referência, é impossível executar uma codificação mais adequada considerando a capacidade de dimensionamento (em um exemplo de estrutura por predição na figura 1A, é 10 possível decodificar uma imagem I (Imagem Intra codificada) e uma imagem P (Imagem Codificada Por Predição) mesmo se uma imagem B (Imagem Codificada por Predição Dupla) não for decodificada ou é possível decodificar outras imagens P mesmo se as imagens P das imagens Nss 4, 10 e 16 não forem decodificadas) para decodificar uma imagem. Em outras palavras, 15 apesar das imagens que são temporariamente adjacentes à imagem do quadro de imagem Ns 6 serem imagens dos quadros de imagens Nes 4 e 2, na realidade, somente a imagem do quadro de imagem NQ 0 pode ser referida e portanto, se as imagens dos quadros de imagem Nes 4 e 2 estiverem incluídas nas candidatas da imagem de referência, a eficiência para a codifi20 cação não é muito boa.
Adicionalmente, nos métodos convencionais de codificação de imagem, desde que é proibido transmitir o comando para liberar a imagem que nunca é utilizada como referência e o comando para mover as imagens da memória de curto prazo para a memória de longo prazo ligando-se com 25 uma imagem que não está armazenada na memória, a transmissão flexível dos comandos de informação de gerenciamento de memória é bloqueada. Proibir transmitir os comandos ligando-se à imagem que não está armazenada na memória tem a seguinte razão. A saber, a imagem que não está armazenada na memória possui o menor significado; a possibilidade de que 30 ela não seja decodificada pela capacidade de dimensionamento é alta; o dispositivo de decodificação de imagem não pode decodificar a colocação da imagem corretamente porque os comandos ligando-se à imagem que não está armazenada nesta memória não são decodificados; a razão para proibir transmitir os comandos ligando-se à imagem que não está armazenada na memória é evitar a situação.
Descrição da Invenção
Por conseqüência, para resolver o problema explicado acima, é um objetivo desta invenção proporcionar um método de codificação de imagem e um método de decodificação de imagem para restaurar uma imagem corretamente mesmo se parte do gerenciamento da memória for perdida por um erro do canal de transmissão e um método de codificação de imagem e 10 um método de decodificação de imagem para selecionarem candidatas das
I imagens de referência que podem ser referidas de forma mais apropriada e aperfeiçoar a eficiência da codificação.
Para resolver este problema, o método de codificação de imagem de acordo com a presente invenção é um método de codificação de 15 imagem para codificar um quadro referindo-se a uma imagem de referência selecionada a partir de várias imagens de referência armazenadas em uma memória, incluindo: uma etapa de codificação de imagem para codificar uma imagem referindo-se à imagem de referência selecionada; uma etapa de codificação de informação de gerenciamento para codificar a informação de 20 gerenciamento de memória para controlar e gerenciar as imagens de referência armazenadas na memória ligando-se à imagem codificada; e uma etapa de gravação da informação de gerenciamento para codificar a informação de gerenciamento de memória novamente separadamente da codificação na etapa de codificação da informação de gerenciamento.
Como resultado, desde que a informação de gerenciamento de memória é codificada e emitida várias vezes, mesmo se ocorrer um erro de canal de transmissão quando a informação de gerenciamento de memória é transmitida para o dispositivo de decodificação, a possibilidade de que a imagem seja restaurada corretamente torna-se alta porque pode ser pensado 30 que qualquer uma das informações de gerenciamento de memória que é transmitida várias vezes é transmitida e decodificada.
Adicionalmente, na etapa de gravação da informação de geren ciamento, a informação que identifica a imagem codificada com a qual a informação de gerenciamento de memória está ligada na etapa de codificação da informação de gerenciamento pode ser ligada com a informação de gerenciamento de memória que é novamente codificada.
Como resultado, no caso de erro do canal de transmissão ocorrendo quando a informação de gerenciamento de memória codificada primeiro ligando-se a uma imagem codificada é transmitida, desde que uma imagem codificada ligada à informação de gerenciamento de memória é identificada, é possível detectar em que momento o erro do canal de transmissão 10 ocorreu.
Adicionalmente, na etapa de codificação da informação de gerenciamento, quando a informação de gerenciamento de memória está ligada a uma imagem codificada que não está armazenada na memória, a informação de gerenciamento de memória também pode estar ligada a uma 15 imagem codificada armazenada na memória na etapa de gravação da informação de gerenciamento.
Como resultado, como a informação de gerenciamento de memória está ligada a uma imagem importante que é decodificada e armazenada na memória, a decodificação da informação de gerenciamento de me20 mória é executada com confiabilidade e portanto a possibilidade de que uma imagem seja restaurada corretamente torna-se alta.
Além disso, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem para decodificar uma imagem referindo-se a uma imagem de referência selecio25 nada a partir de várias imagens de referência armazenadas na memória, o método de decodificação de imagem incluindo: uma etapa para decodificar a informação de gerenciamento de memória para controlar e gerenciar uma imagem de referência armazenada na memória; e uma etapa para liberar a área de memória quando a área de memória a ser liberada não tiver ainda 30 sido liberada e não executar processamento junto à memória quando a área de memória a ser liberada já tiver sido liberada baseada na informação de gerenciamento de memória decodificada, no caso de liberar uma imagem na memória que nunca é utilizada como referência.
Como resultado, mesmo se um dispositivo de decodificação receber informação de gerenciamento de memória que indique liberar uma imagem da memória várias vezes, o dispositivo de decodificação não pro5 cessa a mesma como um erro e pode decodificar uma imagem corretamente.
Adicionalmente, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem para decodificar um quadro referindo-se a uma imagem de referência selecionada 10 de várias imagens de referência armazenadas na memória, onde a memória I pode incluir a memória de curto prazo cujo tempo de armazenamento de uma imagem de referência é curto e uma memória de longo prazo cujo tempo de armazenamento de uma imagem de referência pode ser mais longo do que o tempo de armazenamento da memória de curto prazo e o método de 15 decodificação de imagem pode incluir: uma etapa para decodificar a informação de gerenciamento de memória para controlar e gerenciar uma imagem de referência armazenada na memória; e uma etapa para mover a imagem de referência da memória de curto prazo para a memória de longo prazo quando uma imagem de referência de um objeto de movimento existir na 20 memória de curto prazo e executar nenhum movimento na memória se um quadro de referência de um objeto de movimento não existir na memória de curto prazo baseado na informação de gerenciamento de memória decodificada, no caso de mover a imagem de referência armazenada na memória a partir da memória de curto prazo para a memória de longo prazo.
Como resultado, mesmo se um dispositivo de decodificação receber a informação de gerenciamento de memória várias vezes, o dispositivo de decodificação não processa a mesma como um erro e pode decodificar uma imagem corretamente.
Adicionalmente, um método de codificação de imagem para co30 dificar uma imagem referindo-se a uma imagem de referência selecionada de várias imagens de referência armazenadas na memória, o método de codificação de imagem pode incluir uma etapa para codificar uma imagem de referência armazenada na memória cujo valor de prioridade é mais alto do que um valor de prioridade de uma imagem codificada como um candidato a uma imagem de referência.
Como resultado, é possível selecionar um candidato a uma ima'5 gem que pode ser referida mais apropriadamente e aperfeiçoar a eficiência da codificação.
Além disso, o método de codificação de imagem de acordo com a presente invenção é um método de codificação de imagem incluindo: uma etapa para codificar uma imagem codificadora; uma etapa para julgar se 10 uma imagem de referência que não é referida após a codificação da imagem codificada existe na memória ou não; uma etapa para codificar um comando que indica liberar uma imagem na memória que nunca é utilizada como referência após a decodificação da imagem codificada por um dispositivo de decodificação que decodifica os dados de codificação como um comando para 15 liberar uma imagem na memória que nunca é utilizada como referência para não ser referido quando existir a imagem de referência que não é referida; uma etapa para liberar uma imagem na memória que nunca é utilizada como referência; e uma etapa para codificar um comando que indica liberar uma imagem na memória que nunca é utilizada como referência antes da outra 20 imagem codificada mencionada abaixo ser decodificada quando outra imagem codificada após a imagem codificada ser codificada.
Como resultado, mesmo se o primeiro comando que indica liberar uma imagem na memória que nunca é utilizada como referência for abandonado, o comando transmitido a seguir é executado antes da decodifi25 cação da imagem e portanto é possível reduzir o atraso ao se executar o comando.
Adicionalmente, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem incluindo: uma etapa para decodificar a informação de gerenciamento de me30 mória para gerenciar memória ligando-se a uma imagem decodificada; uma primeira etapa de julgamento para julgar se a informação de gerenciamento de memória é um comando utilizado antes da decodificação que indica exe14 cutar processamento para gerenciar memória antes da decodificação da imagem decodificada; uma segunda etapa de julgamento para julgar se o processamento para gerenciar memória já foi feito ou não quando a informação de gerenciamento de memória é julgada como sendo o comando utiliza5 do antes da decodificação na primeira etapa de julgamento; e uma etapa para decodificar a imagem decodificada quando o processamento para gerenciar memória é julgado para ser feito pela segunda etapa de julgamento e a decodificação da imagem decodificada após o processamento para gerenciar a memória baseado na informação de gerenciamento de memória quan10 do o processamento para gerenciar a memória é julgado como para não ser I feito na segunda etapa de julgamento.
Como resultado, mesmo se o primeiro comando que indica liberar uma imagem na memória que nunca é utilizada como referência for abandonado, o comando transmitido a seguir é executado antes da decodifi15 cação da imagem e portanto é possível reduzir o atraso ao se executar o comando.
Adicionalmente, o método de codificação de imagem de acordo com a presente invenção é um método de codificação de imagem incluindo: uma etapa para codificar uma imagem codificada; uma etapa de julgamento 20 para julgar se todas as imagens de referência na memória após a imagem codificada ser codificada são imagens que não são referidas; uma etapa para codificar um comando de inicialização que é um comando para liberar todos as imagens de referência na memória quando todas as imagens de referência na memória são julgadas como não sendo referidas na etapa de jul25 gamento; uma etapa de inicialização para liberar todas as imagens de referência na memória; e uma etapa para codificar um comando de reenvio de inicialização que é um comando que indica liberar todas as imagens de referência na memória baseadas na informação adicionada que torna todas as imagens de referência armazenadas na memória objetos de liberação antes 30 da imagem codificada liberada na hora da codificação da imagem codificada quando outra imagem codificada, codificada após a imagem codificada, é codificada.
Como resultado, quando o comando de inicialização é transmitido para o dispositivo de decodificação, mesmo se o comando de inicialização for abandonado, pelo erro do canal de transmissão, é possível executar a inicialização na memória normalmente baseado na informação adicionada '5 do comando de reenvio de inicialização.
Além disso, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem incluindo: uma etapa para decodificar a informação de gerenciamento de memória que gerencia a memória ligando-se a uma imagem decodificada; uma etapa 10 para decodificar a imagem decodificada; uma etapa de julgamento de inicialização para julgar se existe uma etapa de inicialização que seja um comando para liberar todas as imagens de referência na memória na informação de gerenciamento de memória; uma etapa de julgamento de reenvio de inicialização para julgar se existe um comando de julgamento de reenvio de inicia15 lização que seja um comando para liberar todas as imagens de referência na memória baseadas na informação adicionada que indica objetos de liberação de modo a liberar imagens de referência armazenadas na memória antes de outra imagem decodificada que deva ser inicializada e liberada quando outra imagem de decodificação decodificada antes da imagem decodifi20 cada for decodificada na informação de gerenciamento de memória quando o comando de inicialização não for julgado como existindo na informação de gerenciamento de memória na etapa de julgamento de inicialização; uma etapa de julgamento de conclusão da inicialização para julgar se todas as imagens de referência na memória foram liberadas quando a informação de 25 gerenciamento de memória é julgada como sendo o comando de reenvio de inicialização na etapa de julgamento de reenvio de inicialização; e uma etapa de liberação para liberar imagens de referência na memória baseadas na informação de adição quando todas as imagens de referência são julgadas como não estando liberadas na etapa de julgamento de conclusão da inicia30 lização.
Como resultado, enquanto o comando de inicialização é transmitido para o dispositivo de decodificação, mesmo se o comando de inicializa ção não tiver sido recebido no método de decodificação pelo erro do canal de transmissão, é possível executar a inicialização na memória corretamente baseado na informação adicionada do comando de reenvio de inicialização.
Adicionalmente, um meio de gravação no qual um fluxo de da5 dos é gravado, o fluxo de dados sendo criado pela codificação na unidade de fração de imagem com referência a um imagem de referência selecionada a partir de várias imagens de referência armazenadas na memória, onde o fluxo de dados pode ser criado por codificar informação que designa uma imagem de referência de um objeto a ser liberado ligando-se a pelo menos 10 duas frações de imagem no caso de liberar a partir das imagens de referênI cia da memória armazenadas na memória.
Como resultado, quando a codificação é executada na unidade de fração de imagem, mesmo se o erro do canal de transmissão ocorrer quando a informação de gerenciamento de memória for transmitida para o 15 dispositivo de decodificação, a possibilidade de que a imagem seja restaurada corretamente na unidade de fração de imagem torna-se alta porque pode ser pensado que qualquer uma das informações de gerenciamento de memória que é transmitida várias vezes é transmitida e codificada.
Adicionalmente, um meio de gravação no qual um fluxo de da20 dos é gravado, o fluxo de dados sendo criado por codificar a unidade de fração de imagem com referência a uma imagem de referência selecionada a partir de várias imagem de referência armazenadas na memória, onde o fluxo de dados pode ser criado por codificar informação que designa uma imagem de referência de um objeto a ser liberado ligando-se a pelo menos duas 25 frações de imagem no caso de liberação a partir das imagens de referência da memória armazenadas na memória, informação adicional que indica que as frações de imagem possuem informação que designa que a imagem de referência do objeto a ser liberado pode ser codificada ligando-se às frações de imagem, e informação que apresenta informação que designa que a ima30 gem de referência do objeto a ser liberado é referida quando a imagem de referência do objeto a ser liberado é referida em uma fração de imagem que não possui informação que designa a imagem de referência do objeto a ser liberado.
Como resultado, na fração de imagem que não tem informação que designa a imagem do objeto a ser liberado, desde que a adição da informação mencionada acima pode ser omitida, a eficiência da codificação '5 aperfeiçoa-se.
Observe que a presente invenção pode ser percebida não somente como o método de codificação de imagem e como o método de decodificação de imagem, mas também como o dispositivo de codificação de imagem e o dispositivo de decodificação de imagem utilizando estes méto10 dos, o meio de gravação no qual o fluxo de dados, o qual é decodificado pelo método de codificação de imagem, é gravado, e um programa que causa que um computador execute as etapas do método de codificação de imagem e do método de decodificação de imagem. É desnecessário dizer que tal programa pode ser distribuído através de meio de gravação tal como CD15 ROM e de meio de transmissão tal como a Internet.
Informação Adicional a cerca da Técnica Anterior para este Pedido
O pedido de patente Japonesa N9 2002-110424 depositado em 12 de abril de 2002; o pedido de patente Japonesa Ns 2002-190955 datado um 28 de junho de 2002, o pedido de patente Japonesa N9 2003-49711 de20 positado em 26 de fevereiro de 2003 e o pedido de patente provisório U.S.
N9 60/377656 depositado em 6 de maio de 2002 são incorporados aqui por referência.
Breve Descrição dos Desenhos
A figura 1A é um diagrama que explica a codificação de imagem 25 que executa a codificação referindo-se a uma imagem selecionada de várias imagens de referência armazenadas na memória, e a figura 1B é um diagrama de estrutura que apresenta a estrutura da memória que armazena as imagens.
A figura 2A é um fluxograma que apresenta um método conven30 cional de codificação de imagem, e a figura 2B é um fluxograma que apresenta um método convencional de decodificação de imagem.
A figura 3A é outro fluxograma que apresenta um método con vencional de codificação de imagem, e a figura 3B é outro fluxograma que apresenta um método convencional de decodificação de imagem.
A figura 4A é ainda outro fluxograma que apresenta um método convencional de codificação de imagem, e a figura 4B é ainda outro fluxo5 grama que apresenta um método convencional de decodificação de imagem.
A figura 5 é um diagrama de blocos que apresenta uma estrutura de um dispositivo de codificação de imagem da presente invenção.
A figura 6 é um fluxograma que apresenta o método de codificação de imagem de acordo com a primeira modalidade da presente invenção.
A figura 7 é um diagrama de blocos que apresenta a estrutura de
I um dispositivo de decodificação de imagem da presente invenção.
A figura 8 é um fluxograma que apresenta o método de decodificação de imagem de acordo com a segunda modalidade da presente invenção.
A figura 9 é um fluxograma que apresenta o método de codificação de imagem de acordo com a terceira modalidade da presente invenção.
A figura 10 é um fluxograma que apresenta o método de decodificação de imagem de acordo com a quarta modalidade da presente invenção.
A figura 11 é um fluxograma que apresenta o método de codificação de imagem de acordo com a quinta modalidade da presente invenção.
A figura 12 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sexta modalidade da presente invenção.
A figura 13 é um fluxograma que apresenta o método de codifi25 cação de imagem de acordo com a sétima modalidade da presente invenção.
A figura 14A é um diagrama explicativo que apresenta a relação entre o N9 da imagem e o N9 da imagem armazenado da imagem e a ordem de transmissão, a figura 14B é um diagrama que apresenta uma relação en30 tre o N9 da imagem a ser decodificado, o N9 da imagem a ser armazenado e o N9 da imagem a ser liberado, e a figura 14C é um diagrama que apresenta outra relação entre o N9 da imagem a ser decodificado, o N9 da imagem a ser armazenado e o N5da imagem a ser liberado.
A figura 15 é um diagrama de correspondência que apresenta o comando da informação de gerenciamento de memória na presente invenção.
'5 A figura 16 é um fluxograma que apresenta o procedimento para executar o comando na oitava modalidade da presente invenção.
A figura 17 é um diagrama esquemático que apresenta a relação entre a informação de cabeçalho e os dados do quadro no sinal codificado de cada imagem.
A figura 18 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho dos sinais codificados.
A figura 19 é um diagrama explicativo que apresenta uma relação entre o Ne da imagem e o N2 da imagem armazenado de cada quadro e 15 a ordem de transmissão.
A figura 20 é um fluxograma que apresenta o método para codificar o comando de inicialização.
A figura 21 é um fluxograma que apresenta o método para decodificar o comando de inicialização codificado.
A figura 22 apresenta os comandos da informação de gerenciamento de memória utilizados na oitava modalidade da presente invenção.
A figura 23 é um fluxograma que apresenta o método de codificação de imagem utilizando o comando de reenvio de inicialização na presente invenção.
A figura 24 é um fluxograma que apresenta um método para decodificar o comando de reenvio de inicialização codificado na presente invenção.
A figura 25 é um diagrama explicativo que apresenta outra relação entre o N- da imagem e o N2 da imagem armazenado de cada quadro e 30 a ordem de transmissão.
A figura 26 é um diagrama de correspondência que apresenta uma relação entre a informação de gerenciamento de memória e os coman20 dos que são utilizados na nona modalidade da presente invenção.
A figura 27 é um fluxograma que apresenta um método de codificação de imagem na nona modalidade da presente invenção.
A figura 28 é um fluxograma que apresenta um método de deco5 dificação de imagem na nona modalidade da presente invenção.
A figura 29A é um diagrama de correspondência que apresenta o conteúdo dos comandos e da informação adicionada, e a figura 29B é um diagrama de correspondência que apresenta os tempos de execução dos comandos.
A figura 30 é um diagrama esquemático que apresenta os coI mandos da informação de gerenciamento de memória na informação de cabeçalho de um sinal codificado.
A figura 31 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de ca15 beçalho de outro sinal codificado.
A figura 32 é um diagrama esquemático que apresenta a estrutura do fluxo de dados codificado na unidade de fração de imagem.
A figura 33A e a figura 33B são diagramas esquemáticos que apresentam as estruturas de fluxo de dados codificadas na unidade de fra20 ção de imagem.
As figuras 34A, 34B e 34C são diagramas explicativos a cerca de um meio de gravação para armazenar um programa para realizar o método de codificação de imagem ou o método de decodificação de imagem da primeira modalidade até a décima modalidade da presente invenção por um 25 sistema de computador.
A figura 35 é um diagrama de blocos que apresenta a configuração geral de um sistema de suprimento de conteúdo utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
A figura 36 é uma vista linear que apresenta um exemplo do telefone celular utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
A figura 37 é um diagrama de blocos que apresenta o telefone celular utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
A figura 38 é um diagrama de blocos que apresenta a configura'5 ção de um sistema de difusão digital utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
Melhor Modo para Realizar a Invenção
As presentes modalidades da presente invenção serão explica10 das abaixo com referência às figuras.
Primeira Modalidade
Para começar, a primeira modalidade é explicada.
A figura 5 é um diagrama de blocos que apresenta a estrutura de um dispositivo de codificação de imagem da primeira modalidade para reali15 zar um método de codificação de imagem.
O dispositivo de codificação de imagem 100 inclui uma unidade de controle de informação de memória 101, uma unidade de gerenciamento de memória de curto prazo 102, uma unidade de gerenciamento de memória de longo prazo 103, uma unidade de informação de gerenciamento de me20 mória que não é de armazenamento 104, uma unidade de codificação de informação de gerenciamento 105, uma unidade de seleção de imagem de referência 106, uma unidade de designação de área de armazenamento 107, uma unidade de designação de área de referência 108, uma memória de imagem 109, uma unidade de decodificação de imagem 111, uma unida25 de de codificação de imagem 110, uma unidade de codificação de comprimento variável 112, um contador 113 e um contador 114.
A unidade de seleção de imagem de referência 106 seleciona candidatas das imagens de referência a partir de um sinal de designação de prioridade Pri e da informação de tipo de imagem PicType que são informa30 dos a partir do exterior e por conseqüência informa para a unidade de controle de informação de memória 101.
A unidade de controle de informação de memória 101 julga se qualquer uma ou ambas dentre uma imagem (quadro de imagem) precedente e uma imagem seguinte podem ser referidas pela informação de tipo de imagem PicType e instrui a unidade de designação de área de referência 108 para emitir a imagem de referência correspondente a partir da memória 5 de imagem 109 para a unidade de codificação de imagem 110.
A unidade de codificação de imagem 110 refere-se à imagem de referência emitida a partir da memória de imagem 109 e codifica o sinal de imagem informado Vin. A unidade de codificação de comprimento variável 112 adicionalmente executa a codificação de comprimento variável e emite 10 um fluxo de codificação de imagem VideoStr. A saída da unidade de codifiI cação de imagem 110 é novamente decodificada para ser uma imagem decodificada pela unidade de decodificação de imagem 111 e é armazenada na memória de imagem 109 como a imagem de referência.
Nesta hora, a posição da memória onde a imagem decodificada 15 pode ser armazenada na memória de imagem 109 é designada como se segue. A unidade de controle de informação de memória 101 indaga a unidade de gerenciamento de memória de curto prazo 102, especifica a posição de memória onde a imagem foi liberada na memória de curto prazo e instrui a memória de imagem 109 de modo que a unidade de designação de área 20 de armazenamento 107 grave a imagem decodificada na posição de memória.
A unidade de gerenciamento de memória de curto prazo 102 informa para a unidade de controle de informação de memória 101 do comando para detectar as imagens desnecessárias (que não são referidas) na 25 memória de curto prazo e apagar as mesmas (liberar a memória). Além disso, a unidade de gerenciamento de memória de longo prazo 103 informa a unidade de controle de informação de memória 101 do comando para mover as imagens na memória de curto prazo para a memória de longo prazo.
Por outro lado, para impedir a informação de gerenciamento de memória de ser danificada porque parte do fluxo de informação de gerenciamento de memória CtIStr é perdida pelo erro do canal de transmissão, o contador 113 para a memória de curto prazo e o contador 114 para a memó ria de longo prazo medem o número de codificações de comando para liberar as imagens que nunca são utilizadas como referência e de comando para mover as imagens na memória de curto prazo para a memória de longo prazo. A transmissão dos comandos mencionados acima várias vezes torna-se '5 possível de acordo com a necessidade.
Adicionalmente, a unidade de gerenciamento de memória que não é de armazenamento 104 gerencia se o comando para liberar as imagens que nunca são utilizadas como referência e o comando para mover as imagens na memória de curto prazo para a memória de longo prazo são co10 dificados ligados com a imagem que possui baixo valor de prioridade e é difícil de ser decodificada. No caso dos comandos mencionados acima serem codificados ligados com a imagem que tem baixo valor de prioridade, a unidade de informação de gerenciamento de memória que não é de armazenamento 104 instrui a unidade de controle de memória 101 para codificar 15 o comando novamente ligando-o com a imagem que possui o valor de prioridade mais elevado.
A seguir, um método de codificação de imagem de acordo com a primeira modalidade da presente invenção é explicado. A figura 6 é um fluxograma que apresenta o método de codificação de imagem de acordo com 20 a primeira modalidade e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. A propósito, na figura 6, são dados os mesmos números que para as mesmas operações na figura 2A.
A característica do método de codificação de imagem apresen25 tado na figura 6 é, no caso de uma imagem (um quadro de imagem) que nunca é utilizada como referência como a imagem de referência para a codificação por predição existente na memória, repetidamente codificar o comando da informação de gerenciamento de memória para liberar a área de memória que armazena a imagem (para apagar a imagem). Deste modo, por 30 codificar o comando da informação de gerenciamento de memória repetidamente, mesmo se um comando da informação de gerenciamento de memória for perdido pelo erro do canal de transmissão, é possível restaurar a in24 formação de gerenciamento da imagem armazenada na memória por outro comando da informação de gerenciamento de memória e portanto a possibilidade de que a imagem seja restaurada corretamente independente do erro do canal de transmissão torna-se alta.
Na figura 6, para começar, a imagem informada é codificada (Etapa 100). Após a codificação, se existe área desnecessária (as imagens que não são referidas na codificação futura) na memória, é examinada (Etapa 101) e se uma imagem na memória que nunca é utilizada como referência existe ou não, é julgada (Etapa 102). Quando a imagem na memória que 10 nunca é utilizada como referência é julgada como existindo (Sim na Etapa
I 102), a unidade de codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência como a informação de gerenciamento de memória (Etapa 103) e libera uma imagem na memória que nunca é utilizada como referência (E15 tapa 104). No caso de nenhuma imagem na memória que nunca seja utilizada como referência existir (Não na Etapa 102), as operações na Etapa 103 e na Etapa 104 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga se o comando para liberar uma imagem na memória que nunca é utili20 zada como referência está codificado como a informação de gerenciamento de memória ligando-se com a codificação da imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Etapa 105). Quando o comando não está codificado (Não na Etapa 105), o processamento termina. Quando o comando está codificado (Sim na Etapa 105), a unidade de 25 codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência novamente como a informação de gerenciamento de memória (Etapa 106) e o processamento termina.
Deste modo, quando o comando para liberar uma imagem na 30 memória que nunca é utilizada como referência (o comando da informação de gerenciamento de memória) é codificado pela codificação da imagem imediatamente antes, o comando da informação de gerenciamento de memó25 ria é novamente codificado. A informação de gerenciamento de memória ligando-se com a codificação da imagem imediatamente antes e a informação de gerenciamento de memória que é novamente codificada são emitidos a partir do dispositivo de codificação de imagem respectivamente, são '5 transmitidos para o dispositivo de decodificação de imagem, o qual decodifica os dois tipos de informação de gerenciamento de memória.
Em adição, no caso do comando para liberar uma imagem na memória que nunca é utilizada como referência sendo codificado ligado com o sinal codificado da imagem codificada imediatamente antes na Etapa 105, 10 o comando é novamente codificado. Mas o caso de ligar-se com a imagem várias imagens antes ao invés do caso de ligar-se com a imagem imediatamente antes é aceitável. Adicionalmente, também é aceitável codificar o comando mencionado acima repetidamente como a informação de gerenciamento de memória e transmitir o comando ligando-se com várias imagens.
Adicionalmente, é suficiente transmitir o comando mencionado acima para liberar uma imagem na memória que nunca é utilizada como referência várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não seja o mesmo fluxo que a imagem codificada mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Como descrito acima, por transmitir o comando (da informação de gerenciamento de memória) para liberar uma imagem na memória que nunca é utilizada como referência (da informação de gerenciamento de memória) várias vezes, no caso de erro de canal de transmissão ocorrendo, qualquer um dos comandos que são transmitidos várias vezes é pensado 30 como sendo transmitido e como sendo decodificado e portanto, a possibilidade de que a imagem seja decodificada corretamente torna-se alta. Segunda Modalidade
A seguir, a segunda modalidade da presente invenção é explicada.
A figura 7 é um diagrama de blocos que apresenta a estrutura de um dispositivo de decodificação de imagem de acordo com a segunda mo5 dalidade para realizar um método de decodificação de imagem.
O dispositivo de decodificação de imagem 200 inclui uma unidade de controle de informação de memória 201, uma unidade de gerenciamento de memória de curto prazo 202, uma unidade de gerenciamento de memória de longo prazo 203, uma unidade de decodificação de informação 10 de gerenciamento 205, uma unidade de designação de área de armazenaI mento 207, uma unidade de designação de área de referência 208, uma memória de imagem 209, uma unidade de decodificação de imagem 210 e uma unidade de codificação de comprimento variável 212.
A unidade de controle de informação de memória 201 julga se 15 qualquer uma ou ambas dentre uma imagem precedente e uma imagem seguinte ao objeto de codificação podem ser referidas pela informação de tipo de quadro PicType e instrui a unidade de designação de área de referência 208 para emitir a imagem de referência correspondente a partir da memória de imagem 209 para a unidade de decodificação de imagem 210.
A unidade de decodificação de comprimento variável 212 decodifica o fluxo de codificado VideoStr; a unidade de decodificação de imagem 210 adicionalmente decodifica o VideoStr, emite como um sinal de imagem decodificado Vout e armazena Vout como a imagem de referência na memória de referência 209.
Nesta hora, a posição da memória onde a imagem decodificada pode ser armazenada na memória de imagem 209 é designada como se segue. A unidade de controle de informação de memória 201 indaga à unidade de gerenciamento de memória de curto prazo 202, especifica a posição de memória onde a imagem foi liberada e instrui a memória de imagem 209 de modo que a unidade de designação de área de armazenamento 207 grave a imagem decodificada na posição de memória.
A unidade de decodificação de informação de gerenciamento
205 decodifica o fluxo de informação de gerenciamento de memória CtIStr, informa para a unidade de gerenciamento de memória de curto prazo 202 da informação das imagens desnecessárias (que não são referenciadas) na memória de curto prazo através da unidade de controle de informação de 5 memória 201 e informa para a unidade de gerenciamento de memória de longo prazo 203 do comando para mover as imagens na memória de curto prazo para a memória de longo prazo.
A seguir, um método de decodificação de imagem de acordo com a segunda modalidade da presente invenção é explicado. A figura 8 é 10 um fluxograma que apresenta o método de decodificação de imagem de acordo com a segunda modalidade e apresenta as operações que o dispositivo de decodificação de imagem 200 apresentado na figura 7 executa. A propósito, na figura 8, são dados os mesmos números que para as mesmas operações na figura 2B.
No caso do dispositivo de codificação de imagem transmitindo o comando para liberar uma imagem na memória que nunca é utilizada como referência várias vezes, a não ser que o comando seja perdido pelo erro do canal de transmissão, o dispositivo de decodificação de imagem recebe o comando para liberar a área da mesma imagem na memória várias vezes.
Por consequência, é necessário realizar o método de decodificação de imagem pelo qual, mesmo se o dispositivo de decodificação de imagem receba o comando para liberação novamente da área de memória que já foi liberada, o dispositivo de decodificação de imagem não processa o comando como um erro mas ao contrário, julga que o comando é corretamente recebido.
A presente modalidade realiza tal método de decodificação de imagem.
Na figura 8, para começar, a unidade de decodificação de informação de gerenciamento 205 decodifica a informação de gerenciamento de memória (Etapa 110). A seguir, o sinal de imagem é decodificado a partir do sinal codificado (Etapa 111). Então, a unidade de controle de informação de 30 memória 201 julga se existe ou não o comando para liberar a memória na informação de gerenciamento de memória decodificada (Etapa 112). Quando existe o comando para liberar a memória (Sim na Etapa 112), é julgado se existe uma imagem que deva ser liberada pelo comando ou se a memória já tinha sido liberada (a imagem já tinha sido apagada) (Etapa 113). Quando a memória já tinha sido liberada (Sim na Etapa 113), o processamento termina sem processamento adicional. Quando a memória não tiver sido libe5 rada, a memória é liberada (Etapa 114) e o processamento termina. Por outro lado, onde não existe comando para liberar a memória (Não na Etapa 112), o processamento termina sem executar as operações na Etapa 113 e na Etapa 114. A propósito, a Etapa 110 e a Etapa 111 não estão em ordem particular e podem alterar-se em sentido contrário.
Pelas operações descritas acima, mesmo se o comando para
I liberar a área da mesma imagem na memória for codificado e transmitido várias vezes pelo método e codificação de imagem da primeira modalidade e o dispositivo de decodificação de imagem 200 receber o comando várias vezes, o dispositivo de decodificação de imagem 200 não processa o co15 mando como um erro e portanto o método de decodificação de imagem para decodificar corretamente é realizado.
Em adição, é suficiente transmitir o comando mencionado acima para liberar uma imagem na memória que nunca é utilizada como referência várias vezes; quando o comando é novamente codificado e transmitido, não 20 é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que a imagem codificada 25 mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Terceira Modalidade
A seguir, o método de codificação de imagem de acordo com a terceira modalidade é explicado. A figura 9 é um fluxograma que apresenta o 30 método de codificação de imagem de acordo com a terceira modalidade e apresenta as operações que o dispositivo de codificação de imagem 100 executa. Na figura 9, para as mesmas operações que na figura 3A, são da29 dos os mesmos números.
A característica da presente modalidade, no caso de uma imagem que deve ser movida da memória de curto prazo para a memória de longo prazo existindo na memória, é repetidamente codificar o comando da '5 informação de gerenciamento de memória para mover a imagem. Por codificar o comando da informação de gerenciamento de memória repetidamente, mesmo se um comando da informação de gerenciamento de memória for perdido pelo erro do canal de transmissão, é possível restaurar a informação de gerenciamento da imagem armazenada na memória por outro comando 10 da informação de gerenciamento de memória e portanto a possibilidade de que a imagem seja restaurada corretamente independente do erro do canal de transmissão torna-se alta.
Na figura 9, para começar, uma imagem informada é codificada (Etapa 120). Após a codificação, é examinado se existe uma imagem que 15 deve ser movida para a memória de longo prazo (Etapa 121). Então, a unidade de controle de informação de memória 101 julga se existe uma imagem que deve ser movida para a memória de longo prazo ou não (Etapa 122). Quando existe uma imagem que deve ser movida (Sim na Etapa 122), a unidade de codificação de informação de gerenciamento 105 codifica um co20 mando para apresentar como a imagem é movida para a memória de longo prazo como a informação de gerenciamento de memória (Etapa 123). Então, a imagem é movida para a memória de longo prazo baseado no comando (Etapa 124).
A seguir, a unidade de controle de informação de memória 101 julga se o comando para mover a imagem para a memória de longo prazo está codificado ou não como a informação de gerenciamento de memória ligando-se com a codificação da imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Etapa 125). Quando o comando não está codificado (Não na Etapa 125), o processamento termina. Quando o comando está codificado (Sim na Etapa 125), a unidade de codificação de informação de gerenciamento 105 codifica o comando para mover a imagem novamente como a informação de gerenciamento de memória (Etapa 126) e o processamento termina.
Deste modo, quando o comando (da informação de gerenciamento de memória) para mover a imagem para a memória de longo prazo é codificado pela codificação da imagem imediatamente antes, o comando da 5 informação de gerenciamento de memória é novamente codificado. A informação de gerenciamento de memória ligando-se com a codificação da imagem imediatamente antes e a informação de gerenciamento de memória que é novamente codificada são emitidas a partir do dispositivo de codificação de imagem respectivamente e são transmitidas para o dispositivo de decodifi10 cação de imagem, o qual decodifica os dois tipos de informação de gerenciI amento de memória.
Em adição, na Etapa 125, no caso do comando para mover a imagem para a memória de longo prazo sendo codificado ligado com o sinal codificado da imagem codificada imediatamente antes, o comando é nova15 mente codificado. Mas no caso de ligar-se com a imagem várias imagens antes ao invés do caso de ligar-se com a imagem imediatamente antes é aceitável. Adicionalmente, também é aceitável codificar o comando mencionado acima repetidamente como o gerenciamento de memória e transmitir o comando ligando-se com várias imagens.
Adicionalmente, é suficiente transmitir o comando mencionado acima para mover a imagem para a memória de longo prazo várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de 25 gerenciamento de memória novamente, é aceitável que o comando a ser transmitido novamente não esteja no mesmo fluxo que o quadro codificado, mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Como descrito acima, por transmitir o comando para mover a 30 imagem para a memória de longo prazo várias vezes, no caso de erro do canal de transmissão ocorrendo, qualquer um dos comandos que são transmitidos várias vezes é pensado como sendo transmitido e como sendo decodificado e portanto, a possibilidade de que a imagem seja decodificada corretamente torna-se alta.
Quarta Modalidade
A seguir, um método de decodificação de imagem de acordo '5 com a quarta modalidade é explicado.
No caso do dispositivo de codificação de imagem transmitindo o comando para mover uma imagem para a memória de longo prazo várias vezes, a não ser que o comando seja perdido pelo erro do canal de transmissão, o dispositivo de decodificação de imagem recebe o comando para 10 mover a mesma área de imagem para a memória de longo prazo várias vezes. Por conseqüência, é necessário realizar o método de decodificação de imagem pelo qual, mesmo se o dispositivo de decodificação de imagem receber o comando para mover a imagem que já tinha sido movida novamente, o dispositivo de decodificação de imagem não processa o comando como 15 um erro, mas ao contrário, julga que o comando é corretamente recebido. A característica do método de decodificação de imagem de acordo com a presente modalidade realiza tal método de decodificação de imagem.
A figura 10 é um fluxograma que apresenta o método de decodificação de imagem de acordo com a quarta modalidade e apresenta as ope20 rações que o dispositivo de decodificação de imagem 200 apresentado na figura 7 executa. Na figura 10, para as mesmas operações que na figura 3B são dados os mesmos números.
Na figura 10, para começar, a unidade de decodificação de informação de gerenciamento 205 decodifica a informação de gerenciamento 25 de memória (Etapa 130). A seguir, o sinal de imagem é decodificado a partir do sinal codificado (Etapa 131).
Então, a unidade de controle de informação de memória 201 julga se existe ou não o comando para mover uma imagem para a memória de longo prazo na informação de gerenciamento de memória decodificada (Eta30 pa 132). Quando existe o comando para mover a imagem para a memória de longo prazo (Sim na Etapa 132), se existe uma imagem que deve ser movida pelo comando ou a se a imagem já foi movida (a imagem não existe mais porque ela foi liberada após o movimento) é julgado (Etapa 133).
Quando a imagem já foi movida (Sim na Etapa 133), o processamento termina sem processamento adicional. Se não, a imagem é movida para memória de longo prazo (Etapa 114) e o processamento termina.
Por outro lado, quando não existe comando para mover a imagem para a memória de longo prazo (Não na Etapa 112), o processamento termina sem executar as operações na Etapa 133 e na Etapa 134. A propósito, a Etapa 130 e a Etapa 131 não estão em ordem particular e podem alterar-se em sentido contrário.
Pelas operações descritas acima, mesmo se o comando para
I mover a imagem para a memória de longo prazo for codificado e transmitido várias vezes pelo método de codificação de imagem da terceira modalidade, o método de decodificação de imagem para decodificar corretamente é realizado.
Em adição, é suficiente transmitir o comando mencionado acima para mover a imagem para a memória de longo prazo várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que o quadro codificado mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Quinta Modalidade
A seguir, o método de codificação de imagem de acordo com a quinta modalidade é explicado. A figura 11 é um fluxograma que apresenta o método de codificação de imagem de acordo com a quina modalidade e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. Na figura 11, para as mesmas operações que na figura 6, são dados os mesmos números.
A característica da presente modalidade apresentada na figura
11, no caso de uma imagem que nunca é utilizada como referência existindo na memória, é repetidamente codificar o comando da informação de gerenciamento de memória para liberar a imagem e transmitir o comando pelo menos uma vez ligando-se com uma imagem importante que está armazenada na memória. No caso de repetidamente codificar o comando da infor'5 mação de gerenciamento de memória, se o comando da informação de gerenciamento de memória for transmitido ligando-se com uma imagem que não tem uma alto valor de prioridade, o comando da informação de gerenciamento de memória não pode ser obtido quando todas as imagens que não possuem um alto valor de prioridade não estão decodificadas.
Por exemplo, na figura 1A, como a imagem do quadro de imagem Ns 4 torna-se desnecessária após a imagem do quadro de imagem Ns 5 ser codificada, é possível codificar o comando para liberar a área de memória onde a imagem do quadro de imagem Ne 4 existe, ligando-se com a imagem do quadro de imagem Ns 5.
Entretanto, além de codificar o comando para liberar a área de memória onde a imagem do quadro de imagem Ns 4 existe, ligando-se com a imagem do quadro de imagem Ns 5, se o comando for codificado ligado com a imagem do quadro de imagem Ne 7, em qualquer caso, o comando mencionado acima é codificado ligado com as imagens B que possuem o 20 menor valor de prioridade (cuja degradação de imagem é pequena no caso de não serem decodificados). Estas imagens B podem não ser decodificadas e portanto o comando para liberar a área de memória onde a imagem do quadro de imagem Ns 4 existe não é decodificada. Como resultado, a informação de gerenciamento na memória não é reproduzida corretamente. Por 25 conseqüência, é necessário codificar o comando para liberar a área de imagem pelo menos uma vez ligando-se com a imagem que possui um alto valor de prioridade, ser decodificado sem falha e ser armazenado na memória.
Na figura 11, para começar, a imagem informada é codificada (etapa 100). Após a codificação, se existe área desnecessária (as imagens 30 que não são referidas na codificação futura) na memória é examinado (Etapa 101) e se uma imagem memória que nunca é utilizada como referência existe ou não é julgado (Etapa 102). Quando uma imagem na memória que nunca é utilizada como referência existe (Sim na Etapa 102), a unidade de codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência como a informação de gerenciamento de memória (Etapa 103) e libera uma 5 imagem na memória que nunca é utilizada como referência (Etapa 104). No caso de nenhuma imagem na memória que nunca é utilizada como referência existir (Não na Etapa 102), as operações na Etapa 103 e na Etapa 104 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga ser o comando para liberar uma imagem na memória que nunca é utiliI zada como referência que foi codificada no passado está ou não codificado ligado com uma imagem importante (que está decodificada e está armazenada) (Etapa 140). Quando o comando é codificado ligado com a imagem importante (Sim na Etapa 140), o processamento termina. Quando o coman15 do não está codificado ligado com a imagem importante (Não na Etapa 140), a unidade de codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência novamente como a informação de gerenciamento de memória (Etapa 141). Então, o processamento termina.
Como resultado, o comando para liberar uma imagem na memória que nunca é utilizada como referência novamente é codificado ligado com a imagem importante.
Como descrito acima, o comando mencionado acima liga-se com a imagem importante que é decodificada e é armazenada na memória, 25 a possibilidade de que a imagem seja restaurada corretamente quando ocorre erro no canal de transmissão torna-se alta.
Em adição, é suficiente transmitir o comando mencionado acima para liberar uma imagem na memória que nunca é utilizada como referência várias vezes; quando o comando é novamente codificado e transmitido, não 30 é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que a imagem codificada, mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Sexta Modalidade
A seguir, o método de codificação de imagem de acordo com a sexta modalidade é explicado. A figura 12 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sexta modalidade. A figura 12 apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. Na figura 12, para as mesmas operações que na figura 5, são dados os mesmos números.
A característica da presente modalidade apresentada na figura 12 é repetidamente codificar o comando da informação de gerenciamento de memória para mover uma imagem para a memória de longo prazo e transmitir o comando pelo menos uma vez ligando-se com uma imagem importante (que é decodificada e é armazenada na memória). No caso de repetidamente codificar o comando da informação de gerenciamento de memória para mover a imagem para a memória de longo prazo, se o comando da informação de gerenciamento de memória for transmitido ligando-se com uma imagem que não tem uma alto valor de prioridade, o comando da informação de gerenciamento de memória não pode ser obtido quando todas as imagens que não possuem um alto valor de prioridade não estão decodificadas.
Na figura 12, para começar, a imagem informada é codificada (etapa 120). Após a codificação, se existe uma imagem que deve ser movida para a memória de longo prazo é examinada (Etapa 121) e se existe uma imagem que deve ser movida é julgada (Etapa 122).
Quando existe uma imagem que deve ser movida (Sim na Etapa 122), a unidade de codificação de informação de gerenciamento 105 codifica um comando para apresentar como a imagem é movida para a memória de longo prazo como a informação de gerenciamento de memória (Etapa 123). Então, a imagem é movida para a memória de longo prazo baseado no comando (Etapa 124).
A seguir, a unidade de controle de informação de memória 101 julga se o comando, o qual foi codificado no passado para mover a imagem para a memória de longo prazo está codificado ou não ligando-se com a imagem importante (que está decodificada e está armazenada na memória) 5 (Etapa 150). Quando o comando está ligado com a imagem importante (Sim na Etapa 150), o processamento termina. Quando o comando liga-se com a imagem importante (Não na etapa 150), a unidade de codificação de informação de gerenciamento 105 codifica o comando para mover a imagem para a memória de longo prazo novamente como a informação de gerencia10 mento de memória (Etapa 151). Então o processamento termina.
I Por se fazer deste modo, o comando para mover a imagem para a memória de longo prazo liga-se com a imagem importante e é codificado.
Como é descrito acima, desde que o comando mencionado acima liga-se com a imagem importante que é decodificada e é armazenada na 15 memória, o comando é decodificado e portanto a possibilidade de decodificar a imagem corretamente quando o erro no canal de transmissão ocorre torna-se alta.
Em adição, é suficiente transmitir o comando mencionado acima para mover a imagem para a memória de longo prazo várias vezes; quando 20 o comando é codificado novamente e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que a imagem codificada, 25 mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em um área diferente do meio de armazenamento.
Sétima Modalidade
O método de codificação de imagem de acordo com a sétima modalidade é explicado.
A característica da presente modalidade é um método de codificação de imagem para executar a codificação referindo-se à imagem de referência selecionada dependendo do valor de prioridade da imagem.
A figura 13 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sétima modalidade da presente invenção. A figura 13 apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa.
'5 Na figura 13, para começar, o valor de prioridade de cada imagem que é o objeto de codificação é estabelecido (Etapa 160). Por exemplo, o valor de prioridade de uma imagem I e de uma imagem P é alto, enquanto que uma imagem B é baixo. Adicionalmente, mesmo entre as mesmas imagens P, o valor de prioridade da imagem P que é referido por várias imagens 10 é alto, enquanto que a imagem P que não é muito referido é baixo.
A seguir, as imagens que possuem um valor de prioridade equivalente ou mais alto para a imagem objeto de codificação são selecionados entre as imagens de referência na memória e são feitos candidatos das imagens de referência (Etapa 161). Por exemplo, a imagem B pode referir-se a 15 imagem I e a imagem P, enquanto a imagem P exclui a imagem P que tem o valor de prioridade baixo dos candidatos à imagem de referência.
A seguir, a informação de designação (um tipo de informação de gerenciamento de memória) que apresenta os candidatos selecionados das imagens de referência é codificada (Etapa 162); entre os candidatos selecio20 nados das imagens de referência, as imagens de referência apropriadas são referidas e são codificadas na unidade de bloco (Etapa 163). A propósito, a Etapa 162 e a Etapa 163 não estão em ordem particular e podem alterar-se em sentido contrário.
Por fazer desse modo, as imagens que possuem valor de priori25 dade mais baixo do que a imagem objeto de codificação não são incluídas entre as candidatas das imagens de referência.
Como é descrito acima, desde que as imagens que possuem valor de prioridade mais baixo do que a imagem objeto de codificação não estão incluídas entre as candidatas das imagens de referência, no caso de 30 gerar um fluxo que possa realizar a capacidade de dimensionamento, as imagens que não podem ser referidas são excluídas das candidatas das imagens de referência e portanto a eficiência da codificação aperfeiçoa-se.
Aqui, o método de codificação de imagem executado dependendo do valor de prioridade das imagens estabelecidas, como descrito acima, é explicado de forma concreta com referência à figura 14.
A figura 14A é um diagrama explicativo que apresenta a relação entre os números dados para cada quadro (imagem (quadro) Ns), os números pelos quais cada quadro é armazenado na memória (imagem (quadro) armazenada Ns) e os números que apresentam a ordem pela qual cada quadro é transmitido (ordem de transmissão).
Na figura 14A, desde que a imagem I da imagem N9 0 não refe10 re-se a outras imagens, a imagem I da imagem N9 0 é armazenada na meI mória e seu N9 de imagem armazenada é 0. A seguir, desde que a imagem P da imagem N9 2 que refere-se a imagem I da imagem N9 0 está armazenada na memória, o N9 de imagem armazenada para a imagem P da imagem N9 2 é 1. Então, como a imagem B da imagem N9 1 que refere-se a i15 magem I da imagem N9 0 e a imagem P da imagem N9 2 está armazenada na memória, o N9 de imagem armazenada cara a imagem B da imagem N9 1 é 2. A ordem pela qual cada imagem é transmitida é a ordem pela qual cada imagem é armazenada. Por procedimento similares, a relação entre o N9 da imagem, o N9 de imagem armazenada e a ordem de transmissão é decidida.
A seguir, um exemplo da relação entre o números de imagem que são decodificados, os números de imagem que são armazenados na memória e os números de imagem que são liberados é explicado utilizando afigura 14B.
A figura 14B é um diagrama que apresenta uma relação entre a 25 imagem N9 (quadro N9) a ser decodificado, a imagem N9 (quadro N9) a ser armazenado e a imagem N9 (quadro N9) a ser liberado. Em adição, aqui, o número máximo de imagens que podem ser armazenados na memória é 5. As imagens são armazenadas na memória dependendo da ordem de transmissão.
Adicionalmente, por exemplo, quando a imagem P do quadro N9 é decodificada, desde que o N9 da imagem armazenada da imagem P da imagem N9 4 é 3; as imagens das imagens N9s 0, 1 e 2 são armazenadas na memória. Quando a imagem P da imagem de decodificação N9 3 é decodificada, como apresentado na figura 14B, as imagens das imagens Nss 4, 1, 2 e 0 são armazenadas. Aqui, desde que a imagem B da imagem N9 1 não é referida por qualquer imagem após a imagem da imagem Ne 3 ser decodifi5 cada, como apresentada na figura 14A, a imagem B da imagem Ne 1 é liberada na hora que a imagem do quadro N9 3 é decodificada.
De forma similar, quando a imagem B da imagem de decodificação N95 é decodificada, apresentada na figura 14B, as imagens das imagens NQs 6, 3, 4, 2 e 0 são armazenadas. Aqui, desde que a imagem B da 10 imagem Ne 3 não é referida por qualquer imagem após a imagem da imagem Ne 5 ser decodificada, a imagem B da imagem N9 3 é liberada na hora que a imagem da imagem N9 5 é decodificada.
Adicionalmente, quando a imagem P da imagem de decodificação N9 8 é decodificada, como apresentada na figura 14B, as imagens das 15 imagens N9s 5, 6, 4, 2 e 0 são armazenadas. Aqui, desde que a memória pode armazenar somente um máximo de cinco quadros, de modo a referirse a imagem P da imagem N9 8 posteriormente, uma das imagens das imagens N9s 5, 6, 4, 2 e 0 deve ser liberada para garantir memória para memorizar a imagem P da imagem N9 8. Por consequência, como o padrão para 20 selecionar o quadro para ser liberado na figura 14B, quando a imagem P cujo N9 da imagem é um número par é decodificado, a imagem temporariamente mais antiga, a imagem I da imagem N9 0 neste caso, é liberada na hora que a imagem P da imagem N9 8 é decodificada.
De forma similar, quando a imagem B da imagem de decodifica25 ção N9 7 é decodificada, como apresentada na figura 14B, as imagens das imagens N9s 8, 5, 6, 4 e 2 são armazenadas. Aqui, desde que a imagem B da imagem N9 5 não é referida por qualquer imagem após a imagem da imagem Β N9 7 ser decodificada, a imagem B das imagens N9 5 é liberada na hora que a imagem B da imagem N9 7é decodificada.
Adicionalmente, a imagem P da imagem de decodificação N9 10 é decodificada, como apresentada na figura 14B, as imagens das imagens N9s 7, 8, 6, 4 e 2 são armazenadas. Aqui, como a memória pode armazenar somente o máximo de cinco quadros, de modo a referir-se a imagem P da imagem N9 10 posteriormente, uma das imagens dentre as imagens N9s 7, 8, 6, 4 e 2 deve ser liberada para garantir que a memória memorize a imagem P da imagem Ne 10. Por conseqüência, como o padrão para selecionar 5 o quadro a ser liberado na figura 14B, quando a imagem P cujo N2 de imagem é um número par é decodificado, a imagem temporariamente mais antiga, a imagem da imagem N9 2 é liberada na hora que a imagem P da imagem N9 10 é decodificada.
Deste modo, quando uma imagem é liberada, o comando da in10 formação de gerenciamento de memória para liberar a imagem é codificada I ligada com o sinal codificado da imagem de decodificação e transmitida.
No exemplo apresentado na figura 14B, é descrito o exemplo no qual uma imagem que nunca é utilizada como referência existe e o comando da informação de gerenciamento de memória para liberar a imagem é 15 transmitido uma vez. Deste modo, quando o comando da informação de gerenciamento de memória para liberar a imagem é transmitido uma vez, existe a possibilidade de que o comando da informação de gerenciamento que é transmitido ligado com o quadro B não possa ser executado. Por causa da possibilidade de que a imagem B utilizada como uma imagem de referência 20 para codificar/decodificar a imagem P ser baixa; a possibilidade de que os dados da imagem P sejam descartados primeiro, quando a capacidade de memória e a capacidade de transmissão adequadas não forem garantidas, é alta; como resultado, existe a possibilidade de que o comando da informação de gerenciamento de memória que é transmitido ligando-se com o quadro B 25 não seja executado.
Para resolver este problema, um exemplo repetidamente de codificar e transmitir o comando da informação de gerenciamento de memória para liberar a imagem é explicado. A figura 14C é explicada de forma concreta abaixo.
A figura 14C é um diagrama que apresenta outra relação entre a imagem N9 (quadro N9) a ser decodificado, a imagem N9 (quadro N9) a ser armazenado e a imagem N9 (quadro N9) a ser liberado. A figura 14C apre senta que o comando para liberar a imagem do N9 de imagem a ser liberado liga-se com o sinal codificado da imagem do N9 da imagem de decodificação.
Como apresentado na figura 14C, quando a imagem B da ima'5 gem N9 3 é decodificado, as imagens das imagens N9s 4, 1,2 e 0 são armazenados. Aqui, a imagem B da imagem N9 1 não é referida por qualquer imagem após a imagem da imagem N9 3 ser decodificada, como apresentada na figura 14A. Por conseqüência, na hora que a imagem da imagem N9 3 é decodificada, a imagem B da imagem N9 1 é liberada e o comando da in10 formação de gerenciamento de memória para liberar a imagem B da imagem N9 1 liga-se com a imagem da imagem N9 3.
Entretanto, desde que a imagem da imagem N9 3 é a imagem B, como é descrita acima, sua revelação de importância é baixa comparada com a imagem I e com a imagem P no ponto de reprodução da imagem e é 15 altamente provável que a imagem B seja descartada na hora da transmissão e portanto, existe a possibilidade de que o comando da informação de gerenciamento de memória que é transmitido ligando-se com a imagem B para a imagem N9 3 não seja executado (o caso do quadro sendo armazenado como apresentado na figura 25).
Então, o comando da informação de gerenciamento de memória para liberar a imagem da imagem N9 1 ligado com a imagem da imagem N9 3 é ligado com a imagem P da imagem N9 6 que é decodificada a seguir e possui o valor de prioridade mais alto do que o quadro B da imagem N9 3 no ponto e reprodução da imagem. (Refira-se à figura 14C)
De forma similar, o comando da informação de gerenciamento de memória (para liberar a imagem da imagem N9 3) ligado com a imagem B da imagem N9 5 é ligado com a imagem P da imagem N9 8; o comando da informação de gerenciamento de memória (para liberar a imagem da imagem N9 5) ligado com a imagem B da imagem N9 7 é ligado com a imagem P 30 da imagem N9 10. A propósito, desde que a imagem da imagem N9 8 é a imagem P, o comando da informação de gerenciamento de memória ligado com a imagem N9 8 não é ligado com a imagem B da imagem N9 7, como apresentado na íigura 14C, mas é aceitável fazer desse modo.
Até este ponto, como apresentado na figura 14C, o mesmo comando da informação de gerenciamento de memória como o comando da informação de gerenciamento de memória primeiro ligado com a imagem B é 5 repetidamente ligado com a imagem que possui o valor de prioridade mais elevado do que a imagem B no ponto de reprodução da imagem e é armazenado ou transmitido depois que a imagem B com o qual o comando da informação de gerenciamento de memória é primeiro ligado. Por fazer desse modo, mesmo se a imagem B com o qual o comando da informação de ge10 renciamento de memória é primeiro ligado for abandonado, o comando da I informação de gerenciamento de memória pode ser normalmente executado.
Em adição, como explicado utilizando a figura 14C, no caso de ligar o comando da informação de gerenciamento de memória com a imagem B e adicionalmente ligar o comando da informação de gerenciamento 15 de memória repetidamente com a imagem P, o valor de prioridade estabelecido é utilizado. Observe que a configuração do valor de prioridade não está limitada ao que é apresentado na presente modalidade.
Em adição, a presente modalidade, quer cada imagem seja transmitida ou não, é decidido dependendo do valor de prioridade de cada 20 imagem; o valor de prioridade não é codificado ligado com cada imagem como a informação de gerenciamento de memória apresentada nas modalidades mencionadas acima. Como resultado, o processamento de decodificação dos dados codificados pela presente modalidade não é diferente do método convencional.
Oitava Modalidade
A seguir, a oitava modalidade é explicada.
A característica da presente modalidade é codificar e transmitir várias vezes o comando (da informação de gerenciamento de memória) para liberar todas as imagens imagens na memória e inicializar a área de memó30 ria.
A informação de comando da memória apresentada em cada modalidade mencionada acima é dada como a informação de código apre43 sentada na figura 15.
A figura 15 é um diagrama de correspondência que apresenta o comando da informação de gerenciamento de memória e apresenta o código NQ (Código na figura 15), o conteúdo do comando (o comando na figura 15) '5 e sua informação adicionada (a informação adicionada na figura 15).
Por exemplo, o comando para liberar uma imagem na memória que nunca é utilizado como referência na memória de curto prazo (liberação da memória de curto prazo) é dado como a informação de código Código 1 e a imagem NQ (quadro NQ)a ser liberado é adicionado como a informação adi10 cionada.
Adicionalmente, a informação de código é dada como a informação de cabeçalho apresentada na figura 17.
A figura 17 é um diagrama esquemático que apresenta a relação entre a informação de cabeçalho e os dados do quadro no sinal codificado 15 de cada imagem. Na figura 17, cada sinal codificado apresenta os sinais codificados de Frm12, Frm11 e Frm14 que são explicados posteriormente. Cada sinal codificado inclui o cabeçalho do quadro que possui a informação de cabeçalho e os dados do quadro na codificação da imagem. Por exemplo, o sinal codificado do quadro Frm12 inclui o cabeçalho do quadro Frm12Hdr e 20 os dados do quadro constituídos de cada dado MB12a, MB12b, MB12c, MBí2d e semelhantes.
Os detalhes deste sinal codificado são apresentados no diagrama esquemático da figura 18.
A figura 18 é um diagrama esquemático que apresenta os co25 mandos da informação de gerenciamento de memória na informação de cabeçalho dos sinais codificados.
Como apresentado na figura 18, o sinal codificado do quadro FrmA inclui o cabeçalho do quadro FrmAHdr e os dados do quadro constituídos de cada dado MBa, MBb, MBc, MBd e semelhantes. Então, a informa30 ção de código Código A do comando, a informação adicionada Adição A da informação de código Código A, a informação de código Código B do comando que deve ser executado a seguir ao comando da informação de có digo Código A e a informação adicionada Adição AddB da informação de código Código B são adicionados para o cabeçalho do quadro FrmAHdr nesta ordem. Se não existir informação adicionada semelhante como a informação de código Código C, somente a informação de código é adicionada.
A seguir, o procedimento para executar o comando é apresenta- do na figura 16.
A figura 16 é um fluxograma que apresenta o procedimento para executar o comando.
Na figura 16, para começar, o comando é obtido (Etapa CO) e se 10 a aquisição do comando termina ou não é julgado (Etapa C1). Quando a aI quisição do comando não termina e o comando é obtido (Não na Etapa C1), o comando obtido é executado (Etapa C2); retorna par a Etapa CO e esta operação é repetida. Por outro lado, quando a aquisição do comando termina e o comando não é obtido (Sim na Etapa C1), o processamento para e15 xecutar o comando termina. Este procedimento é executado para cada quadro. A propósito, no caso da informação de comando sendo transmitida na unidade de fração de imagem constituída de vários macroblocos, o comando é executado pelo mesmo procedimento acima.
Incidentalmente, na primeira modalidade, o comando da infor20 mação de gerenciamento de memória para liberar a imagem que nunca é utilizada como referência (liberar a memória) é explicado. Adicionalmente, a primeira modalidade apresenta que por codificar repetidamente o comando da informação de gerenciamento de memória para liberar a imagem que nunca é utilizada como referência, mesmo se um comando da informação de 25 gerenciamento de memória for perdido pelo erro do canal de transmissão, a informação de gerenciamento da imagem armazenada na memória pode ser restaurada por outro comando da informação de gerenciamento de memória e a possibilidade de que a imagem seja corretamente restaurada torna-se alta.
Aqui, fora da informação de código apresentada na figura 15, o comando de inicialização Código 5 para liberar toda a informação na memória é considerado.
Quando o comando de inicialização Código 5 é transmitido somente uma vez e se este comando de inicialização Código 5 for perdido pelo erro de transmissão de canal, o processamento do gerenciamento de memória e semelhantes são normalmente executados após a inicialização ser afe'5 tada. Aí, de forma similar à primeira modalidade, o caso de repetidamente codificar e transmitir o comando de inicialização Código 5 é explicado utilizando a figura 19.
A figura 19 é um diagrama explicativo que apresenta a relação entre os números dados para cada quadro (imagem (quadro) N2), os núme10 ros pelos quais cada quadro é armazenado na memória (imagem (quadro) armazenada N2) e os números que apresentam a ordem pela qual cada quadro é transmitido (ordem de transmissão).
A figura 19 é explicada de forma concreta abaixo. Para começar, desde que a imagem I da imagem N2 0 não refere-se a outras imagens, a 15 imagem I da imagem N2 0 é armazenada na memória e seu N2 de imagem armazenado é 0. A seguir, desde que a imagem P da imagem N2 2 que refere-se à imagem I da imagem N2 0 é armazenada na memória, o N2 de quadro armazenado na imagem P da imagem N2 2 é 1. Então, desde que a imagem B da imagem N2 1 que refere-se à imagem I da imagem N2 0 e à ima20 gem P da imagem N2 2 é armazenada na memória, o N2 de imagem armazenada na imagem B da imagem N2 1 é 2. A ordem pela qual cada imagem é transmitida é esta pela qual cada imagem é armazenada. Por procedimentos similares, a relação entre o N2 da imagem, o N2 da imagem armazenado e a ordem de transmissão é decidida.
Quando a imagem I da imagem N2 12 apresentada na figura 19 é codificada, o comando de inicialização Código 5 apresentado na figura 15 é transmitido. Desde que o N2 da imagem armazenado da imagem I da imagem N2 12 é 11, por este comando de inicialização Código 5, todas as imagens cujo o N2 da imagem armazenada é 10 ou menos podem ser liberadas 30 na memória.
Aqui, o método para codificar o comando de inicialização Código é explicado utilizando a figura 20.
A figura 20 é um fluxograma que apresenta o método para codificar o comando de inicialização Código 5 e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa.
Para começar, uma imagem informada é codificada (Etapa AO).
Após a codificação, quer todas as imagens que podem ser referidas na memória sejam desnecessárias ou não (se qualquer uma delas não é referida na codificação futura) é examinado (para inicialização) (Etapa A1); se as imagens armazenadas na memória não são referidas no futuro e é melhor inicializar as mesmas é julgado (Etapa A2).
Se for melhor inicializar as mesmas (Sim na Etapa A2), o coI mando de inicialização Código 5 que inicializa a área de memória é codificado como a informação de gerenciamento de memória (Etapa A3); a inicialização é executada (Etapa A4); o processamento termina. Por outro lado, quando a inicialização não é necessária (Não na Etapa A2), o processamen15 to termina sem executar as operações da Etapa A3 e da Etapa A4.
A seguir, um método para decodificar o comando de inicialização codificado Código 5 é explicado utilizando a figura 21.
A figura 21 é um fluxograma que apresenta o método para decodificar o comando de inicialização codificado Código 5 e apresenta as ope20 rações que o dispositivo de decodificação de imagem 200 apresentado na figura 7 executa.
Para começar, a informação de gerenciamento de memória é decodificada (Etapa A10); o sinal de imagem é decodificado a partir do sinal codificado (Etapa A11). A seguir, se existe o comando de inicialização Códi25 go 5 na informação de gerenciamento de memória decodificada é julgado (Etapa A12), se existe o comando de inicialização Código 5 (Sim na Etapa A12), todas as imagens memorizadas na memória são liberadas e inicializadas (Etapa A13) e o processamento termina. Entretanto, a imagem decodificada (na Etapa A11) não é liberada.
Por outro lado, se não existe comando de inicialização Código 5 na informação de gerenciamento de memória (Não na Etapa A12), o processamento termina.
O método para inicializar a memória é explicado de forma concreta abaixo utilizando a figura 19. O mesmo comando de inicialização Código 5 que o comando de inicialização dado para a imagem I da imagem N2 12 é dado para a imagem B da imagem N2 11.
'5 Quando apresentado na figura 17, o comando de inicialização
Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12 (imagem N2 12) e para o cabeçalho de quadro Frm11Hdr do quadro Frm12 (imagem N2 11). Desde que o comando de inicialização Código 5 não possui a informação adicionada como apresentado na figura 15, o comando de ini10 cialização Código 5 libera todas as imagens armazenadas na memória na hora que ele é decodificado.
Portanto, quando o comando de inicialização Código 5 dado para a imagem I da imagem Ns 12 (o quadro armazenado N2 11)é perdido pelo erro do canal de transmissão e o comando de inicialização Código 5 dado 15 para a imagem B da imagem N2 11 (a imagem armazenada N2 12) é executado, todas as imagens são liberadas pela imagem decodificada antes da imagem armazenada N2 11. Em outras palavras, mesmo a imagem I da imagem N2 12 (a imagem armazenada N2 11) que não deve ser liberada por natureza é liberada.
Como há pouco descrito, quando o mesmo comando de inicialização Código 5 que o comando de inicialização dado para a imagem I da imagem N2 12 é dado para a imagem B da imagem N2 11, uma imagem (a imagem I da imagem N2 12) é abandonada. Por outro lado, quando o mesmo comando de inicialização Código 5 que o comando de inicialização dado pa25 ra a imagem I da imagem N2 12 (a imagem armazenada N2 11) é dado para a imagem P da imagem N2 14 (a imagem armazenada N2 13), o comando de inicialização Código 5 dado para a imagem I da imagem N2 12 é perdido pelo erro do canal de transmissão e o comando de inicialização Código 5 dado para a imagem P da imagem N214 é executado, duas imagens (a imagem B 30 da imagem N2 11 e a imagem I da imagem N2 12) são abandonadas.
Observe que quando o comando de inicialização Código 5 é repetidamente codificado e o comando de inicialização que é transmitido pri meiro e o comando de inicialização que é transmitido subseqüentemente são executados sem o erro do canal de transmissão, o problema similar ao acima ocorre porque a inicialização é executada pelo comando de inicialização que é transmitido primeiro e adicionalmente a inicialização é executada no5 vamente pelo comando de inicialização que é transmitido subseqüentemente.
Um método para resolver tal problema na inicialização é explicado.
A figura 22 apresenta os comandos da informação de gerencia10 mento de memória utilizados para resolver o problema de inicializar a memóI ria.
A figura 22 é diferente da figura 15 pelo fato de que o comando de reenvio de inicialização Código 6 é de maneira nova adicionado para o anterior. Adicionalmente, este comando de reenvio de inicialização Código 6 15 tem a imagem (quadro) inicializado Ne (o número do quadro com o qual o comando de inicialização Código 5 que inicializa a área de memória está ligado) como informação adicionada.
O fluxo do processamento da codificação de imagem utilizando este comando de reenvio de inicialização Código 6 é explicado abaixo utili20 zando a figura 23.
A figura 23 é um fluxograma que apresenta o método e codificação de imagem utilizando o comando de reenvio de inicialização Código 6 e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. Na figura 23, para as mesmas operações 25 que na figura 20 são dados os mesmos números.
Para começar, a imagem informada é codificada (Etapa A0). Após a codificação, se todas as imagens na memória são desnecessárias ou não (se qualquer uma das mesmas não é referida na codificação futura) é examinado (para inicialização) (Etapa A1), a unidade de controle de informa30 ção de memória 101 julga se a inicialização é necessária (Etapa A2); quando a inicialização é necessária (Sim na Etapa A2), a unidade de codificação de informação de gerenciamento 105 codifica o comando de inicialização Códi go 5 como a informação de gerenciamento de memória (Etapa A3) e executa a inicialização (Etapa A4). Quando a inicialização não é necessária (Não na Etapa A2), as operações da Etapa A3 e da Etapa A4 não são executadas.
A seguir, a unidade de controle de informação de memória 101 '5 julga se o comando de inicialização Código 5 que inicializa a área de memória está codificado como a informação de gerenciamento de memória ligando-se com a imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Etapa A30); quando o comando de inicialização Código 5 está codificado (Sim na Etapa A30), a unidade de codificação de in10 formação de gerenciamento 105 codifica o comando de reenvio de inicialização Código 6 que inicializa a área de memória como a informação de gerenciamento de memória (Etapa A31); o processamento termina.
Além disso, quando o comando de inicialização Código 5 que inicializa a área de memória não está codificado como a informação de ge15 renciamento de memória ligando-se com a imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Não na Etapa A30), o processamento termina.
A propósito, no método apresentado na figura 23, no caso de codificar o comando de inicialização Código 5 que inicializa a área de memó20 ria estando codificado ligado com o sinal codificado da imagem codificada imediatamente antes, o comando de reenvio de inicialização Código 6 é novamente codificado; é aceitável que no caso do comando de inicialização Código 5 sendo codificado ligado com sinal codificado da imagem codificada não imediatamente antes, mas várias imagens antes, o comando de reenvio 25 de inicialização Código 6 ser codificado. Adicionalmente, também é aceitável codificar o comando de reenvio de codificação Código 6 que inicializa a área de memória repetidamente como a informação de gerenciamento de memória ligando-se com várias imagens.
Mais especificamente, como apresentado na figura 19, no caso 30 de codificar o comando de inicialização Código 5 ligando-se com a codificação da imagem I da imagem N9 12, é aceitável codificar o comando de reenvio de inicialização Código 6 ligando-se com a codificação da imagem B da imagem Νρ 11 e adicionalmente, também é aceitável codificar o comando de reenvio de inicialização Código 6 ligando-se com a imagem P da imagem Ns
14.
No caso do primeiro, quando apresentado na figura 17, o co5 mando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12; adicionalmente, o comando de reenvio de inicialização Código 6 é dado para o cabeçalho do quadro Frm11 Hdr do quadro Frm11. Além disso, no caso do último, o comando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12; o comando 10 de reenvio de inicialização Código 6 é dado para o cabeçalho do quadro I Frm14Hdr do quadro Frm14.
Adicionalmente, é aceitável codificar o comando de reenvio de inicialização Código 6 ligando-se com a codificação da imagem B da imagem Νρ 11 e junto codificar o comando de reenvio de inicialização Código 6 ligan15 do-se com a codificação da imagem P da imagem Nõ 14. Neste caso, quando apresentado na figura 17, o comando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12 e o comando de reenvio de inicialização Código 6 é dado para o cabeçalho do quadro Frm11Hdr do quadro Frm11 e para o cabeçalho do quadro Frm14Hdr do 20 quadro Frm14.
A seguir, o processamento para decodificar os dados nos quais o comando de reenvio de inicialização Código 6 é codificado é explicado utilizando a figura 24. A figura 24 é um fluxograma que apresenta um método para decodificar o comando de reenvio de inicialização codificado Código 6 e 25 apresenta as operações do dispositivo de decodificação de imagem 200 apresentado na figura 7. Na figura 24, para as mesmas operações que na figura 21 são dados os mesmos números.
Para começar, a unidade de decodificação de informação de gerenciamento decodifica a informação de gerenciamento de memória (Eta30 pa A10). Então, o sinal de imagem é decodificado a partir do sinal codificado (Etapa A11).
Se existe o comando de inicialização Código 5 na informação de gerenciamento de memória decodificada é julgado (Etapa A12), quando existe o comando de inicialização Código 5 (Sim na Etapa A12), todas as imagens na memória são liberadas e inicializadas (Etapa A13); quando não existe comando de inicialização Código 5 (Não na Etapa 12), a inicialização '5 não é executada.
A seguir, a unidade de controle de informação de memória 101 julga se existe o comando de reenvio de inicialização Código 6 na informação de gerenciamento de memória (Etapa A40). Quando não existe comando de reenvio de inicialização Código 6 (Não na Etapa A40), o processo ter10 mina; quando existe o comando de reenvio de inicialização Código 6 (Sim na Etapa A40), se a inicialização está executada é examinado (Etapa A41). Quando a inicialização está executada (Sim na Etapa A41), o processamento termina. Quando a inicialização não está executada (Não na Etapa A40), baseado na informação adicionada do comando de reenvio de inicialização 15 Código 6, o quadro de armazenamento (o quadro armazenado na memória para a imagem de referência na hora da codificação de um quadro de inicialização) antes do quadro de inicialização (o quadro com o qual o comando de inicialização Código 5 que inicializa a área de memória está ligado) é liberado; adicionalmente, o número de imagens para a memória de longo prazo 20 é feito 0 (Etapa A42); o processamento termina. Em adição, quando o quadro de longo prazo não é utilizado, não existe necessidade de causar que o número de imagens para a memória de longo prazo seja 0.
Por conseqüência, como apresentado na figura 19, no caso da imagem da imagem N2 12 ligada com o comando de inicialização Código 5 25 sendo codificada e a imagem da imagem N2 14 ligada com o comando de reenvio de inicialização Código 6 sendo codificada, todos as imagens cuja imagem armazenada N2 for 10 ou menos e que estão armazenadas na área de memória liberada pelo comando de inicialização Código 5 quando o comando de inicialização Código 5 não é perdido pelo erro do canal de trans30 missão ou pelo comando de reenvio de inicialização Código 6 quando o comando de inicialização Código 5 é perdido pelo erro do canal de transmissão.
Deste modo, quando o comando de inicialização Código 5 é repetidamente codificado e transmitido, a partir da segunda vez em diante, o comando de reenvio de inicialização Código 6, para o qual a inicialização Ns, a informação adicionada é adicionada, é codificado e transmitido e portanto, 5 baseado na informação adicionada, os quadros de armazenamento antes do quadro de inicialização (os quadros armazenados na memória para a imagem de referência na hora em que o quadro de inicialização primeiro ligado com o comando de inicialização Código 5 é codificado) são liberados. Como resultado, o problema descrito acima em que uma imagem necessária é a10 bandonada pode ser resolvido.
I A propósito, no caso de fornecer a imagem armazenada Ne como na figura 25, o qual é diferente da figura 19, o comando de reenvio de inicialização Código 6 explicado acima ainda é eficaz.
Uma explicação concreta é feita abaixo.
A figura 25 é um diagrama explicativo que apresenta outra relação entre os números dados para cada quadro (imagem (quadro) Ns), os números pelos quais cada quadro é armazenado na memória (imagem armazenada (quadro) Ns) e os números que apresentam a ordem pela qual cada quadro é transmitido (ordem de transmissão).
O método para fornecer estes números é explicado. Para começar, desde que a imagem I da imagem N9 0 não refere-se a outras imagens, a imagem I da imagem Ns 0 é armazenada na memória e seu número de imagem armazenado é 0. A seguir, desde que a imagem P da imagem Ns 2 que refere-se à imagem I da imagem N5 0 é armazenada na memória, o N9 da imagem armazenado na imagem P da imagem N9 2 é 1. Então, apesar da imagem B da imagem N9 1 que refere-se à imagem I da imagem N9 0 e da imagem P da imagem N9 2 estarem armazenadas na memória, desde que esta imagem B não é referida por outras imagens, seu N9 de imagens armazenado é 1, o mesmo que o N9 da imagem armazenado da imagem P da imagem N9 2 que está armazenada imediatamente antes. A ordem pela qual cada imagem é transmitida é esta pela qual cada imagem é armazenada. Pelos procedimentos similares, a relação entre a imagem N9, a imagem ar53 mazenada N9 e a ordem de transmissão é decidida.
Como apresentado na figura 25, quando a imagem I da imagem N9 12 é codificada, ela é transmitida ligando-se com o comando de inicialização Código 5 apresentado na figura 15. Desde que a imagem armazenada '5 N9 da imagem I da imagem N9 12 é 6, é possível liberar todas as imagens cujo N9 de imagem armazenado seja 5 ou menos por este comando de inicialização Código 5.
Aqui, o caso da codificação repetida do comando de inicialização Código 5, mais especificamente, o caso de fornecer o mesmo comando de 10 inicialização Código 5 como o comando de inicialização Código dado para a imagem I da imagem N9 12 para a imagem P da imagem N9 14 é explicado.
Como apresentado na figura 15, desde que o comando de inicialização Código 5 não possui informação adicionada, ele libera todas as imagens armazenadas na memória para a imagem de referência na hora que 15 ele é decodificado. Por conseqüência, quando o comando de inicialização Código 5 dado para o quadro I da imagem N9 12 (a imagem armazenada N9
6) é perdido pelo erro do canal de transmissão e o comando de inicialização Código 5 dado para a imgem P da imagem N9 14 (a imagem armazenada N9
7) é executado, todas as imagens cujo N9 de imagem armazenado seja 6 ou 20 menor e que estão armazenadas na memória são liberadas. Em outras palavras, mesmo a imagem I da imagem N9 12 (a imagem armazenada N9 6) que não deve ser liberada por natureza, é liberada.
Entretanto, por ligar o comando de reenvio de inicialização Código 6 ao invés do comando de inicialização Código 5 com a imagem P da 25 imagem N9 14, todas as imagens cujo N9 de imagem armazenado for 5 ou menos que estão armazenadas na memória são liberadas pelo comando de inicialização Código 5 no caso do comando de inicialização Código 5 não ser perdido pela erro de canal de transmissão ou pelo comando de reenvio de inicialização Código 6 no caso do comando de inicialização Código 5 ser 30 perdido pelo erro do canal de transmissão.
Em outras palavras, desde que o quadro inicializado N9 (neste caso, a imagem N9 12) é adicionado para o comando de reenvio de iniciali54 zação Código 6 como a informação adicionada, os quadros de armazenamento antes do quadro de inicialização (o quadros de armazenamento cujos NQ de imagem armazenado é 5 ou menos e que estão armazenados na memória para a imagem de referência na hora do quadro de inicialização ser 5 armazenado) são liberados.
Como é descrito, pelo comando de reenvio de inicialização Código 6 que possui a informação adicionada, mesmo se o comando de inicialização Código 5 for perdido pelo erro de canal de transmissão, a possibilidade de que a inicialização seja executada normalmente torna-se alta. Em 10 adição, é aceitável substituir o comando de inicialização Código 5 pelo coI mando de reenvio de inicialização Código 6 apresentado na presente modalidade que possui o NQ da imagem a imagem com o qual o comando de reenvio de inicialização Código 6 está ligado como informação adicionada e realizar o Código 5 e o Código 6 apresentados na figura 22 como um co15 mando. Isto é porque a inicialização é reenviada para reenviar a informação de inicialização, o número do quadro com o qual o comando de inicialização Código 5 está ligado é designado; o Ne da imagem para reenviar o dito quadro não é utilizado. Nesta hora, é aceitável invalidar o comando de inicialização Código 5.
Observe que no caso de realizar o comando de reenvio de inicialização Código 6 e o comando de inicialização Código 5 apresentados nas modalidades mencionadas acima por um comando como este, é aceitável que o comando de reenvio de inicialização Código 6 que possui um valor especial que não é utilizado no comando de reenvio de inicialização Código 25 6 apresentado nas modalidades mencionadas acima seja feito por ser o comando que possui a mesma função que o comando de inicialização Código 5 que é enviado primeiro.
Além disso, como explicado em cada modalidade mencionada acima, quando a informação de gerenciamento de memória tal como o co30 mando para liberar uma imagem na memória que nunca é utilizada como referência e o comando de inicialização é transmitido novamente, como apresentado na figura 17 e na figura 18, é aceitável transmitir a informação de cabeçalho incluindo a informação de gerenciamento de memória separadamente dos dados do quadro ao invés de transmitir a informação de gerenciamento de memória incluída na informação de cabeçalho adicionada para os dados do quadro na codificação da imagem. Em outras palavras, é aceitável '5 que o comando a ser transmitido novamente não seja o mesmo fluxo que o quadro codificado, mas seja transmitido, por exemplo, como um fluxo diferente. Adicionalmente, também é aceitável gravar o comando em uma área diferente do meio de armazenamento.
Adicionalmente, na presente modalidade, quando o comando de 10 inicialização Código 5 é reenviado, o Ns do imagem da imagem com o qual o comando de inicialização Código 5 é primeiro ligado (ο Νρ do quadro inicializado) é adicionado para o comando de reenvio de inicialização Código 6 como informação adicionada mas quando o comando da informação de gerenciamento de memória tal como o comando para liberar a área de memó15 ria e o comando para designar a imagem objeto para ser movida da a memória de curto prazo para a memória de longo prazo é reenviado como apresentado em cada modalidade mencionada acima, é naturalmente aceitável que o Ne da imagem a imagem objeto codificado transmitido ligando-se primeiro com o comando (a informação para identificar o quadro) esteja in20 cluído como um parâmetro e seja transmitido. Por fazer desse modo, é possível detectar qual imagem foi transmitida quando o erro de canal de transmissão ocorreu.
Nona Modalidade
A seguir, um método de codificação de imagem e um método de 25 decodificação de imagem de acordo com a nona modalidade são explicados.
A característica da presente modalidade é, quando a informação de gerenciamento de memória é transmitida várias vezes, alterar o tempo do processamento baseado na informação de gerenciamento de memória na segunda vez e posterior.
Quando os dados obtidos por repetidamente codificar a informação de gerenciamento de memória são obtidos como apresentado nas modalidades mencionadas acima, antes de processar a informação de gerenci56 amento de memória que é repetidamente transmitida, o sinal de imagem com qual a informação de gerenciamento está ligada é decodificado sem falha. Como um exemplo concreto, o caso de transmitir o comando para liberar uma imagem na memória que nunca é utilizado como referência várias vezes que é explicado na segunda modalidade é explicado novamente utilizando a figura 19.
A imagem da imagem N2 12 apresentada na figura 19 está ligada com o comando de Código 1 apresentado na figura 22 e é codificada e adicionalmente a imagem da imagem N2 11 está ligada com o comando de 10 Código 1 e é codificada. Nesta hora, a decodificação é executada seguindo I a figura 8. Para começar, o Código 1 ligando-se com a imagem da imagem N2 12 é decodificado (Etapa 110). A seguir, a imagem da imagem N2 12 é decodificada (Etapa 111). Aqui, quando o Código 1 que deve ser ligado com a imagem da imagem N2 12 por natureza é abandonado durante a transmis15 são (Não na Etapa 112), o processamento em relação a este quadro termina.
Na ordem de transmissão, a imagem da imagem N2 11 é processada para ser decodificada seguindo à imagem da imagem N2 12.
Para começar, o Código 1 que é codificado ligado com a ima20 gem da imagem N2 11 é decodificada (Etapa 110). A seguir, o quadro do quadro N2 11 é decodificado (Etapa 111). Quando este Código 1 não é abandonado durante a transmissão e é transmitido, o Código 1, o comando para liberar a memória, existe na informação de gerenciamento de memória decodificada (Sim na Etapa 112), o que leva ao próximo processamento (E25 tapa 113).
Aqui, desde que a memória não está liberada quando a imagem da imagem N2 12 que é decodificada antes da decodificação da imagem da imagem N2 11 ser decodificada (Não na Etapa 113), o processamento para liberar a memória é executado (Etapa 114).
Como apresentado no exemplo concreto mencionado acima, devido a transmitir o comando para liberar uma imagem na memória que nunca é utilizada como referência, o comando que deve ser executado por natureza para a imagem (a imagem N2 12) para a qual o primeiro comando não é executado, é executado após o processamento de decodificação do sinal da imagem da imagem (o quadro N2 11) que é transmitido posteriormente; um atraso da execução do comando ocorre.
'5 Por conseqüência, na presente modalidade, um método para resolver o problema é explicado utilizando a figura 26, a figura 27 e a figura 28.
A figura 26 é um diagrama de correspondência que apresenta uma relação entre a informação de gerenciamento de memória e os coman10 dos que são utilizados na presente modalidade.
Na figura 26, o Código apresenta o número do comando; o comando apresenta o conteúdo do comando; a informação adicionada apresenta a informação adicionada, adicionada para o comando; a posição de processamento apresenta o tempo para executar os comandos.
A figura 26 é diferente da figura 15 na qual na primeira, o Código
A1 até o Código A4 são os comandos que são executados após o processamento de decodificação da imagem, enquanto o Código A6 até o Código A9 que correspondem ao Código A1 até o Código A4 são os comandos que são executados antes do processamento de decodificação da imagem.
Então, no caso de enviar a informação de gerenciamento de memória repetidamente, os comandos da informação de gerenciamento de memória que são codificados primeiro são os comandos (Código A1 até Código A4) cujas posições de processamento estão após a decodificação (executada após a decodificação da imagem); os comandos que são codificados repetidamente (após a segunda vez) são os comandos (Código A6 até Código A9) cujas posições de processamento são antes da decodificação.
Deste modo, no caso da informação de gerenciamento de memória enviada primeiro sendo abandonada, o comando que deve ser executado pela informação de gerenciamento de memória que é enviada primeiro 30 por natureza é executado antecipadamente e é possível tornar o problema tal como atraso difícil de ocorrer.
Daqui para frente, os procedimentos de processamento utilizan do os comandos na figura 26 são explicados utilizando a figura 27 e a figura 28.
A figura 27 é um fluxograma que apresenta um método de codificação de imagem na presente modalidade e apresenta as operações do 5 dispositivo de codificação de imagem 100 apresentado na figura 5.
Na figura 27, para começar, uma imagem é codificada (Etapa
B0). Após a codificação, a área desnecessária (as imagens que não são referidas na codificação futura) é examinada (Etapa B1); se existe a área desnecessária é julgado (Etapa B2). Quando existe uma imagem na memória 10 que nunca é utilizada como referência (Sim na Etapa B2), o comando para
I liberar uma imagem na memória que nunca é utilizada como referência é estabelecido para ser executado após a decodificação do sinal da imagem; a informação de gerenciamento de memória utilizada após a decodificação é codificada (etapa B3), uma imagem na memória que nunca é utilizada como 15 referência é liberada (Etapa B4). Por outro lado, quando não existe imagem na memória que nunca é utilizada como referência (Não na Etapa B2), as operações da Etapa B3 e da Etapa B4 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga se o comando para liberar uma imagem na memória que nunca é utili20 zada como referência ligando-se com a codificação da imagem codificada imediatamente antes (a imagem antes do objeto codificado) está codificado como a informação de gerenciamento de memória (Etapa B30). Se nãocodificado (Não na Etapa B30), o processamento termina. Se codificado (Sim na Etapa B30), a unidade de codificação de informação de gerencia25 mento 105 executa o comando para liberar uma imagem na memória que nunca é utilizada como referência antes da decodificação do sinal de imagem e codifica a informação de gerenciamento de memória utilizada antes da decodificação (Etapa B31) e o processamento termina.
Observe que no caso do comando para liberar uma imagem na memória que nunca é utilizada como referência sendo codificado ligado com o sinal codificado, codificado imediatamente antes na Etapa B30, o comando é novamente codificado mas o caso de ligar-se com a imagem antes de vá rias imagens é aceitável ao invés do caso de ligar-se com a imagem imediatamente antes. Adicionalmente, é aceitável que o comando mencionado acima seja repetidamente codificado como a informação de gerenciamento de memória e seja transmitido ligando-se com várias imagens.
'5 A seguir, os procedimentos para decodificar os dados codificados seguindo-se aos procedimentos na figura 27 são explicados utilizandose a figura 28 e a figura 19.
A figura 28 é um fluxograma que apresenta um método de decodificação de imagem na presente modalidade e apresenta as operações que 10 o dispositivo de decodificação de imagem 200 apresentado na figura 7.
Na explicação seguinte, na figura 19, a imagem da imagem Ns é codificada ligada com o comando do Código A1 apresentado na figura 26 e adicionalmente a imagem da imagem Ns 11 é codificada ligada com o comando do Código A6. Quando apresentado na figura 17, o Código A1 é 15 dado para o cabeçalho do quadro Frm12Hdr da imagem Frm12 da imagem
Ne 12, enquanto o Código A6 é dado para o cabeçalho do quadro Frm11Hdr do quadro Frm11 da imagem Ng 11.
A propósito, a não ser que o comando seja perdido pelo erro do canal de transmissão, o dispositivo de decodificação de imagem recebe o 20 comando para liberar a mesma área de imagem na memória várias vezes. Por conseqüência, no método de decodificação de imagem que o dispositivo de decodificação executa, mesmo se o dispositivo de decodificação de imagem receber o comando para liberar a imagem que já tenha sido liberada, o dispositivo de decodificação de imagem não processa o comando como um 25 erro, mas ao contrário, deve julgar que o comando é corretamente recebido.
Para começar, o processamento de decodificação em relação à imagem da imagem Νδ 12 é explicado.
Na figura 28, para começar, a informação de gerenciamento de memória da imagem da imagem Ne 12 é decodificada (Etapa B5); se esta 30 informação de gerenciamento de memória for a informação de gerenciamento de memória utilizada antes da decodificação, é examinado (Etapa B7). Aqui, desde que esta informação de gerenciamento de memória (Código A1) é a informação de gerenciamento de memória utilizada após a decodificação (Não na Etapa B7), o sinal de imagem da imagem da imagem N2 12 é decodificado. Então, como é descrito antes, desde que a informação de gerenciamento de memória (Código A1) é a informação de gerenciamento de me5 mória utilizada após a decodificação (Sim na Etapa B9), a memória é liberada (Etapa B11) e o processamento em relação à informação de gerenciamento de memória da imagem da imagem Ne 12 termina.
Por outro lado, quando o Código A1 da informação de gerenciamento de memória é abandonado, a informação de gerenciamento de me10 mória não é julgada como sendo a informação de gerenciamento de memóI ria utilizada antes da decodificação na Etapa B7 (Não na Etapa B7) e adicionalmente, a informação de gerenciamento de memória não é julgada como sendo a informação de gerenciamento de memória utilizada após a decodificação (Não na Etapa B9), somente o sinal de imagem da imagem da ima15 gem Ns 12 é decodificado (Etapa B6), o processamento em relação à informação de gerenciamento de memória da imagem da imagem Ns 12 termina.
A seguir, o processamento de decodificação do quadro da imagem Ne 11 é explicado utilizando a figura 28.
Para começar, a informação de gerenciamento de memória da 20 imagem N2 11 é decodificada (Etapa B5); se esta informação de gerenciamento de memória for a informação de gerenciamento de memória utilizada antes da decodificação, é examinado (Etapa B7). Aqui, desde que o Código A6 é a informação de gerenciamento de memória utilizada antes da codificação (Sim na Etapa B7), se a memória está liberada ou não é examinado (E25 tapa B8). No processamento da imagem da imagem N2 12, desde que a memória já tinha sido liberada se o Código A1 for executado (Sim na Etapa B8), o processamento para liberar a memória (Etapa B10) não é executado e a imagem da imagem N2 11 é decodificada (Etapa B6). Então, se a informação de gerenciamento de memória é utilizada após a codificação, é julgado 30 (Etapa B9), mas desde que o Código A6 é a informação de gerenciamento de memória utilizada antes da decodificação (Não na Etapa B9), o processamento em relação à informação de gerenciamento de memória da imagem da imagem Ng 11 termina.
Entretanto, por causa do abandono de um pacote durante a transmissão ou semelhante, a informação de gerenciamento de memória da imagem da imagem Ns 12 é abandonada, no processamento em relação à '5 imagem da imagem N9 12, quando a memória não está liberada, no processamento em relação à imagem da imagem Ne 11,a memória é julgada como não estando liberada (Não na Etapa B8), a memória é liberada na próxima etapa (Etapa B6). Então, desde que o Código A6 na informação de gerenciamento de memória utilizada antes da decodificação (Não na Etapa B9), o 10 processamento em relação à informação de gerenciamento de memória da imagem da imagem Ne 11 termina.
Deste modo, para o que é reenviado, executar o comando antes da decodificação do sinal da imagem, mesmo se o comando enviado primeiro for abandonado, é possível reduzir o atraso de executar o comando.
Em adição, como um exemplo concreto, o caso da informação de gerenciamento de memória sendo o Código A1 e o Código A6 é explicado, mas o mesmo pode ser realizado com o processamento similar do Código A2 e do Código A7 sendo utilizados e o mesmo também pode ser realizado pelo processamento similar no caso do Código A3 e do Código A8 20 sendo utilizados e no caso do Código A4 e do Código A9 sendo utilizados.
Adicionalmente, é possível utilizar um par de comandos de inicialização Código A5 apresentados na figura 26 como a informação de gerenciamento de memória utilizada após a decodificação e o comando de reenvio de inicialização Código 6 apresentado na figura 22 como a informação 25 de gerenciamento de memória utilizada antes de decodificação, respectivamente.
Além disso, no caso de um pedaço da informação de gerenciamento de memória utilizada após a decodificação e vários pedaços da informação de gerenciamento de memória utilizados antes da decodificação se30 rem dados para um quadro como a informação de cabeçalho, é bom processar os vários pedaços da informação de gerenciamento de memória utilizada antes da decodificação antes da informação de gerenciamento de memória utilizada após a decodificação.
Em outras palavras, é bom fornecer a informação de gerenciamento de memória utilizada antes da decodificação para a parte do cabeçalho da informação de cabeçalho apresentada na figura 17 e o código da dita 5 informação de gerenciamento de memória.
Adicionalmente, por combinar os comandos apresentados na figura 29A e na figura 29B e julgar se a informação de gerenciamento de memória é a informação de gerenciamento de memória utilizada antes da decodificação ou a informação de gerenciamento de memória utilizada após 10 a decodificação, de outras informações, é aceitável realizar os comandos I apresentados nas modalidades mencionadas acima.
A figura 29A é um diagrama de correspondência que apresenta o conteúdo dos comandos e a informação adicionada. A figura 29B é um diagrama de correspondência que apresenta os tempos de execução (as 15 posições de processamento) dos comandos.
A figura 30 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho de um sinal codificado.
Na figura 30, o sinal codificado do quadro FrmB possui o cabe20 çalho do quadro FrmBHdr, os dados do quadro tais como Mba e MBb; o cabeçalho do quadro FrmBHdr possui a informação de código Código D e semelhante como a informação de cabeçalho.
Nesta hora, como apresentado na figura 30, por exemplo, é bom que o cabeçalho do quadro FrmBHdr do quadro FrmB inclua, a partir do co25 meço, a informação de código Código D do comando, o Indicador D que apresenta a posição de processamento e a informação adicionada Adição D que apresenta a informação adicionada do comando. Quando não existe informação adicionada, como apresentado na figura 30, é bom que o Código E do comando e o Indicador E que apresenta a posição de processamento 30 sejam adicionados para o cabeçalho do quadro FrmBHdr. Desde que imediatamente após o Código que apresenta o comando não é Adição que apresenta a informação adicionada mas o Indicador que apresenta a posição de posicionamento, é possível otimizar o processamento da Etapa B7 e da Etapa B9 apresentadas na figura 28.
Adicionalmente, para distinguir se o tempo de execução do comando é antes ou depois da decodificação do sinal de imagem, utilizando ‘5 um novo comando para apresentar a posição de processamento, é aceitável que os comandos que estejam localizados antes da posição no quadro do cabeçalho do comando que apresenta a posição de processamento sejam executados após a decodificação, enquanto os comandos que estão localizados após a posição do quadro de cabeçalho do comando que apresenta a 10 posição de processamento sejam executados antes da decodificação. Por se fazer desse modo, quando existem vários comandos, o tempo de execução (a posição de processamento) de cada comando pode ser apresentado por um comando, comparado com o caso de transmitir um Indicador que apresenta a posição de processamento para cada comando, a informação a ser 15 transmitida é reduzida e a eficiência da codificação é aperfeiçoada.
Um exemplo concreto é explicado na figura 31.
A figura 31 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho de outro sinal codificado.
Na figura 31, o sinal codificado do quadro FrmC possui o cabeçalho do quadro FrmCHdr e os dados do quadro tais como Mba e MBb; no cabeçalho do quadro FrmCHdr, como a informação de cabeçalho, a partir do começo na ordem, o comando Código F, o comando dif, o comando Código G, a informação adicionada Adição G e o comando Código H estão localiza25 dos.
Então, se o comando dif que apresenta a posição de processamento está no cabeçalho do quadro FrmCHdr é julgado, é aceitável que o comando Código F que está antes do comando dif que apresenta a posição de processamento seja executado após a decodificação do quadro FrmC, 30 enquanto o comando Código G e o comando Código H que estão após o comando dif sejam executados antes da decodificação do quadro FrmC. Neste caso, se não existir o comando dif que apresenta a posição de pro cessamento, todos os comandos no cabeçalho do quadro FrmCHdr são executados após o processamento de decodificação do quadro FrmC.
A propósito, como explicado em cada modalidade mencionada acima, quando a informação de gerenciamento de memória tal como o co5 mando para liberar uma imagem na memória que nunca é utilizada como referência e o comando de inicialização é transmitido novamente, é aceitável transmitir a informação de cabeçalho incluindo a informação de gerenciamento de memória separadamente do sinal codificado da imagem ao invés de transmitir a informação de gerenciamento de memória incluída na infor10 mação de cabeçalho adicionada para o sinal codificado da imagem. Em ouI tras palavras, é aceitável que o comando a ser novamente transmitido não seja o mesmo fluxo que o quadro codificado mas seja transmitido, por exemplo como um fluxo diferente. Adicionalmente, também é aceitável gravar o comando em uma área diferente do meio de armazenamento.
Décima Modalidade
A seguir, a décima modalidade da presente invenção é explicada.
Na presente modalidade, a unidade para a qual a codificação é executada é diferente desta de cada uma das modalidades mencionadas 20 acima. Em outras palavras, na primeira modalidade, quando o comando para liberar uma imagem na memória que nunca é utilizada como referência é transmitido várias vezes, o fluxo da informação de gerenciamento de memória CtIStr e o fluxo de codificação de imagem VideoStr que corresponde ao comando mencionado acima e são apresentados na figura 5, são codifica25 dos na unidade de uma imagem (uma imagem), mas na presente modalidade, é aceitável codificar um quadro na unidade de uma fração de imagem como uma estrutura de fluxo apresenta na figura 32.
Codificar na unidade de uma fração de imagem é, como a fração de imagem 1 do quadro 1 na figura 32 possui o cabeçalho 1-1, o CtIStr 1 e o 30 VideoStr 1-1 e a fração de imagem 2 do quadro 1 na figura 32 possui o cabeçalho 1-2, o CtIStr 1 e o VideoStr 1-2, codificar o cabeçalho, o fluxo de informação de gerenciamento de memória CtIStr e o fluxo de codificação de imagem VideoStr para cada fração de imagem de cada quadro. Após a codificação, o dispositivo de codificação de imagem emite o fluxo de dados. Em adição, a fração de imagem é uma unidade de retorno de sincronização, uma área em formato de tira constituída de um ou vários blocos e as várias '5 frações de imagem constroem uma imagem. Adicionalmente, uma imagem é uma unidade básica de codificação que corresponde a uma imagem; um bloco é uma unidade básica de codificação/decodificação.
Além disso, como descrito acima, o conteúdo quando o fluxo de informação de gerenciamento de memória CtIStr é transmitido várias vezes é 10 a mesma informação dentro do mesmo quadro. Sendo a mesma informação, a adição deste fluxo de gerenciamento de memória CtIStr na unidade de uma fração de imagem pode ser omitida. Por exemplo, a informação que apresenta se as várias vezes de transmissão são omitidas ou não da dita fação é adicionada para o cabeçalho da fração de imagem; 0 é adicionado 15 para o cabeçalho da fração de imagem quando várias vezes de transmissão do comando mencionado acima são omitidas; 1 é adicionado para o cabeçalho da fração de imagem quando o comando mencionado acima é transmitido (não-omitido) na dita fração de imagem. De forma concreta, um exemplo é apresentado na figura 33A e explicado abaixo. Cada um dos cabe20 çalhos e dos fluxos de codificação de vídeo VideoStr da fração de imagem 1 até a fração de imagem 3 no quadro 1 é diferente. Por outro lado, a fração de imagem 1 e a fração de imagem 2 possuem o mesmo fluxo de informação de gerenciamento de memória CtIStr 1, cada uma dentre a fração de imagem 1 e a fração de imagem 2 possui a informação 1 que apresenta 25 que o mesmo fluxo de informação de gerenciamento de memória é codificado nas várias frações de imagem no mesmo quadro. Adicionalmente, a fação 3 possui a informação 0 que apresenta que o fluxo de informação de gerenciamento de memória CtIStr 1 é omitido. Por fazer desse modo, quando a transmissão do comando várias vezes é omitida na dita fração de ima30 gem, por referir-se ao fluxo de informação de gerenciamento de memória CtIStr na fração de imagem onde o 1 mencionado acima é apresentado como a primeira fração e semelhante, é possível omitir a adição do fluxo de informação de gerenciamento de memória CtIStr e reduzir o número de bits.
Em outras palavras, a informação 0 mencionada acima que apresenta que o fluxo de informação de gerenciamento de memória CtIStr é omitido é, na fração de imagem que não possui a informação que designa o 5 quadro do objeto a ser liberado (fração de imagem 3), quando a informação que designa a imagem do objeto a ser liberada é referida, a informação que apresenta que a informação que designa a imagem do objeto a ser liberado é referida.
O método como este para permitir a omissão da adição do fluxo 10 de informação de gerenciamento de memória CtIStr é eficaz porque a possiI bilidade de que o fluxo de informação de gerenciamento de memória seja abandonado várias vezes durante o processo de transmissão é baixa.
Adicionalmente, quando a presença ou ausência do fluxo de informação de gerenciamento de memória CtIStr pode ser julgada sem a in15 formação que apresenta que o fluxo de informação de gerenciamento de memória CtIStr está omitido, é aceitável que esta informação seja omitida como apresentado na figura 33B. Por exemplo, quando o cabeçalho do fluxo de informação de gerenciamento de memória CtIStr pode ser distinguido do cabeçalho do fluxo de codificação da imagem VideoStr, o julgamento de se 20 existe a informação que apresenta se o fluxo de informação de gerenciamento de memória CtIStr 1 está codificada pode ser confirmada por se existe a informação predeterminada no local predeterminado a partir do cabeçalho de cada fração de imagem.
O método como este para permitir a omissão da adição do fluxo 25 de informação de gerenciamento de memória CtIStr é eficaz porque o número de codificação de fluxo de informação de gerenciamento de memória é diminuído e o número de bits é reduzido.
Até este ponto, a codificação é explicada, mas de forma similar a decodificação de um quadro pode ser executada na unidade de uma fração 30 de imagem. Na segunda modalidade, quando o comando para liberar uma imagem na memória que nunca é utilizada como referência é transmitido várias vezes, o dispositivo de decodificação de imagem 200 apresentado na figura 7 divide a estrutura do fluxo que possui o fluxo de informação de gerenciamento de memória CtIStr e o fluxo de codificação de imagem VideoStr que corresponde aos comandos mencionados acima e são apresentados na figura 32 e informa cada fluxo na unidade de uma imagem, mas é aceitável '5 informar cada fluxo na unidade de uma fração de imagem.
Observe que na codificação e na de codificação em outras modalidades, é aceitável codificar e decodificar um quadro de forma similar na unidade de uma fração de imagem.
Adicionalmente, os métodos de codificação de imagem e os mé10 todos de decodificação de imagem apresentados na primeira modalidade até a décima modalidade podem ser implementados em dispositivos de comunicação móveis tal como telefone celular e sistema de navegação de carro e dispositivos de captura de imagem, tal como câmara de vídeo digital e câmara de imagem parada digital por semicondutores tal como LSI (Integração de 15 larga escala). Além disso, três tipos de implementações podem ser concebidos: um terminal de envio/recepção implementado com um codificador e com um decodificado; um terminal de envio implementado somente com um codificador; e um terminal de recepção implementado somente com um decodificador.
Décima Primeira Modalidade
A seguir, a décima primeira modalidade da presente invenção é explicada.
Na presente modalidade, se um programa para realizar a estrutura dos métodos de codificação de imagem e dos métodos de decodificação 25 de imagem como apresentados na primeira modalidade até a décima modalidade é gravado em um meio de memória tal como um disco flexível, tornase possível executar o processamento apresentado nestas modalidades facilmente em um sistema de computador independente.
A figura 34A, 34B e 34C são diagramas explicativos que apre30 sentam o caso onde o processamento é executado em um sistema de computador utilizando um disco flexível que armazena o método de codificação de imagem ou o método de decodificação de imagem da primeira modalida68 de até a décima modalidade.
A figura 34B apresenta um disco flexível e a vista frontal e a vista em seção transversal da aparência do disco flexível e a figura 34A apresenta um exemplo de um formato físico de um disco flexível como um pró5 prio meio de gravação. Um disco flexível FD 1 está contido em um invólucro F, uma pluralidade de trilhas Tr são formadas concentricamente na superfície do disco na direção do rádio a partir da periferia e cada trilha é dividia em 16 setores Se na direção angular. Portanto, como para o disco flexível armazenando o programa mencionado acima, o método de codificação de ima10 gem como o programa é gravado em uma área alocada para o mesmo no I disco flexível FD 1.
A figura 34C apresenta a estrutura para gravação e leitura do programa a partir do disco flexível FD 1. Quando o programa é gravado no disco flexível FD 1, o sistema de computador Cs grava o método de codifica15 ção de imagem ou o método de decodificação de imagem como um programa através do controlador do disco flexível FDD. Quando o método de codificação de imagem é construído no sistema de computador pelo programa no disco flexível FD 1, o programa é lido a partir do controlador do disco flexível FDD através do disco flexível FD 1 e transferido para o sistema de 20 computador Cs.
A explicação acima é feita com a suposição de que um meio de gravação é um disco flexível, mas o mesmo processamento pode também ser executado utilizando um disco ótico. Em adição, o meio de gravação não está limitado a um disco flexível e a um disco ótico, mas qualquer outro meio 25 tal como um cartão IC e um cassete ROM capaz de gravar um programa pode ser utilizado.
Adicionalmente, os métodos de codificação de imagem e os métodos de decodificação de imagem apresentados nas modalidades mencionadas acima podem ser implementados em dispositivos de comunicação 30 móveis tal como um telefone celular e em um sistema de navegação de carro e dispositivos de captura de imagem tal como uma câmara de vídeo digital e uma câmara de imagem parada digital por semicondutores tal como LSI (integração em larga escala). Além disso, três tipos de implementações podem ser concebidas: um terminal de envio/recepção implementado tanto com um codificador como com um decodificador; um terminal de envio implementado somente com um codificador; e um terminal de recepção imple'5 mentado somente com um decodificador.
Aqui, as aplicações do método de codificação de imagem e do método de decodificação de imagem como apresentados na primeira modalidade até a décima modalidade e o sistema que utiliza os métodos são explicados.
A figura 35 é um diagrama de blocos que apresenta a configuração geral de um sistema de suprimento de conteúdo ex100 para realizar o serviço de distribuição de conteúdo. A área para proporcionar o serviço de comunicação é dividida em células de tamanho desejado e os locais de célula ex107 até ex110 que são estações sem fio fixas são colocadas nas res15 pectivas células.
Este sistema de suprimento e conteúdo ex100 está conectado com os dispositivos tais como um computador ex111, um PDA (Assistente Pessoal Digital) ex112, uma câmara ex113, um telefone celular ex114 e um telefone celular com uma câmara ex115 através da Internet ex101, um pro20 vedor de serviço Internet ex102, uma rede de telefone ex104 e os locais de célula ex107 até ex110.
Entretanto, o sistema de suprimento e conteúdo ex100 não está limitado à configuração como apresentada na figura 35 e pode estar conectado com uma combinação de qualquer um dos mesmos. Além disso, cada 25 dispositivo pode estar conectado diretamente com a rede de telefone ex104, não através dos locais de célula ex107 até ex110.
A câmara ex113 é um dispositivo tal como uma câmara de vídeo digital capaz de filmar vídeo (imagens em movimento). O telefone celular ex114 pode ser um telefone celular de um sistema PDC (Comunicação Pes30 soai Digital), de um sistema CDMA (Acesso Múltiplo por Divisão de Código), um sistema W-CDMA (Acesso Múltiplo por Divisão de Código de Banda Larga) ou um sistema GSM (Sistema Global para Comunicações Móveis), um
PHS (Sistema de Telefone Portátil Pessoal) ou semelhante.
Um servidor de colocação em fluxo ex103 está conectado com a câmara ex113 através da rede de telefone ex104 e do local de célula ex109, o qual permite a distribuição ao vivo ou semelhante utilizando a câmara 5 ex113 baseada nos dados codificados transmitidos a partir do usuário. A câmara ex113 ou o servidor para transmitir os dados podem codificar os dados. Adicionalmente, os dados da imagem filmada por uma câmara ex116 podem ser transmitidos para o servidor de colocação em fluxo ex103 através do computador ex111. A câmara ex116 é um dispositivo tal como uma câ10 mara digital capaz de filmar imagens paradas e em movimento. Neste caso, I a câmara ex116 ou o computador ex111 podem codificar os dados da imagem. Um LSI ex117 incluído no computador ex111 ou na câmara ex116 realmente executa o processamento de codificação. O software para codificar e decodificar as imagens pode estar integrado em qualquer tipo de meio de 15 armazenamento (tal como um CD-ROM, um disco flexível e um disco rígido) que é um meio de gravação que pode ser lido pelo computador ex111 ou semelhante. Adicionalmente, um telefone celular com uma câmara ex115 pode transmitir os dados de imagem em movimento. Estes dados de imagem em movimento são os dados codificados pelo LSI incluído no telefone 20 celular ex115.
O sistema de suprimento e conteúdo ex100 codifica o conteúdo (tal como um vídeo de música ao vivo) filmado pelos usuários utilizando a câmara ex113, a câmara ex116 ou semelhante da mesma maneira que as modalidades mencionadas acima e transmite o mesmo para o servidor de 25 colocação em fluxo ex103, enquanto o servidor de colocação em fluxo ex103 faz a distribuição do fluxo dos dados do conteúdo para os clientes ao seu pedido. Os clientes incluem o computador ex111, o PDA ex112, a câmara ex113, o telefone celular ex114 e semelhantes capazes de decodificar os dados codificados mencionados acima. No sistema de suprimento de conte30 údo ex100, os clientes podem assim receber e reproduzir os dados codificados e adicionalmente podem receber, decodificar e reproduzir os dados em tempo real de modo a realizar a difusão pessoal.
Quando cada dispositivo neste sistema executa a codificação ou a decodificação, o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem, como apresentados nas modalidades mencionadas acima, podem ser utilizados.
'5 Um telefone celular será explicado como um exemplo do dispositivo.
A figura 36 é um diagrama que apresenta o telefone celular ex115 utilizando o método de codificação de imagem e o método de decodificação de imagem explicados nas modalidades mencionadas acima. O tele10 fone celular ex115 possui uma antena ex201 para comunicação com o local da célula ex110 através de ondas de rádio, uma unidade de câmara ex203 tal como uma câmara CDD capaz de filmar imagens em movimento e paradas, uma unidade de vídeo ex202 tal como um vídeo de cristal líquido para exibir os dados obtidos pelas imagens de decodificação e semelhantes pela 15 unidade de câmara ex203 e recebidas pela antena ex201, um corpo principal incluindo um conjunto de teclas de operação ex204, uma unidade de saída de voz ex208 tal como um alto-falante para emitir vozes, uma unidade de entrada de voz 205 tal como um microfone para entrar vozes, um meio de armazenamento ex207 para armazenar dados codificados ou decodificados 20 tal como das imagens em movimento ou paradas filmadas pela câmara, dados de correios eletrônicos recebidos e dados de imagens em movimento ou paradas e uma unidade de fenda ex206 para ligar o meio de armazenamento ex207 com o telefone celular ex115. O meio de armazenamento ex207 armazena nele próprio um elemento de memória flash, um tipo de 25 EEPROM (Memória somente para leitura programável que pode ser eletricamente apagada) que é uma memória não volátil que pode ser eletricamente gravada e apagada, em um invólucro plástico tal como um cartão SD.
Adicionalmente, o telefone celular ex115 será explicado utilizando a figura 37. No telefone celular ex115, uma unidade de controle principal 30 ex311 para controle geral de cada unidade do corpo principal incluindo a unidade de vídeo ex202 e as teclas de operação ex204 está conectada com uma unidade de circuito de suprimento de força ex310, uma unidade de con72 trole de entrada de operação ex304, uma unidade de codificação de imagem ex312, uma unidade de interface com a câmara ex303, uma unidade de controle do LCD (Vídeo de Cristal Líquido) ex302, uma unidade de decodificação de imagem ex309, uma unidade multiplexadora/demultiplexadora ex308, 5 uma unidade de leitura/gravação ex307, uma unidade de circuito de modem ex306 e uma unidade de processamento de voz ex305 uns com os outros através do barramento síncrono ex313.
Quando uma tecla de término de chamada ou uma tecla de ativação é ligada pela operação de um usuário, a unidade de circuito de supri10 mento de força ex310 fornece para cada unidade energia a partir de um paI cote de bateria de modo a ativar o telefone celular digital com uma câmara ex115 para colocar o mesmo no estado de pronto.
No telefone celular ex115, a unidade de processamento de voz ex305 converte os sinais de voz recebidos pela unidade de entrada de voz 15 ex205 em modo e conversão para dados de voz digitais sob o controle da unidade de controle principal ex311 incluindo uma CPU, ROM e RAM, a unidade de circuito de modem ex306 executa o processamento de espectro de difusão dos dados de voz digitais e a unidade de circuito de envia/recebe ex301 executa a conversão de digital para analógico e a transformação de 20 frequência dos dados, de modo a transmitir os mesmos através da antena ex201. Além disso, no telefone celular ex115, a unidade de circuito de envia/recebe ex301 amplifica os dados recebidos pela antena ex201 no modo de conversação e executa a transformação de freqüência e a conversão analógico para digital para os dados, a unidade de circuito de modem ex306 exe25 cuta o processamento inverso de espectro de difusão dos dados e a unidade de processamento de voz ex305 converte os mesmos para dados de voz analógicos, de modo a emitir os mesmos através da unidade de saída de voz 208.
Adicionalmente, quando transmitindo um correio eletrônico no 30 modo de comunicação de dados, os dados de texto do correio eletrônico informados por se operar as teclas de operação ex204 do corpo principal são enviados para a unidade de controle principal ex311 através da unidade de controle de entrada de operação ex304. Na unidade de controle principal ex311, após a unidade de circuito de modem ex306 executar o processamento de espectro de difusão dos dados de texto e a unidade de circuito de envia/recebe ex301 executar a conversão digital para analógico e a trans'5 formação de freqüência para os mesmos, os dados são transmitidos para o local de célula ex110 através da antena ex201.
Quando dados de imagem são transmitidos no modo de comunicação de dados, os dados da imagem filmados pela unidade de câmara ex203 são fornecidos para a unidade de codificação de imagem ex312 atra10 vés da unidade de interface com a câmara ex303. Quando eles não são transmitidos, também é possível exibir os dados da imagem filmada pela unidade de câmara ex203 diretamente na unidade de vídeo 202 através da unidade de interface com a câmara ex303 e da unidade de controle do LCD ex302.
A unidade de codificação de imagem ex312, a qual inclui o dispositivo de codificação de imagem como explicado na presente invenção, compacta e codifica os dados da imagem fornecidos a partir da unidade de câmara ex203 pelo método de codificação utilizado para o dispositivo de codificação de imagem como apresentado nas modalidades mencionadas aci20 ma de modo a transformar os mesmos em dados de imagem codificados e enviar os mesmos para a unidade de multiplexação/demultiplexação ex308. Nesta hora, o telefone celular ex115 envia as vozes recebidas pela unidade de entrada de voz ex205 durante a filmagem pela unidade de câmara ex203 para a unidade de multiplexação/demultiplexação ex308 como dados de voz 25 digitais através da unidade de processamento de voz ex305.
A unidade de multiplexação/demultiplexação ex308 multiplexa os dados de imagem codificados fornecidos a partir da unidade de codificação de imagem ex312 e os dados de voz fornecidos a partir da unidade de processamento de voz ex305 por um método predeterminado, a unidade de 30 circuito de modem ex306 executa o processamento de espectro de difusão dos dados multiplexados obtidos como um resultado da multiplexação e a unidade e circuito de envia/recebe ex301 executa a conversão digital para analógico e a transformação de frequência dos dados para transmitir através da antena ex201.
No que diz respeito a receber dados de um arquivo de imagem em movimento que está ligado com uma página da Web (Rede) ou seme5 lhante no modo de comunicação de dados, a unidade de circuito de modem ex306 executa o processamento inverso de espectro de difusão dos dados recebidos a partir do local da célula ex110 através da antena ex201 e envia os dados multiplexados obtidos como resultado do processamento para a unidade de multiplexação/demultiplexação ex308.
De modo a decodificar os dados multiplexados recebidos através
I da antena ex201, a unidade de multiplexação/demultiplexação ex308 separa os dados multiplexados em um fluxo de bits de dados de imagem e em um fluxo de bits de dados de voz e fornece os dados de imagem codificados para a unidade de decodificação de dados ex309 e os dados de voz para a 15 unidade de processamento de voz ex305, respectivamente, através do barramento síncrono ex313.
A seguir, a unidade de decodificação de imagem ex309, a qual inclui o dispositivo de decodificação de imagem como explicado na presente invenção decodifica o fluxo de bits de dados de imagem pelo método de de20 codificação correspondendo ao método de codificação como apresentado nas modalidades mencionadas acima para gerar os dados de imagem em movimento reproduzidos e fornece estes dados para a unidade de vídeo ex202 através da unidade de controle LCD ex302 e assim os dados de imagem incluídos em um arquivo de imagem em movimento ligados com uma 25 página da Rede, por exemplo, são exibidos. Ao mesmo tempo, a unidade de processamento de voz ex305 converte os dados de voz em dados de voz analógicos e fornece estes dados para a unidade de saída de voz ex208 e assim os dados de voz incluídos no arquivo de imagem em movimento ligado com uma página da Rede, por exemplo, são reproduzidos.
A presente invenção não está limitada ao sistema mencionado acima e o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem nas modalidades mencionadas acima pode ser incorpora75 do em um sistema de difusão digital como apresentado na figura 38. Tal difusão digital terrestre ou por satélite tem estado nos noticiários ultimamente. Mais especificamente, um fluxo de bits de informação de vídeo é transmitido a partir de uma estação de difusão ex409 ou comunicado com um satélite de '5 difusão ex410 através de ondas de rádio. Quando da recepção do mesmo, o satélite de difusão ex410 transmite ondas de rádio para difusão, uma antena de uso doméstico ex406 com uma função de recepção de difusão por satélite recebe as ondas de rádio e uma televisão (receptor) ex401 ou uma caixa decodificadora (STB) ex407 decodifica o fluxo de bits para reprodução. O 10 dispositivo de decodificação de imagem como apresentado nas modalidades mencionadas acima pode ser implementado no dispositivo de reprodução ex403 para ler e decodificar o fluxo de bits gravado em um meio de armazenamento ex402 que é um meio de gravação tal como um CD e DVD. Neste caso, os sinais de vídeo reproduzidos são exibidos em um monitor ex404.
Também é concebido implementar o dispositivo de decodificação de imagem na caixa decodificadora ex407 conectada com um cabo ex405 para uma televisão a cabo ou antena ex406 para difusão por satélite e/ou terrestre de modo a reproduzir os mesmos em um monitor ex408 da televisão ex401. O dispositivo de decodificação de imagem pode ser incorporado na televisão, 20 não na caixa decodificadora. Ou, um carro ex412 possuindo uma antena ex411 pode receber sinais a partir do satélite ex410 ou do local de célula ex107 para reproduzir as imagens em movimento em um dispositivo de vídeo tal como um sistema de navegação do carro ex413.
Adicionalmente, o dispositivo de codificação de imagem como apresentado nas modalidades mencionadas acima pode codificar sinais de imagem para gravação em um meio de gravação. Como um exemplo concreto, existe um gravador ex420, tal como um gravador de DVD para gravar sinais de imagem em um disco DVD ex421 e um gravador de disco para gravar os mesmos em um disco rígido. Eles podem ser gravados em um car30 tão SD ex422. Se o gravador ex420 incluir o dispositivo de decodificação de imagem como apresentado nas modalidades mencionadas acima, os sinais de imagem gravados no disco DVD ex421 ou no cartão SD ex422 pode ser reproduzido para exibição no monitor ex408.
Como a estrutura do sistema de navegação de carro ex413, a estrutura sem a unidade de câmara ex203, a unidade de interface com a câmara ex303 e a unidade de codificação de imagem ex312, fora dos com5 ponentes apresentados na figura 37, é concebível. O mesmo vale para o computador ex111, para a televisão (receptor) ex401 e para outros.
Em adição, três tipos de implementações podem ser concebidas para um terminal tal como o telefone celular mencionado acima ex114; um terminal de envio/recepção implementado tanto com um codificador como 10 com um decodificador; um terminal de envio implementado somente com um I codificador; e um terminal de recepção implementado somente com um decodificador.
Como descrito acima, é possível utilizar o método de codificação de imagem ou o método de decodificação de imagem nas modalidades 15 mencionadas acima em qualquer um dos dispositivos e sistemas mencionados acima e utilizando este método, os efeitos descritos acima podem ser obtidos.
A partir da invenção assim descrita, será óbvio que as modalidades da invenção podem ser variadas de vários modos. Tais variações não 20 são para ser consideradas como um desvio do espírito e do escopo da invenção e todas tais modificações como seriam óbvias para os com conhecimento na técnica são pretendidas para inclusão dentro do escopo das reivindicações seguintes.
Como é descrito acima, pelos métodos de codificação de ima25 gem e pelos métodos de decodificação de imagem de acordo com a presente invenção, é possível realizar o método de codificação de imagem e o método de decodificação de imagem para restaurar a imagem corretamente mesmo se parte da informação de gerenciamento de memória for perdida pelo erro do canal de transmissão e o método de codificação de imagem e o 30 método de decodificação de imagem para selecionar candidatas das imagens de referência que podem ser referidas mais apropriadamente e aperfeiçoar a eficiência da codificação e portanto, seu valor prático é alto.
Aplicabilidade Industrial
O dispositivo de codificação de imagem de acordo com a presente invenção é útil como o dispositivo de codificação de imagem que é incluído em um computador pessoal e em um PDA (Assistente Pessoal Digi'5 tal) que estão equipados com a função de comunicação, em uma estação de difusão digital, em um telefone celular e semelhantes.
Adicionalmente, o dispositivo de decodificação de imagem de acordo com a presente invenção é útil como o dispositivo de decodificação de imagem que é incluído em um computador pessoal e em um PDA que 10 estão equipados com a função de comunicação, em uma STB (caixa decodificadora) que recebe difusão digital, em um telefone celular e em semelhantes.