BRPI0303673B1 - Método de codificação de imagem - Google Patents

Método de codificação de imagem Download PDF

Info

Publication number
BRPI0303673B1
BRPI0303673B1 BRPI0303673-1A BRPI0303673A BRPI0303673B1 BR PI0303673 B1 BRPI0303673 B1 BR PI0303673B1 BR PI0303673 A BRPI0303673 A BR PI0303673A BR PI0303673 B1 BRPI0303673 B1 BR PI0303673B1
Authority
BR
Brazil
Prior art keywords
image
memory
management information
command
encoding
Prior art date
Application number
BRPI0303673-1A
Other languages
English (en)
Inventor
Shiniya Kadono
Satoshi Kondo
Makoto Hagai
Kiyofumi Abe
Original Assignee
Godo Kaisha Ip Bridge 1
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Godo Kaisha Ip Bridge 1 filed Critical Godo Kaisha Ip Bridge 1
Priority to BRPI0318797A priority Critical patent/BRPI0318797B1/pt
Publication of BRPI0303673B1 publication Critical patent/BRPI0303673B1/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

método de codificação de imagem e método de decodificação de imagem. a presente invenção refere-se a um método de codificação de imagem e um método de decodificação de imagem pelos quais uma imagem pode ser restaurada corretamente mesmo se parte da informação de gerenciamento de memória for perdida por um erro do canal de transmissão, uma candidata de uma imagem de referência que pode ser referida é selecionada mais apropriadamente e a eficiência da codificação é aperfeiçoada. o método de codificação de imagem inclui a etapa para executar a codificação de uma imagem (etapa 100), uma etapa para julgar se uma imagem na memória que nunca é utilizada como referência existe (etapa 102), uma etapa para codificar a informação de gerenciamento de memória para liberar a imagem na memória que nunca é utilizada como referência quando uma imagem na memória que nunca é utilizada como referência existe (etapa 103), uma etapa para liberar a imagem na memória que nunca é utilizada como referência (etapa 104), uma etapa para julgar se a informação de gerenciamento de memória que libera a imagem na memória que nunca é utilizada como referência é codificada por se codificar uma imagem imediatamente antes (etapa 105) e uma etapa para codificar novamente a informação de gerenciamento de memória que libera a imagem na memória que nunca é utilizada como referência quando a informação de gerenciamento de memória é codificada (etapa 106).

Description

A presente invenção refere-se a um método de codificação de imagem para compactar um sinal de imagem em movimento de forma eficiente utilizando a correlação entre as imagens, com um método de decodificação de imagem para decodificar a imagem em movimento de forma correta e com um programa para compactar a imagem em movimento por software.
Técnica Anterior
Em anos recentes, uma multimídia que integra áudio, vídeo e outras informações refere-se ao áudio e ao vídeo que têm sido populares; a mídia de informação convencional, a saber, um jornal, uma revista, uma TV, um rádio, um telefone estariam integrados na multimídia. Em geral, a multimídia refere-se e representa não somente letras mas também gráficos, uma voz e particularmente uma imagem. Para tornar a mídia de informação convencional à multimídia, é essencial representar a informação em uma forma digital.
Visto que, quando a quantidade de informação de cada mídia de informação é estimada, a quantidade de informação por letra é 1 até 2 bytes, enquanto que a da voz por segundo precisa mais do que 64 kbits (qualidade de conversão por telefone) e adicionalmente aquela de uma imagem em movimento por segundo precisa mais do que 100 Mbits (padrão de qualidade de difusão de TV) e portanto não é realístico lidar com muita informação da mídia de informação como na forma digital. Por exemplo, um Telefone TV já tem estado em uso prático pela ISDN (Rede Digital de Serviço Integrado), o qual tem a velocidade de transmissão de 64 Kbps até 1,5 Mbps mas é impossível transmitir vídeos de uma TV e de uma câmara diretamente através da ISDN.
Então, uma tecnologia para compactar informação torna-se necessária. Por exemplo, no caso de um Telefone TV, a tecnologia de com2 pactação de imagem em movimento do padrão H.261 ου H.263 internacionalmente padronizado pela ITU-T (International Telecommunication Union
Telecommunication Standardization Section) é utilizada. Adicionalmente, é possível pelo padrão MPEG-1 conter informação de imagem junto com informação de voz em um CD (Disco Compacto) de música comum.
Aqui, o MPEG (Moving Picture Experts Group) é um padrão internacional para compactação digital de um sinal de imagem em movimento e o MPEG-1 é um padrão para compactar o sinal de imagem em movimento para 1,5 Mbps, a saber, cerca de um terço da informação de um sinal de TV. Adicionalmente, a velocidade de transmissão cujo o sujeito é o padrão MPEG-1 está principalmente limitada a cerca de 1,5 Mbps; padronizada pelo MPEG-2 para satisfazer a demanda adicional por imagem de alta qualidade, o sinal de imagem em movimento é compactado para 2 até 15 Mbps.
Adicionalmente, nas atuais circunstâncias, pelo grupo de trabalho (ISO/IEC JTC1/SC29/WG11) que tem realizado a padronização do MPEG-1 e MPEG-2, o MPEG-4 que possui uma taxa de compactação adicionalmente mais elevada tem sido padronizado. O MPEG-4 não somente torna possível primeiro executar a codificação altamente eficiente com uma baixa taxa de bits, mas também uma tecnologia poderosa de resistência a erro é introduzida. A tecnologia pode minimizar a degradação subjetiva da qualidade da imagem mesmo se um erro em um canal de transmissão ocorrer. Adicionalmente, o ISO/IEC e o ITU-T juntamente realizam a atividade de padronização do JVT (Grupo de Junção de Vídeo) como um método de codificação de tela da próxima geração; no presente momento, o que é chamado de Modelo de Junção (2 (JM2) é o mais recente.
Diferente da codificação de imagem em movimento convencional, o JVT pode selecionar uma imagem arbitrária dentre várias imagens como uma imagem de referência precedente. Aqui, uma imagem representa um quadro ou um campo.
A figura 1A é um diagrama que explica a codificação da imagem que executa a codificação referindo-se a uma imagem selecionada de várias imagens de referência armazenadas em uma memória. A figura 1B é um diagrama de estrutura que apresenta a estrutura da memória que armazena as imagens.
Como apresentado na figura 1B, a memória é constituída da memória de curto prazo e da memória de longo prazo. A memória de curto prazo memoriza várias imagens codificadas/decodificadas imediatamente antes e corresponde às imagens de referência de uma assim chamada imagem P(lmagem Codificada por Predição) e uma imagem B (Imagem Codificada por Predição Dupla) do MPEG-1 e do MPEG-2. A memória de longo prazo é utilizada par armazenar um sinal de imagem mais longo do que a memória de curto prazo.
Normalmente, a memória de curto prazo é uma memória FIFO (primeiro que entra, primeiro que sai). No caso de armazenar uma imagem acima do limite superior da memória, a imagem mais antiga na memória de curto prazo é liberada e uma nova imagem é armazenada na área. Por conseqüência, normalmente para referir-se a uma imagem de referência que foi liberada da memória pelo mecanismo de FIFO, é possível referir-se à imagem de referência por um tempo longo por mover a imagem de referência antecipadamente da memória de curto prazo para a memória de longo prazo e armazenar a imagem na memória de longo prazo. A memória de longo prazo é um método para claramente designar a área de armazenamento; é possível referir-se à imagem armazenada na área a não ser que a mesma área seja designada e gravada por cima.
A figura 1A apresenta a situação de predição na hora da codificação da imagem; a imagem do quadro de imagem Νρ 2 refere-se à imagem do quadro de imagem N9 0; a imagem do quadro de imagem N9 1 refere-se à imagem do quadro de imagem N9 0 ou da imagem N9 2. De forma similar, a imagem do quadro de imagem N9 4 refere-se às imagens dos quadros de imagens N9s 0 e 2; a imagem do quadro de imagem N9 6 refere-se à imagem do quadro de imagem N9 0. Adicionalmente, a imagem do quadro de imagem N9 5 pode referir-se às imagens dos quadros de imagens N9s 0, 2, 4 e
6.
Agora, nesta figura 1A, as imagens dos quadros de imagens N9s
0, 6 e 12 são referidas após um tempo relativamente longo, enquanto as imagens dos quadros Nss 2, 4 e 8 são referidas somente pelas imagens de curto tempo posteriores. Por conseqüência, como é apresentado na figura 1B, a área de memória para armazenar imagens é dividida na memória de curto prazo e na memória de longo prazo; as imagens dos quadros de imagens N9s 0, 6 e 12 podem ser armazenadas na memória que precisa de armazenamento de longo prazo.
Agora, o uso da memória apresentado na figura 1A eficazmente precisa de gerenciamento sofisticado de memória; um mecanismo para controlar a memória é introduzido no JVT.
Os comandos para controlar a memória são como se segue:
1. O comando para selecionar as imagens que podem ser referidas;
2. O comando para liberar a área de memória que armazena as imagens que são sem uso como imagens de referência da codificação por predição na memória de curto prazo; e
3. O comando para mover o conteúdo da memória de curto prazo para a memória de longo prazo.
Ao se codificar e decodificar uma imagem, desde que a imagem que possui o menor erro de predição na unidade de bloco é selecionada das imagens que podem ser referidas, um sinal que designa as imagens de referência na unidade de bloco é necessário. Por eleger antecipadamente as imagens que podem ser referidas, é possível reduzir o número de candidatas das imagens de referência para um valor apropriado e reduzir o número e bits do sinal de designação de imagem de referência que é necessário na unidade de bloco.
Adicionalmente, no caso de mover as imagens da memória de curto prazo para a memória de longo prazo, desde que é desnecessário armazenar as imagens de mesmo conteúdo tanto na memória de curto prazo como na memória de longo prazo, as imagens da memória de curto prazo são liberadas.
A figura 2A e a figura 2B são fluxogramas que apresentam um método convencional de codificação de imagem e um método convencional de decodificação de imagem.
A figura 2A apresenta operações que um dispositivo de codificação de imagem executa para liberar a área de memória que armazena as 5 imagens que nunca são utilizadas como imagens de referência na codificação por predição. Na figura 2A, para começar, o dispositivo de codificação de imagem codifica a imagem informada (Etapa 100). Após a codificação, o dispositivo de codificação de imagem examina se existe uma área desnecessária (as imagens que não são referidas na codificação futura) na memó10 ria (Etapa 101) e julga se uma imagem na memória que nunca é utilizada como referência existe ou não (Etapa 102). Quando a imagem na memória que nunca é utilizada como referência é julgada como existindo (Sim na Etapa 102), o comando para liberar uma imagem na memória que nunca é utilizada como referência é codificado como informação de gerenciamento ί 15 de memória (Etapa 103), uma imagem na memória que nunca é utilizada como referência é liberada (uma imagem na memória é apagada) (Etapa 104) e o processamento termina. Por outro lado, no caso do dispositivo de codificação de imagem julgar que não existe imagem na memória que nunca é utilizada como referência (Não na Etapa 102), o processamento termina 20 sem executar as operações na Etapa 103 e na Etapa 104.
A seguir, as operações que um dispositivo de decodificação de imagem executa para liberar a área de memória que armazena imagens que nunca são utilizadas como referência na codificação por predição são explicadas baseado no fluxograma da figura 2B. Para começar, o dispositivo de 25 decodificação de imagem decodifica a informação de gerenciamento de memória (Etapa 110) e decodifica um sinal de imagem a partir de um sinal codificado (Etapa 111). O dispositivo de decodificação de imagem julga se existe um comando de liberação de memória ou não como resultado do exame (Etapa 112). Se o comando de liberação de memória existir (Sim na 30 Etapa 112), o dispositivo de decodificação de imagem julga se existem imagens que devam ser liberadas pelo comando ou se a memória já foi liberada (as imagens já foram apagadas) (Etapa 113). Se o dispositivo de decodifi cação de imagem julgar que a memória já foi liberada (Sim na Etapa 112), o dispositivo de decodificação de imagem assume que isto é um ERRO porque o JVT proíbe transmitir o comando para liberar a mesma imagem novamente após liberar a imagem da memória e portanto liberar a memória novamente que já foi liberada é o ERRO. Por outro lado, se o dispositivo de decodificação de imagem julgar que a memória não está liberada (Não na Etapa 113); ele libera a memória (Etapa 114) e termina o processamento. Se ele julgou que não existe comando de liberação de memória (Não na Etapa 112), as operações da Etapa 110 e da Etapa 111 não são executadas e o processamento termina. Incidentalmente, a Etapa 110 e a Etapa 11 não estão em ordem particular e podem alterar-se em direções opostas.
A figura 3A e a figura 3B são fluxogramas que apresentam outro método convencional de codificação de imagem e outro método convencional de decodificação de imagem.
A figura 3A apresenta as operações que o dispositivo de codificação de imagem executa para mover as imagens da memória de curto prazo para a memória de longo prazo.
Na figura 3A, para começar, o dispositivo de codificação de imagem codifica a imagem informada (Etapa 120). Após a codificação, o dispositivo de codificação de imagem examina se existem imagens que devem ser movidas para a memória de longo prazo (Etapa 121) e julga se existem imagens que devem ser movidas ou não (Etapa 122). Se existirem as imagens que devem ser movidas (Sim na Etapa 122), o dispositivo de codificação de imagem codifica um comando para indicar como as imagens são movidas para a memória de longo prazo como a informação de gerenciamento de memória (Etapa 123), move as imagens para a memória de longo prazo baseado no comando (Etapa 124) e termina o processamento. Por outro lado, no caso do dispositivo de codificação de imagem julgar que não existe imagem que deva ser movida para a memória de longo prazo (Não na Etapa 122), o dispositivo de codificação de imagem não executa as operações da Etapa 123 e da Etapa 124 e termina o processamento.
A seguir, as operações que o dispositivo de decodificação de imagem executa para mover as imagens da memória de curto prazo para a memória de longo prazo são explicadas baseado no fluxograma da figura 3B. Para começar, o dispositivo de decodificação de imagem decodifica a informação de gerenciamento de memória (Etapa 130). A seguir, o dispositi5 vo de decodificação de imagem decodifica um sinal de imagem a partir de um sinal codificado (Etapa 131). Então, o dispositivo de decodificação de imagem julga se existe um comando para mover as imagens para a memória de longo prazo ou não na informação de gerenciamento de memória decodificada (Etapa 132). Se o dispositivo de decodificação de imagem julgar 10 que existe o comando (Sim na Etapa 132), ele julga a seguir se existem imagens que devam ser movidas pelo comando ou se as imagens já foram movidas (não existe imagem porque as imagens são liberadas após o movimento) (Etapa 133). O JVT proíbe transmitir o comando para mover a mesma imagem novamente para a memória de longo prazo após mover a • 15 imagem para a memória de longo prazo. Por conseqüência, no caso de mover a imagem que já foi movida para a memória de longo prazo novamente para a memória de longo prazo, é assumido como sendo o ERRO. Portanto, quando o dispositivo de decodificação de imagem julga que a imagem já foi movida (Sim na Etapa 133), o dispositivo de decodificação de imagem as20 sume isto como sendo o ERRO e quando o dispositivo de decodificação de imagem julga que a imagem não está movida, o dispositivo de decodificação de imagem move a imagem para a memória de longo prazo (Etapa 134) e termina o processamento.
Por outro lado, no caso do dispositivo de decodificação de ima25 gem julgar que não existe comando para mover a imagem para a memória de longo prazo (Não na Etapa 132), o dispositivo de decodificação de imagem não executa as operações da Etapa 133 e da Etapa 134 e termina o processamento. Incidentalmente, a Etapa 130 e a Etapa 131 não estão em ordem particular e podem alterar-se em direção oposta.
A figura 4A e a figura 4B são fluxogramas que apresentam ainda outro método convencional de codificação de imagem e ainda outro método convencional de decodificação de imagem.
Para começar, as operações que o dispositivo de codificação de imagem executa para selecionar a imagem que pode ser referida são explicadas baseado no fluxograma da figura 4A.
Para um início, o dispositivo de codificação de imagem selecio5 na imagens de referência que são esperadas ter uma alta correlação com as imagens codificadas (geralmente, imagens de referência que estão temporariamente fechadas) como candidatas das imagens de referência (Etapa 200). A seguir, o dispositivo de codificação de imagem codifica a informação de designação (um tipo de informação de gerenciamento de memória) que 10 indica as candidatas selecionadas das imagens de referência (Etapa 201), refere-se e codifica uma imagem de referência apropriada das candidatas selecionadas das imagens de referência na unidade de bloco (Etapa 202) e termina o processamento. Incidentalmente, a Etapa 201 e a Etapa 202 não estão em ordem particular e podem ser alteradas em direções opostas.
-15 A seguir, as operações que o dispositivo de decodificação de imagem executa para selecionar a imagem que pode ser referida são explicadas baseado no fluxograma da figura 4B.
Para um início, o dispositivo de decodificação de imagem decodifica a informação de designação, um tipo de informação de gerenciamento 20 de memória (Etapa 210), seleciona as candidatas das imagens de referência a partir da memória como um resultado (Etapa 211), seleciona uma imagem de referência apropriada das candidatas selecionadas das imagens de referência na unidade de bloco, decodifica a imagem de referência apropriada enquanto referindo-se à mesma (Etapa 212) e termina o processamento.
Agora, nos métodos convencionais de codificação de imagem e nos métodos convencionais de decodificação de imagem, o dispositivo de codificação de imagem codifica e emite o comando para liberar as imagens que nunca são utilizadas como referência a partir da memória e o comando para mover as imagens da memória de curto prazo para a memória de longo prazo e transmite os comandos para o dispositivo de decodificação de imagem, o qual decodifica os comandos. O número desta transmissão está limitado a somente uma imagem e portanto no caso da imagem incluindo o comando sendo perdido por um erro de transmissão ou semelhante, é impossível decodificar a imagem porque o dispositivo de decodificação não pode decodificar a colocação da imagem na memória de forma correta.
Adicionalmente, ao se codificar e decodificar uma imagem, no caso de selecionar uma imagem de referência, quando o dispositivo de codificação de imagem seleciona simplesmente as imagens temporariamente fechadas somente como as candidatas de imagem de referência, é impossível executar uma codificação mais adequada considerando a capacidade de dimensionamento (em um exemplo de estrutura por predição na figura 1A, é 10 possível decodificar uma imagem I (Imagem Intra codificada) e uma imagem P (Imagem Codificada Por Predição) mesmo se uma imagem B (Imagem Codificada por Predição Dupla) não for decodificada ou é possível decodificar outras imagens P mesmo se as imagens P das imagens N9s 4, 10 e 16 não forem decodificadas) para decodificar uma imagem. Em outras palavras,
- 15 apesar das imagens que são temporariamente adjacentes à imagem do quadro de imagem N9 6 serem imagens dos quadros de imagens N9s 4 e 2, na realidade, somente a imagem do quadro de imagem N9 0 pode ser referida e portanto, se as imagens dos quadros de imagem N9s 4 e 2 estiverem incluídas nas candidatas da imagem de referência, a eficiência para a codi20 ficação não é muito boa.
Adicionalmente, nos métodos convencionais de codificação de imagem, desde que é proibido transmitir o comando para liberar a imagem que nunca é utilizada como referência e o comando para mover as imagens da memória de curto prazo para a memória de longo prazo ligando-se com 25 uma imagem que não está armazenada na memória, a transmissão flexível dos comandos de informação de gerenciamento de memória é bloqueada. Proibir transmitir os comandos ligando-se à imagem que não está armazenada na memória tem a seguinte razão. A saber, a imagem que não está armazenada na memória possui o menor significado; a possibilidade de que 30 ela não seja decodificada pela capacidade de dimensionamento é alta; o dispositivo de decodificação de imagem não pode decodificar a colocação da imagem corretamente porque os comandos ligando-se à imagem que não está armazenada nesta memória não são decodificados; a razão para proibir transmitir os comandos ligando-se à imagem que não está armazenada na memória é evitar a situação.
Descrição da Invenção
Por conseqüência, para resolver o problema explicado acima, é um objetivo desta invenção proporcionar um método de codificação de imagem e um método de decodificação de imagem para restaurar uma imagem corretamente mesmo se parte do gerenciamento da memória for perdida por um erro do canal de transmissão e um método de codificação de imagem e 10 um método de decodificação de imagem para selecionarem candidatas das imagens de referência que podem ser referidas de forma mais apropriada e aperfeiçoar a eficiência da codificação.
Para resolver este problema, o método de codificação de imagem de acordo com a presente invenção é um método de codificação de • 15 imagem para codificar um quadro referindo-se a uma imagem de referência selecionada a partir de várias imagens de referência armazenadas em uma »
memória, incluindo: uma etapa de codificação de imagem para codificar uma imagem referindo-se à imagem de referência selecionada; uma etapa de codificação de informação de gerenciamento para codificar a informação de 20 gerenciamento de memória para controlar e gerenciar as imagens de referência armazenadas na memória ligando-se à imagem codificada; e uma etapa de gravação da informação de gerenciamento para codificar a informação de gerenciamento de memória novamente separadamente da codificação na etapa de codificação da informação de gerenciamento.
Como resultado, desde que a informação de gerenciamento de memória é codificada e emitida várias vezes, mesmo se ocorrer um erro de canal de transmissão quando a informação de gerenciamento de memória é transmitida para o dispositivo de decodificação, a possibilidade de que a imagem seja restaurada corretamente torna-se alta porque pode ser pensa30 do que qualquer uma das informações de gerenciamento de memória que é transmitida várias vezes é transmitida e decodificada.
Adicionalmente, na etapa de gravação da informação de geren11 ciamento, a informação que identifica a imagem codificada com a qual a informação de gerenciamento de memória está ligada na etapa de codificação da informação de gerenciamento pode ser ligada com a informação de gerenciamento de memória que é novamente codificada.
Como resultado, no caso de erro do canal de transmissão ocorrendo quando a informação de gerenciamento de memória codificada primeiro ligando-se a uma imagem codificada é transmitida, desde que uma imagem codificada ligada à informação de gerenciamento de memória é identificada, é possível detectar em que momento o erro do canal de trans10 missão ocorreu.
Adicionalmente, na etapa de codificação da informação de gerenciamento, quando a informação de gerenciamento de memória está ligada a uma imagem codificada que não está armazenada na memória, a informação de gerenciamento de memória também pode estar ligada a uma 15 imagem codificada armazenada na memória na etapa de gravação da informação de gerenciamento.
Como resultado, como a informação de gerenciamento de memória está ligada a uma imagem importante que é decodificada e armazenada na memória, a decodificação da informação de gerenciamento de me20 mória é executada com confiabilidade e portanto a possibilidade de que uma imagem seja restaurada corretamente torna-se alta.
Além disso, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem para decodificar uma imagem referindo-se a uma imagem de referência selecio25 nada a partir de várias imagens de referência armazenadas na memória, o método de decodificação de imagem incluindo: uma etapa para decodificar a informação de gerenciamento de memória para controlar e gerenciar uma imagem de referência armazenada na memória; e uma etapa para liberar a área de memória quando a área de memória a ser liberada não tiver ainda 30 sido liberada e não executar processamento junto à memória quando a área de memória a ser liberada já tiver sido liberada baseada na informação de gerenciamento de memória decodificada, no caso de liberar uma imagem na memória que nunca é utilizada como referência.
Como resultado, mesmo se um dispositivo de decodificação receber informação de gerenciamento de memória que indique liberar uma imagem da memória várias vezes, o dispositivo de decodificação não pro5 cessa a mesma como um erro e pode decodificar uma imagem corretamente.
Adicionalmente, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem para decodificar um quadro referindo-se a uma imagem de referência seleciona10 da de várias imagens de referência armazenadas na memória, onde a memória pode incluir a memória de curto prazo cujo tempo de armazenamento de uma imagem de referência é curto e uma memória de longo prazo cujo tempo de armazenamento de uma imagem de referência pode ser mais longo do que o tempo de armazenamento da memória de curto prazo e o méto.15 do de decodificação de imagem pode incluir: uma etapa para decodificar a informação de gerenciamento de memória para controlar e gerenciar uma imagem de referência armazenada na memória; e uma etapa para mover a imagem de referência da memória de curto prazo para a memória de longo prazo quando uma imagem de referência de um objeto de movimento existir 20 na memória de curto prazo e executar nenhum movimento na memória se um quadro de referência de um objeto de movimento não existir na memória de curto prazo baseado na informação de gerenciamento de memória decodificada, no caso de mover a imagem de referência armazenada na memória a partir da memória de curto prazo para a memória de longo prazo.
Como resultado, mesmo se um dispositivo de decodificação receber a informação de gerenciamento de memória várias vezes, o dispositivo de decodificação não processa a mesma como um erro e pode decodificar uma imagem corretamente.
Adicionalmente, um método de codificação de imagem para co30 dificar uma imagem referindo-se a uma imagem de referência selecionada de várias imagens de referência armazenadas na memória, o método de codificação de imagem pode incluir uma etapa para codificar uma imagem de referência armazenada na memória cujo valor de prioridade é mais alto do que um valor de prioridade de uma imagem codificada como um candidato a uma imagem de referência.
Como resultado, é possível selecionar um candidato a uma ima5 gem que pode ser referida mais apropriadamente e aperfeiçoar a eficiência da codificação.
Além disso, o método de codificação de imagem de acordo com a presente invenção é um método de codificação de imagem incluindo: uma etapa para codificar uma imagem codificadora; uma etapa para julgar se 10 uma imagem de referência que não é referida após a codificação da imagem codificada existe na memória ou não; uma etapa para codificar um comando que indica liberar uma imagem na memória que nunca é utilizada como referência após a decodificação da imagem codificada por um dispositivo de decodificação que decodifica os dados de codificação como um comando , 15 para liberar uma imagem na memória que nunca é utilizada como referência para não ser referido quando existir a imagem de referência que não é referida; uma etapa para liberar uma imagem na memória que nunca é utilizada como referência; e uma etapa para codificar um comando que indica liberar uma imagem na memória que nunca é utilizada como referência antes da 20 outra imagem codificada mencionada abaixo ser decodificada quando outra imagem codificada após a imagem codificada ser codificada.
Como resultado, mesmo se o primeiro comando que indica liberar uma imagem na memória que nunca é utilizada como referência for abandonado, o comando transmitido a seguir é executado antes da decodi25 ficação da imagem e portanto é possível reduzir o atraso ao se executar o comando.
Adicionalmente, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem incluindo: uma etapa para decodificar a informação de gerenciamento de me30 mória para gerenciar memória ligando-se a uma imagem decodificada; uma primeira etapa de julgamento para julgar se a informação de gerenciamento de memória é um comando utilizado antes da decodificação que indica exe cutar processamento para gerenciar memória antes da decodificação da imagem decodificada; uma segunda etapa de julgamento para julgar se o processamento para gerenciar memória já foi feito ou não quando a informação de gerenciamento de memória é julgada como sendo o comando uti5 lizado antes da decodificação na primeira etapa de julgamento; e uma etapa para decodificar a imagem decodificada quando o processamento para gerenciar memória é julgado para ser feito pela segunda etapa de julgamento e a decodificação da imagem decodificada após o processamento para gerenciar a memória baseado na informação de gerenciamento de memória 10 quando o processamento para gerenciar a memória é julgado como para não ser feito na segunda etapa de julgamento.
Como resultado, mesmo se o primeiro comando que indica liberar uma imagem na memória que nunca é utilizada como referência for abandonado, o comando transmitido a seguir é executado antes da decodi. 15 ficação da imagem e portanto é possível reduzir o atraso ao se executar o comando.
Adicionalmente, o método de codificação de imagem de acordo com a presente invenção é um método de codificação de imagem incluindo: uma etapa para codificar uma imagem codificada; uma etapa de julgamento 20 para julgar se todas as imagens de referência na memória após a imagem codificada ser codificada são imagens que não são referidas; uma etapa para codificar um comando de inicialização que é um comando para liberar todos as imagens de referência na memória quando todas as imagens de referência na memória são julgadas como não sendo referidas na etapa de 25 julgamento; uma etapa de inicialização para liberar todas as imagens de referência na memória; e uma etapa para codificar um comando de reenvio de inicialização que é um comando que indica liberar todas as imagens de referência na memória baseadas na informação adicionada que torna todas as imagens de referência armazenadas na memória objetos de liberação 30 antes da imagem codificada liberada na hora da codificação da imagem codificada quando outra imagem codificada, codificada após a imagem codificada, é codificada.
;·. »;· .·. ··; .·. ,·· ··: Jj/ :* .:. ·.· ·.’ ·.· ·.· ·.' : ·.·
Como resultado, quando o comando de inicialização é transmitido para o dispositivo de decodificação, mesmo se o comando de inicialização for abandonado, pelo erro do canal de transmissão, é possível executar a inicialização na memória normalmente baseado na informação adicionada do comando de reenvio de inicialização.
Além disso, o método de decodificação de imagem de acordo com a presente invenção é um método de decodificação de imagem incluindo: uma etapa para decodificar a informação de gerenciamento de memória que gerencia a memória ligando-se a uma imagem decodificada; uma etapa 10 para decodificar a imagem decodificada; uma etapa de julgamento de inicialização para julgar se existe uma etapa de inicialização que seja um comando para liberar todas as imagens de referência na memória na informação de gerenciamento de memória; uma etapa de julgamento de reenvio de inicialização para julgar se existe um comando de julgamento de reenvio de . 15 inicialização que seja um comando para liberar todas as imagens de referência na memória baseadas na informação adicionada que indica objetos de liberação de modo a liberar imagens de referência armazenadas na memória antes de outra imagem decodificada que deva ser inicializada e liberada quando outra imagem de decodificação decodificada antes da imagem 20 decodificada for decodificada na informação de gerenciamento de memória quando o comando de inicialização não for julgado como existindo na informação de gerenciamento de memória na etapa de julgamento de inicialização; uma etapa de julgamento de conclusão da inicialização para julgar se todas as imagens de referência na memória foram liberadas quando a in25 formação de gerenciamento de memória é julgada como sendo o comando de reenvio de inicialização na etapa de julgamento de reenvio de inicialização; e uma etapa de liberação para liberar imagens de referência na memória baseadas na informação de adição quando todas as imagens de referência são julgadas como não estando liberadas na etapa de julgamento de 30 conclusão da inicialização.
Como resultado, enquanto o comando de inicialização é transmitido para o dispositivo de decodificação, mesmo se o comando de iniciali16 zação não tiver sido recebido no método de decodificação pelo erro do canal de transmissão, é possível executar a inicialização na memória corretamente baseado na informação adicionada do comando de reenvio de inicialização.
Adicionalmente, um meio de gravação no qual um fluxo de dados é gravado, o fluxo de dados sendo criado pela codificação na unidade de fração de imagem com referência a um imagem de referência selecionada a partir de várias imagens de referência armazenadas na memória, onde o fluxo de dados pode ser criado por codificar informação que designa uma 10 imagem de referência de um objeto a ser liberado ligando-se a pelo menos duas frações de imagem no caso de liberar a partir das imagens de referência da memória armazenadas na memória.
Como resultado, quando a codificação é executada na unidade de fração de imagem, mesmo se o erro do canal de transmissão ocorrer , 15 quando a informação de gerenciamento de memória for transmitida para o dispositivo de decodificação, a possibilidade de que a imagem seja restaurada corretamente na unidade de fração de imagem torna-se alta porque pode ser pensado que qualquer uma das informações de gerenciamento de memória que é transmitida várias vezes é transmitida e codificada.
Adicionalmente, um meio de gravação no qual um fluxo de dados é gravado, o fluxo de dados sendo criado por codificar a unidade de fração de imagem com referência a uma imagem de referência selecionada a partir de várias imagem de referência armazenadas na memória, onde o fluxo de dados pode ser criado por codificar informação que designa uma 25 imagem de referência de um objeto a ser liberado ligando-se a pelo menos duas frações de imagem no caso de liberação a partir das imagens de referência da memória armazenadas na memória, informação adicional que indica que as frações de imagem possuem informação que designa que a imagem de referência do objeto a ser liberado pode ser codificada ligando30 se às frações de imagem, e informação que apresenta informação que designa que a imagem de referência do objeto a ser liberado é referida quando a imagem de referência do objeto a ser liberado é referida em uma fração de . 15 imagem que não possui informação que designa a imagem de referência do objeto a ser liberado.
Como resultado, na fração de imagem que não tem informação que designa a imagem do objeto a ser liberado, desde que a adição da informação mencionada acima pode ser omitida, a eficiência da codificação aperfeiçoa-se.
Observe que a presente invenção pode ser percebida não somente como o método de codificação de imagem e como o método de decodificação de imagem, mas também como o dispositivo de codificação de imagem e o dispositivo de decodificação de imagem utilizando estes métodos, o meio de gravação no qual o fluxo de dados, o qual é decodificado pelo método de codificação de imagem, é gravado, e um programa que causa que um computador execute as etapas do método de codificação de imagem e do método de decodificação de imagem. É desnecessário dizer que tal programa pode ser distribuído através de meio de gravação tal como CDROM e de meio de transmissão tal como a Internet.
Informação Adicional a cerca da Técnica Anterior para este Pedido
O pedido de patente Japonesa N9 2002-110424 depositado em 12 de abril de 2002; o pedido de patente Japonesa N9 2002-190955 datado um 28 de junho de 2002, o pedido de patente Japonesa N9 2003-49711 depositado em 26 de fevereiro de 2003 e o pedido de patente provisório U.S. N9 60/377656 depositado em 6 de maio de 2002 são incorporados aqui por referência.
Breve Descrição dos Desenhos
A figura 1A é um diagrama que explica a codificação de imagem que executa a codificação referindo-se a uma imagem selecionada de várias imagens de referência armazenadas na memória, e a figura 1B é um diagrama de estrutura que apresenta a estrutura da memória que armazena as imagens.
A figura 2A é um fluxograma que apresenta um método convencional de codificação de imagem, e a figura 2B é um fluxograma que apresenta um método convencional de decodificação de imagem.
.:. ··* *·’ *·* ’·’ *·* : ’·*
Α figura 3Α é outro fluxograma que apresenta um método convencional de codificação de imagem, e a figura 3B é outro fluxograma que apresenta um método convencional de decodificação de imagem.
A figura 4A é ainda outro fluxograma que apresenta um método convencional de codificação de imagem, e a figura 4B é ainda outro fluxograma que apresenta um método convencional de decodificação de imagem.
A figura 5 é um diagrama de blocos que apresenta uma estrutura de um dispositivo de codificação de imagem da presente invenção.
A figura 6 é um fluxograma que apresenta o método de codificação de imagem de acordo com a primeira modalidade da presente invenção.
A figura 7 é um diagrama de blocos que apresenta a estrutura de um dispositivo de decodificação de imagem da presente invenção.
A figura 8 é um fluxograma que apresenta o método de decodifi, 15 cação de imagem de acordo com a segunda modalidade da presente invenção.
A figura 9 é um fluxograma que apresenta o método de codificação de imagem de acordo com a terceira modalidade da presente invenção.
A figura 10 é um fluxograma que apresenta o método de decodi20 ficação de imagem de acordo com a quarta modalidade da presente invenção.
A figura 11 é um fluxograma que apresenta o método de codificação de imagem de acordo com a quinta modalidade da presente invenção.
A figura 12 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sexta modalidade da presente invenção.
A figura 13 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sétima modalidade da presente invenção.
A figura 14A é um diagrama explicativo que apresenta a relação entre o N2 da imagem e o N2 da imagem armazenado da imagem e a ordem de transmissão, a figura 14B é um diagrama que apresenta uma relação entre o N2 da imagem a ser decodificado, o N2 da imagem a ser armazenado eoN9da imagem a ser liberado, e a figura 14C é um diagrama que apresenta outra relação entre o N2 da imagem a ser decodificado, o N2 da imagem a ser armazenado e o N2 da imagem a ser liberado.
A figura 15 é um diagrama de correspondência que apresenta o comando da informação de gerenciamento de memória na presente invenção.
A figura 16 é um fluxograma que apresenta o procedimento para executar o comando na oitava modalidade da presente invenção.
A figura 17 é um diagrama esquemático que apresenta a relação entre a informação de cabeçalho e os dados do quadro no sinal codificado de cada imagem.
A figura 18 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de ca. 15 beçalho dos sinais codificados.
A figura 19 é um diagrama explicativo que apresenta uma relação entre o N2 da imagem e o N2 da imagem armazenado de cada quadro e a ordem de transmissão.
A figura 20 é um fluxograma que apresenta o método para codi20 ficar o comando de inicialização.
A figura 21 é um fluxograma que apresenta o método para decodificar o comando de inicialização codificado.
A figura 22 apresenta os comandos da informação de gerenciamento de memória utilizados na oitava modalidade da presente invenção.
A figura 23 é um fluxograma que apresenta o método de codificação de imagem utilizando o comando de reenvio de inicialização na presente invenção.
A figura 24 é um fluxograma que apresenta um método para decodificar o comando de reenvio de inicialização codificado na presente in30 venção.
A figura 25 é um diagrama explicativo que apresenta outra relação entre o N2 da imagem e o N2 da imagem armazenado de cada quadro e a ordem de transmissão.
A figura 26 é um diagrama de correspondência que apresenta uma relação entre a informação de gerenciamento de memória e os comandos que são utilizados na nona modalidade da presente invenção.
A figura 27 é um fluxograma que apresenta um método de codificação de imagem na nona modalidade da presente invenção.
A figura 28 é um fluxograma que apresenta um método de decodificação de imagem na nona modalidade da presente invenção.
A figura 29A é um diagrama de correspondência que apresenta o conteúdo dos comandos e da informação adicionada, e a figura 29B é um diagrama de correspondência que apresenta os tempos de execução dos comandos.
A figura 30 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de ca, 15 beçalho de um sinal codificado.
A figura 31 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho de outro sinal codificado.
A figura 32 é um diagrama esquemático que apresenta a estru20 tura do fluxo de dados codificado na unidade de fração de imagem.
A figura 33A e a figura 33B são diagramas esquemáticos que apresentam as estruturas de fluxo de dados codificadas na unidade de fração de imagem.
As figuras 34A, 34B e 34C são diagramas explicativos a cerca de um meio de gravação para armazenar um programa para realizar o método de codificação de imagem ou o método de decodificação de imagem da primeira modalidade até a décima modalidade da presente invenção por um sistema de computador.
A figura 35 é um diagrama de blocos que apresenta a configura30 ção geral de um sistema de suprimento de conteúdo utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
A figura 36 é uma vista linear que apresenta um exemplo do telefone celular utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
A figura 37 é um diagrama de blocos que apresenta o telefone 5 celular utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção.
A figura 38 é um diagrama de blocos que apresenta a configuração de um sistema de difusão digital utilizando o método de codificação de imagem e o método de decodificação de imagem de acordo com a presente 10 invenção.
Melhor Modo para Realizar a Invenção
As presentes modalidades da presente invenção serão explicadas abaixo com referência às figuras.
Primeira Modalidade , 15 Para começar, a primeira modalidade é explicada.
A figura 5 é um diagrama de blocos que apresenta a estrutura de um dispositivo de codificação de imagem da primeira modalidade para realizar um método de codificação de imagem.
O dispositivo de codificação de imagem 100 inclui uma unidade 20 de controle de informação de memória 101, uma unidade de gerenciamento de memória de curto prazo 102, uma unidade de gerenciamento de memória de longo prazo 103, uma unidade de informação de gerenciamento de memória que não é de armazenamento 104, uma unidade de codificação de informação de gerenciamento 105, uma unidade de seleção de imagem de 25 referência 106, uma unidade de designação de área de armazenamento 107, uma unidade de designação de área de referência 108, uma memória de imagem 109, uma unidade de decodificação de imagem 111, uma unidade de codificação de imagem 110, uma unidade de codificação de comprimento variável 112, um contador 113 e um contador 114.
A unidade de seleção de imagem de referência 106 seleciona candidatas das imagens de referência a partir de um sinal de designação de prioridade Pri e da informação de tipo de imagem PicType que são informa22 dos a partir do exterior e por conseqüência informa para a unidade de controle de informação de memória 101.
A unidade de controle de informação de memória 101 julga se qualquer uma ou ambas dentre uma imagem (quadro de imagem) prece5 dente e uma imagem seguinte podem ser referidas pela informação de tipo de imagem PicType e instrui a unidade de designação de área de referência 108 para emitir a imagem de referência correspondente a partir da memória de imagem 109 para a unidade de codificação de imagem 110.
A unidade de codificação de imagem 110 refere-se à imagem de 10 referência emitida a partir da memória de imagem 109 e codifica o sinal de imagem informado Vin. A unidade de codificação de comprimento variável 112 adicionalmente executa a codificação de comprimento variável e emite um fluxo de codificação de imagem VideoStr. A saída da unidade de codificação de imagem 110 é novamente decodificada para ser uma imagem de, 15 codificada pela unidade de decodificação de imagem 111 e é armazenada na memória de imagem 109 como a imagem de referência.
Nesta hora, a posição da memória onde a imagem decodificada pode ser armazenada na memória de imagem 109 é designada como se segue. A unidade de controle de informação de memória 101 indaga a uni20 dade de gerenciamento de memória de curto prazo 102, especifica a posição de memória onde a imagem foi liberada na memória de curto prazo e instrui a memória de imagem 109 de modo que a unidade de designação de área de armazenamento 107 grave a imagem decodificada na posição de memória.
A unidade de gerenciamento de memória de curto prazo 102 informa para a unidade de controle de informação de memória 101 do comando para detectar as imagens desnecessárias (que não são referidas) na memória de curto prazo e apagar as mesmas (liberar a memória). Além disso, a unidade de gerenciamento de memória de longo prazo 103 informa a unidade de controle de informação de memória 101 do comando para mover as imagens na memória de curto prazo para a memória de longo prazo.
Por outro lado, para impedir a informação de gerenciamento de memória de ser danificada porque parte do fluxo de informação de gerenciamento de memória CtIStr é perdida pelo erro do canal de transmissão, o contador 113 para a memória de curto prazo e o contador 114 para a memória de longo prazo medem o número de codificações de comando para libe5 rar as imagens que nunca são utilizadas como referência e de comando para mover as imagens na memória de curto prazo para a memória de longo prazo. A transmissão dos comandos mencionados acima várias vezes tornase possível de acordo com a necessidade.
Adicionalmente, a unidade de gerenciamento de memória que não é de armazenamento 104 gerencia se o comando para liberar as imagens que nunca são utilizadas como referência e o comando para mover as imagens na memória de curto prazo para a memória de longo prazo são codificados ligados com a imagem que possui baixo valor de prioridade e é difícil de ser decodificada. No caso dos comandos mencionados acima se, 15 rem codificados ligados com a imagem que tem baixo valor de prioridade, a unidade de informação de gerenciamento de memória que não é de armazenamento 104 instrui a unidade de controle de memória 101 para codificar o comando novamente ligando-o com a imagem que possui o valor de prioridade mais elevado.
A seguir, um método de codificação de imagem de acordo com a primeira modalidade da presente invenção é explicado. A figura 6 é um fluxograma que apresenta o método de codificação de imagem de acordo com a primeira modalidade e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. A propósito, na figu25 ra 6, são dados os mesmos números que para as mesmas operações na figura 2A.
A característica do método de codificação de imagem apresentado na figura 6 é, no caso de uma imagem (um quadro de imagem) que nunca é utilizada como referência como a imagem de referência para a co30 dificação por predição existente na memória, repetidamente codificar o comando da informação de gerenciamento de memória para liberar a área de memória que armazena a imagem (para apagar a imagem). Deste modo, por codificar o comando da informação de gerenciamento de memória repetidamente, mesmo se um comando da informação de gerenciamento de memória for perdido pelo erro do canal de transmissão, é possível restaurar a informação de gerenciamento da imagem armazenada na memória por outro 5 comando da informação de gerenciamento de memória e portanto a possibilidade de que a imagem seja restaurada corretamente independente do erro do canal de transmissão torna-se alta.
Na figura 6, para começar, a imagem informada é codificada (Etapa 100). Após a codificação, se existe área desnecessária (as imagens 10 que não são referidas na codificação futura) na memória, é examinada (Etapa 101) e se uma imagem na memória que nunca é utilizada como referência existe ou não, é julgada (Etapa 102). Quando a imagem na memória que nunca é utilizada como referência é julgada como existindo (Sim na Etapa
102) , a unidade de codificação de informação de gerenciamento 105 codifi.15 ca o comando para liberar uma imagem na memória que nunca é utilizada como referência como a informação de gerenciamento de memória (Etapa
103) e libera uma imagem na memória que nunca é utilizada como referência (Etapa 104). No caso de nenhuma imagem na memória que nunca seja utilizada como referência existir (Não na Etapa 102), as operações na Etapa
103 e na Etapa 104 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga se o comando para liberar uma imagem na memória que nunca é utilizada como referência está codificado como a informação de gerenciamento de memória ligando-se com a codificação da imagem codificada imediata25 mente antes (a imagem antes do objeto de codificação) (Etapa 105). Quando o comando não está codificado (Não na Etapa 105), o processamento termina. Quando o comando está codificado (Sim na Etapa 105), a unidade de codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência 30 novamente como a informação de gerenciamento de memória (Etapa 106) e o processamento termina.
Deste modo, quando o comando para liberar uma imagem na memória que nunca é utilizada como referência (o comando da informação de gerenciamento de memória) é codificado pela codificação da imagem imediatamente antes, o comando da informação de gerenciamento de memória é novamente codificado. A informação de gerenciamento de memória 5 ligando-se com a codificação da imagem imediatamente antes e a informação de gerenciamento de memória que é novamente codificada são emitidos a partir do dispositivo de codificação de imagem respectivamente, são transmitidos para o dispositivo de decodificação de imagem, o qual decodifica os dois tipos de informação de gerenciamento de memória.
Em adição, no caso do comando para liberar uma imagem na memória que nunca é utilizada como referência sendo codificado ligado com o sinal codificado da imagem codificada imediatamente antes na Etapa 105, o comando é novamente codificado. Mas o caso de ligar-se com a imagem várias imagens antes ao invés do caso de ligar-se com a imagem imediata. 15 mente antes é aceitável. Adicionalmente, também é aceitável codificar o comando mencionado acima repetidamente como a informação de gerenciamento de memória e transmitir o comando ligando-se com várias imagens.
Adicionalmente, é suficiente transmitir o comando mencionado acima para liberar uma imagem na memória que nunca é utilizada como re20 ferência várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser 25 novamente transmitido não seja o mesmo fluxo que a imagem codificada mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Como descrito acima, por transmitir o comando (da informação de gerenciamento de memória) para liberar uma imagem na memória que 30 nunca é utilizada como referência (da informação de gerenciamento de memória) várias vezes, no caso de erro de canal de transmissão ocorrendo, qualquer um dos comandos que são transmitidos várias vezes é pensado como sendo transmitido e como sendo decodificado e portanto, a possibilidade de que a imagem seja decodificada corretamente torna-se alta.
Segunda Modalidade
A seguir, a segunda modalidade da presente invenção é expli5 cada.
A figura 7 é um diagrama de blocos que apresenta a estrutura de um dispositivo de decodificação de imagem de acordo com a segunda modalidade para realizar um método de decodificação de imagem.
O dispositivo de decodificação de imagem 200 inclui uma uni10 dade de controle de informação de memória 201, uma unidade de gerenciamento de memória de curto prazo 202, uma unidade de gerenciamento de memória de longo prazo 203, uma unidade de decodificação de informação de gerenciamento 205, uma unidade de designação de área de armazenamento 207, uma unidade de designação de área de referência 208, uma . 15 memória de imagem 209, uma unidade de decodificação de imagem 210 e uma unidade de codificação de comprimento variável 212.
A unidade de controle de informação de memória 201 julga se qualquer uma ou ambas dentre uma imagem precedente e uma imagem seguinte ao objeto de codificação podem ser referidas pela informação de tipo 20 de quadro PicType e instrui a unidade de designação de área de referência 208 para emitir a imagem de referência correspondente a partir da memória de imagem 209 para a unidade de decodificação de imagem 210.
A unidade de decodificação de comprimento variável 212 decodifica o fluxo de codificado VideoStr; a unidade de decodificação de imagem
210 adicionalmente decodifica o VideoStr, emite como um sinal de imagem decodificado Vout e armazena Vout como a imagem de referência na memória de referência 209.
Nesta hora, a posição da memória onde a imagem decodificada pode ser armazenada na memória de imagem 209 é designada como se 30 segue. A unidade de controle de informação de memória 201 indaga à unidade de gerenciamento de memória de curto prazo 202, especifica a posição de memória onde a imagem foi liberada e instrui a memória de imagem
209 de modo que a unidade de designação de área de armazenamento 207 grave a imagem decodificada na posição de memória.
A unidade de decodificação de informação de gerenciamento 205 decodifica o fluxo de informação de gerenciamento de memória CtIStr, 5 informa para a unidade de gerenciamento de memória de curto prazo 202 da informação das imagens desnecessárias (que não são referenciadas) na memória de curto prazo através da unidade de controle de informação de memória 201 e informa para a unidade de gerenciamento de memória de longo prazo 203 do comando para mover as imagens na memória de curto 10 prazo para a memória de longo prazo.
A seguir, um método de decodificação de imagem de acordo com a segunda modalidade da presente invenção é explicado. A figura 8 é um fluxograma que apresenta o método de decodificação de imagem de acordo com a segunda modalidade e apresenta as operações que o dispo, 15 sitivo de decodificação de imagem 200 apresentado na figura 7 executa. A propósito, na figura 8, são dados os mesmos números que para as mesmas operações na figura 2B.
No caso do dispositivo de codificação de imagem transmitindo o comando para liberar uma imagem na memória que nunca é utilizada como 20 referência várias vezes, a não ser que o comando seja perdido pelo erro do canal de transmissão, o dispositivo de decodificação de imagem recebe o comando para liberar a área da mesma imagem na memória várias vezes. Por conseqüência, é necessário realizar o método de decodificação de imagem pelo qual, mesmo se o dispositivo de decodificação de imagem receba 25 o comando para liberação novamente da área de memória que já foi liberada, o dispositivo de decodificação de imagem não processa o comando como um erro mas ao contrário, julga que o comando é corretamente recebido. A presente modalidade realiza tal método de decodificação de imagem.
Na figura 8, para começar, a unidade de decodificação de informação de gerenciamento 205 decodifica a informação de gerenciamento de memória (Etapa 110). A seguir, o sinal de imagem é decodificado a partir do sinal codificado (Etapa 111). Então, a unidade de controle de informação de memória 201 julga se existe ou não o comando para liberar a memória na informação de gerenciamento de memória decodificada (Etapa 112). Quando existe o comando para liberar a memória (Sim na Etapa 112), é julgado 5 se existe uma imagem que deva ser liberada pelo comando ou se a memória já tinha sido liberada (a imagem já tinha sido apagada) (Etapa 113). Quando a memória já tinha sido liberada (Sim na Etapa 113), o processamento termina sem processamento adicional. Quando a memória não tiver sido liberada, a memória é liberada (Etapa 114) e o processamento termina. Por ou10 tro lado, onde não existe comando para liberar a memória (Não na Etapa 112), o processamento termina sem executar as operações na Etapa 113 e na Etapa 114. A propósito, a Etapa 110 e a Etapa 111 não estão em ordem particular e podem alterar-se em sentido contrário.
Pelas operações descritas acima, mesmo se o comando para . 15 liberar a área da mesma imagem na memória for codificado e transmitido várias vezes pelo método e codificação de imagem da primeira modalidade e o dispositivo de decodificação de imagem 200 receber o comando várias vezes, o dispositivo de decodificação de imagem 200 não processa o comando como um erro e portanto o método de decodificação de imagem para 20 decodificar corretamente é realizado.
Em adição, é suficiente transmitir o comando mencionado acima para liberar uma imagem na memória que nunca é utilizada como referência várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado 25 da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que a imagem codificada mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado 30 em uma área diferente do meio de armazenamento.
Terceira Modalidade
A seguir, o método de codificação de imagem de acordo com a terceira modalidade é explicado. A figura 9 é um fluxograma que apresenta o método de codificação de imagem de acordo com a terceira modalidade e apresenta as operações que o dispositivo de codificação de imagem 100 executa. Na figura 9, para as mesmas operações que na figura 3A, são da5 dos os mesmos números.
A característica da presente modalidade, no caso de uma imagem que deve ser movida da memória de curto prazo para a memória de longo prazo existindo na memória, é repetidamente codificar o comando da informação de gerenciamento de memória para mover a imagem. Por codifi10 car o comando da informação de gerenciamento de memória repetidamente, mesmo se um comando da informação de gerenciamento de memória for perdido pelo erro do canal de transmissão, é possível restaurar a informação de gerenciamento da imagem armazenada na memória por outro comando da informação de gerenciamento de memória e portanto a possibili. 15 dade de que a imagem seja restaurada corretamente independente do erro do canal de transmissão torna-se alta.
Na figura 9, para começar, uma imagem informada é codificada (Etapa 120). Após a codificação, é examinado se existe uma imagem que deve ser movida para a memória de longo prazo (Etapa 121). Então, a uni20 dade de controle de informação de memória 101 julga se existe uma imagem que deve ser movida para a memória de longo prazo ou não (Etapa 122). Quando existe uma imagem que deve ser movida (Sim na Etapa 122), a unidade de codificação de informação de gerenciamento 105 codifica um comando para apresentar como a imagem é movida para a memória de lon25 go prazo como a informação de gerenciamento de memória (Etapa 123). Então, a imagem é movida para a memória de longo prazo baseado no comando (Etapa 124).
A seguir, a unidade de controle de informação de memória 101 julga se o comando para mover a imagem para a memória de longo prazo 30 está codificado ou não como a informação de gerenciamento de memória ligando-se com a codificação da imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Etapa 125). Quando o comando não está codificado (Não na Etapa 125), o processamento termina. Quando o comando está codificado (Sim na Etapa 125), a unidade de codificação de informação de gerenciamento 105 codifica o comando para mover a imagem novamente como a informação de gerenciamento de memória (Etapa 126) e o processamento termina.
Deste modo, quando o comando (da informação de gerenciamento de memória) para mover a imagem para a memória de longo prazo é codificado pela codificação da imagem imediatamente antes, o comando da informação de gerenciamento de memória é novamente codificado. A infor10 mação de gerenciamento de memória ligando-se com a codificação da imagem imediatamente antes e a informação de gerenciamento de memória que é novamente codificada são emitidas a partir do dispositivo de codificação de imagem respectivamente e são transmitidas para o dispositivo de decodificação de imagem, o qual decodifica os dois tipos de informação de ge. 15 renciamento de memória.
Em adição, na Etapa 125, no caso do comando para mover a imagem para a memória de longo prazo sendo codificado ligado com o sinal codificado da imagem codificada imediatamente antes, o comando é novamente codificado. Mas no caso de ligar-se com a imagem várias imagens 20 antes ao invés do caso de ligar-se com a imagem imediatamente antes é aceitável. Adicionalmente, também é aceitável codificar o comando mencionado acima repetidamente como o gerenciamento de memória e transmitir o comando ligando-se com várias imagens.
Adicionalmente, é suficiente transmitir o comando mencionado acima para mover a imagem para a memória de longo prazo várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser 30 transmitido novamente não esteja no mesmo fluxo que o quadro codificado, mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Como descrito acima, por transmitir o comando para mover a imagem para a memória de longo prazo várias vezes, no caso de erro do canal de transmissão ocorrendo, qualquer um dos comandos que são transmitidos várias vezes é pensado como sendo transmitido e como sendo decodificado e portanto, a possibilidade de que a imagem seja decodificada corretamente torna-se alta.
Quarta Modalidade
A seguir, um método de decodificação de imagem de acordo com a quarta modalidade é explicado.
No caso do dispositivo de codificação de imagem transmitindo o comando para mover uma imagem para a memória de longo prazo várias vezes, a não ser que o comando seja perdido pelo erro do canal de transmissão, o dispositivo de decodificação de imagem recebe o comando para mover a mesma área de imagem para a memória de longo prazo várias vezes. Por consequência, é necessário realizar o método de decodificação de imagem pelo qual, mesmo se o dispositivo de decodificação de imagem receber o comando para mover a imagem que já tinha sido movida novamente, o dispositivo de decodificação de imagem não processa o comando como um erro, mas ao contrário, julga que o comando é corretamente recebido. A característica do método de decodificação de imagem de acordo com a presente modalidade realiza tal método de decodificação de imagem.
A figura 10 é um fluxograma que apresenta o método de decodificação de imagem de acordo com a quarta modalidade e apresenta as operações que o dispositivo de decodificação de imagem 200 apresentado na figura 7 executa. Na figura 10, para as mesmas operações que na figura 3B são dados os mesmos números.
Na figura 10, para começar, a unidade de decodificação de informação de gerenciamento 205 decodifica a informação de gerenciamento de memória (Etapa 130). A seguir, o sinal de imagem é decodificado a partir do sinal codificado (Etapa 131).
Então, a unidade de controle de informação de memória 201 julga se existe ou não o comando para mover uma imagem para a memória de longo prazo na informação de gerenciamento de memória decodificada (Etapa 132). Quando existe o comando para mover a imagem para a memória de longo prazo (Sim na Etapa 132), se existe uma imagem que deve ser movida pelo comando ou a se a imagem já foi movida (a imagem não existe mais porque ela foi liberada após o movimento) é julgado (Etapa 133). Quando a imagem já foi movida (Sim na Etapa 133), o processamento termina sem processamento adicional. Se não, a imagem é movida para memória de longo prazo (Etapa 114) e o processamento termina.
Por outro lado, quando não existe comando para mover a imagem para a memória de longo prazo (Não na Etapa 112), o processamento termina sem executar as operações na Etapa 133 e na Etapa 134. A propósito, a Etapa 130 e a Etapa 131 não estão em ordem particular e podem alterar-se cm sentido contrário.
Pelas operações descritas acima, mesmo se o comando para mover a imagem para a memória de longo prazo for codificado e transmitido várias vezes pelo método de codificação de imagem da terceira modalidade, o método de decodificação de imagem para decodificar corretamente é realizado.
Em adição, é suficiente transmitir o comando mencionado acima para mover a imagem para a memória de longo prazo várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que o quadro codificado mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Quinta Modalidade
A seguir, o método de codificação de imagem de acordo com a quinta modalidade é explicado. A figura 11 é um fluxograma que apresenta o método de codificação de imagem de acordo com a quina modalidade e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. Na figura 11, para as mesmas operações que na figura 6, são dados os mesmos números.
A característica da presente modalidade apresentada na figura 11, no caso de uma imagem que nunca é utilizada como referência existindo na memória, é repetidamente codificar o comando da informação de gerenciamento de memória para liberar a imagem e transmitir o comando pelo menos uma vez ligando-se com uma imagem importante que está armazenada na memória. No caso de repetidamente codificar o comando da informação de gerenciamento de memória, se o comando da informação de gerenciamento de memória for transmitido ligando-se com uma imagem que não tem uma alto valor de prioridade, o comando da informação de gerenciamento de memória não pode ser obtido quando todas as imagens que não possuem um alto valor de prioridade não estão decodificadas.
Por exemplo, na figura 1A, como a imagem do quadro de imagem N9 4 torna-se desnecessária após a imagem do quadro de imagem N9 5 ser codificada, é possível codificar o comando para liberar a área de memória onde a imagem do quadro de imagem N9 4 existe, ligando-se com a imagem do quadro de imagem N9 5.
Entretanto, além de codificar o comando para liberar a área de memória onde a imagem do quadro de imagem N9 4 existe, ligando-se com a imagem do quadro de imagem N9 5, se o comando for codificado ligado com a imagem do quadro de imagem N9 7, em qualquer caso, o comando mencionado acima é codificado ligado com as imagens B que possuem o menor valor de prioridade (cuja degradação de imagem é pequena no caso de não serem decodificados). Estas imagens B podem não ser decodificadas e portanto o comando para liberar a área de memória onde a imagem do quadro de imagem N9 4 existe não é decodificada. Como resultado, a informação de gerenciamento na memória não é reproduzida corretamente. Por conseqüência, é necessário codificar o comando para liberar a área de imagem pelo menos uma vez ligando-se com a imagem que possui um alto valor de prioridade, ser decodificado sem falha e ser armazenado na memória.
Na figura 11, para começar, a imagem informada é codificada (etapa 100). Após a codificação, se existe área desnecessária (as imagens que não são referidas na codificação futura) na memória é examinado (Etapa 101) e se uma imagem memória que nunca é utilizada como referência existe ou não é julgado (Etapa 102). Quando uma imagem na memória que nunca é utilizada como referência existe (Sim na Etapa 102), a unidade de codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência como a informação de gerenciamento de memória (Etapa 103) e libera uma imagem na memória que nunca é utilizada como referência (Etapa 104). No caso de nenhuma imagem na memória que nunca é utilizada como referência existir (Não na Etapa 102), as operações na Etapa 103 e na Etapa 104 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga ser o comando para liberar uma imagem na memória que nunca é utilizada como referência que foi codificada no passado está ou não codificado ligado com uma imagem importante (que está decodificada e está armazenada) (Etapa 140). Quando o comando é codificado ligado com a imagem importante (Sim na Etapa 140), o processamento termina. Quando o comando não está codificado ligado com a imagem importante (Não na Etapa 140), a unidade de codificação de informação de gerenciamento 105 codifica o comando para liberar uma imagem na memória que nunca é utilizada como referência novamente como a informação de gerenciamento de memória (Etapa 141). Então, o processamento termina.
Como resultado, o comando para liberar uma imagem na memória que nunca é utilizada como referência novamente é codificado ligado com a imagem importante.
Como descrito acima, o comando mencionado acima liga-se com a imagem importante que é decodificada e é armazenada na memória, a possibilidade de que a imagem seja restaurada corretamente quando ocorre erro no canal de transmissão torna-se alta.
Em adição, é suficiente transmitir o comando mencionado acima para liberar uma imagem na memória que nunca é utilizada como referência várias vezes; quando o comando é novamente codificado e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que a imagem codificada, mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em uma área diferente do meio de armazenamento.
Sexta Modalidade
A seguir, o método de codificação de imagem de acordo com a sexta modalidade é explicado. A figura 12 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sexta modalidade. A figura 12 apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. Na figura 12, para as mesmas operações que na figura 5, são dados os mesmos números.
A característica da presente modalidade apresentada na figura 12 é repetidamente codificar o comando da informação de gerenciamento de memória para mover uma imagem para a memória de longo prazo e transmitir o comando pelo menos uma vez ligando-se com uma imagem importante (que é decodificada e é armazenada na memória). No caso de repetidamente codificar o comando da informação de gerenciamento de memória para mover a imagem para a memória de longo prazo, se o comando da informação de gerenciamento de memória for transmitido ligando-se com uma imagem que não tem uma alto valor de prioridade, o comando da informação de gerenciamento de memória não pode ser obtido quando todas as imagens que não possuem um alto valor de prioridade não estão decodificadas.
Na figura 12, para começar, a imagem informada é codificada (etapa 120). Após a codificação, se existe uma imagem que deve ser movida para a memória de longo prazo é examinada (Etapa 121) e se existe uma imagem que deve ser movida é julgada (Etapa 122).
Quando existe uma imagem que deve ser movida (Sim na Etapa
122) , a unidade de codificação de informação de gerenciamento 105 codifica um comando para apresentar como a imagem é movida para a memória de longo prazo como a informação de gerenciamento de memória (Etapa
123) . Então, a imagem é movida para a memória de longo prazo baseado no comando (Etapa 124).
A seguir, a unidade de controle de informação de memória 101 julga se o comando, o qual foi codificado no passado para mover a imagem para a memória de longo prazo está codificado ou não ligando-se com a imagem importante (que está decodificada e está armazenada na memória) (Etapa 150). Quando o comando está ligado com a imagem importante (Sim na Etapa 150), o processamento termina. Quando o comando liga-se com a imagem importante (Não na etapa 150), a unidade de codificação de informação de gerenciamento 105 codifica o comando para mover a imagem para a memória de longo prazo novamente como a informação de gerenciamento de memória (Etapa 151). Então o processamento termina.
Por se fazer deste modo, o comando para mover a imagem para a memória de longo prazo liga-se com a imagem importante e é codificado.
Como é descrito acima, desde que o comando mencionado acima liga-se com a imagem importante que é decodificada e é armazenada na memória, o comando é decodificado e portanto a possibilidade de decodificar a imagem corretamente quando o erro no canal de transmissão ocorre torna-se alta.
Em adição, é suficiente transmitir o comando mencionado acima para mover a imagem para a memória de longo prazo várias vezes; quando o comando é codificado novamente e transmitido, não é sempre necessário transmitir o comando ligando-se com o sinal codificado da imagem.
Além disso, no caso de transmitir o comando da informação de gerenciamento de memória novamente, é aceitável que o comando a ser novamente transmitido não esteja no mesmo fluxo que a imagem codificada, mas seja transmitido, por exemplo, como um fluxo diferente ou seja gravado em um área diferente do meio de armazenamento.
Sétima Modalidade
O método de codificação de imagem de acordo com a sétima modalidade é explicado.
A característica da presente modalidade é um método de codificação de imagem para executar a codificação referindo-se à imagem de referência selecionada dependendo do valor de prioridade da imagem.
A figura 13 é um fluxograma que apresenta o método de codificação de imagem de acordo com a sétima modalidade da presente invenção. A figura 13 apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa.
Na figura 13, para começar, o valor de prioridade de cada imagem que é o objeto de codificação é estabelecido (Etapa 160). Por exemplo, o valor de prioridade de uma imagem I e de uma imagem P é alto, enquanto que uma imagem B é baixo. Adicionalmente, mesmo entre as mesmas imagens Ρ, o valor de prioridade da imagem P que é referido por várias imagens é alto, enquanto que a imagem P que não é muito referido é baixo.
A seguir, as imagens que possuem um valor de prioridade equivalente ou mais alto para a imagem objeto de codificação são selecionados entre as imagens de referência na memória e são feitos candidatos das imagens de referência (Etapa 161). Por exemplo, a imagem B pode referirse a imagem I e a imagem P, enquanto a imagem P exclui a imagem P que tem o valor de prioridade baixo dos candidatos à imagem de referência.
A seguir, a informação de designação (um tipo de informação de gerenciamento de memória) que apresenta os candidatos selecionados das imagens de referência é codificada (Etapa 162); entre os candidatos selecionados das imagens de referência, as imagens de referência apropriadas são referidas e são codificadas na unidade de bloco (Etapa 163). A propósito, a Etapa 162 e a Etapa 163 não estão em ordem particular e podem alterar-se em sentido contrário.
Por fazer desse modo, as imagens que possuem valor de prioridade mais baixo do que a imagem objeto de codificação não são incluídas entre as candidatas das imagens de referência.
Como é descrito acima, desde que as imagens que possuem valor de prioridade mais baixo do que a imagem objeto de codificação não estão incluídas entre as candidatas das imagens de referência, no caso de gerar um fluxo que possa realizar a capacidade de dimensionamento, as imagens que não podem ser referidas são excluídas das candidatas das imagens de referência e portanto a eficiência da codificação aperfeiçoa-se.
Aqui, o método de codificação de imagem executado dependendo do valor de prioridade das imagens estabelecidas, como descrito acima, é explicado de forma concreta com referência à figura 14.
A figura 14A é um diagrama explicativo que apresenta a relação entre os números dados para cada quadro (imagem (quadro) N9), os números pelos quais cada quadro é armazenado na memória (imagem (quadro) armazenada N9) e os números que apresentam a ordem pela qual cada quadro é transmitido (ordem de transmissão).
Na figura 14A, desde que a imagem I da imagem N9 0 não refere-se a outras imagens, a imagem I da imagem N9 0 é armazenada na memória e seu N9 de imagem armazenada é 0. A seguir, desde que a imagem P da imagem N9 2 que refere-se a imagem I da imagem N9 0 está armazenada na memória, o N9 de imagem armazenada para a imagem P da imagem N92é 1. Então, como a imagem B da imagem N9 1 que refere-se a imagem I da imagem N9 0 e a imagem P da imagem N9 2 está armazenada na memória, o N9 de imagem armazenada cara a imagem B da imagem N9 1 é 2. A ordem pela qual cada imagem é transmitida é a ordem pela qual cada imagem é armazenada. Por procedimento similares, a relação entre o N9 da imagem, o N9 de imagem armazenada e a ordem de transmissão é decidida.
A seguir, um exemplo da relação entre o números de imagem que são decodificados, os números de imagem que são armazenados na memória e os números de imagem que são liberados é explicado utilizando a figura 14B.
A figura 14B é um diagrama que apresenta uma relação entre a imagem N9 (quadro N9) a ser decodificado, a imagem N9 (quadro N9) a ser armazenado e a imagem N9 (quadro N9) a ser liberado. Em adição, aqui, o número máximo de imagens que podem ser armazenados na memória é 5.
As imagens são armazenadas na memória dependendo da ordem de transmissão.
Adicionalmente, por exemplo, quando a imagem P do quadro N2
4 é decodificada, desde que o N2 da imagem armazenada da imagem P da imagem N2 4 é 3; as imagens das imagens N2s 0, 1 e 2 são armazenadas na memória. Quando a imagem P da imagem de decodificação N2 3 é decodificada, como apresentado na figura 14B, as imagens das imagens N2s 4, 1, 2 e 0 são armazenadas. Aqui, desde que a imagem B da imagem N2 1 não é 10 referida por qualquer imagem após a imagem da imagem N2 3 ser decodificada, como apresentada na figura 14A, a imagem B da imagem N2 1 é liberada na hora que a imagem do quadro N2 3 é decodificada.
De forma similar, quando a imagem B da imagem de decodificação N2 5 é decodificada, apresentada na figura 14B, as imagens das ima15 gens N2s 6, 3, 4, 2 e 0 são armazenadas. Aqui, desde que a imagem B da imagem N2 3 não é referida por qualquer imagem após a imagem da imagem N2 5 ser decodificada, a imagem B da imagem N2 3 é liberada na hora que a imagem da imagem N2 5 é decodificada.
Adicionalmente, quando a imagem P da imagem de decodifica20 ção N2 8 é decodificada, como apresentada na figura 14B, as imagens das imagens N2s 5, 6, 4, 2 e 0 são armazenadas. Aqui, desde que a memória pode armazenar somente um máximo de cinco quadros, de modo a referirse a imagem P da imagem N2 8 posteriormente, uma das imagens das imagens N2s 5, 6, 4, 2 e 0 deve ser liberada para garantir memória para memo25 rizar a imagem P da imagem N2 8. Por conseqüência, como o padrão para selecionar o quadro para ser liberado na figura 14B, quando a imagem P cujo N2 da imagem é um número par é decodificado, a imagem temporariamente mais antiga, a imagem I da imagem N2 0 neste caso, é liberada na hora que a imagem P da imagem N2 8 é decodificada.
De forma similar, quando a imagem B da imagem de decodificação N2 7 é decodificada, como apresentada na figura 14B, as imagens das imagens N2s 8, 5, 6, 4 e 2 são armazenadas. Aqui, desde que a imagem B da imagem N9 5 não é referida por qualquer imagem após a imagem da imagem B N9 7 ser decodificada, a imagem B das imagens N9 5 é liberada na hora que a imagem B da imagem N9 7é decodificada.
Adicionalmente, a imagem P da imagem de decodificação N9 10 é decodificada, como apresentada na figura 14B, as imagens das imagens N9s 7, 8, 6, 4 e 2 são armazenadas. Aqui, como a memória pode armazenar somente o máximo de cinco quadros, de modo a referir-se a imagem P da imagem N9 10 posteriormente, uma das imagens dentre as imagens N9s 7, 8, 6, 4 e 2 deve ser liberada para garantir que a memória memorize a imagem P da imagem N9 10. Por conseqüência, como o padrão para selecionar o quadro a ser liberado na figura 14B, quando a imagem P cujo N9 de imagem é um número par é decodificado, a imagem temporariamente mais antiga, a imagem da imagem Ns 2 é liberada na hora que a imagem P da imagem N9 10 é decodificada.
Deste modo, quando uma imagem é liberada, o comando da informação de gerenciamento de memória para liberar a imagem é codificada ligada com o sinal codificado da imagem de decodificação e transmitida.
No exemplo apresentado na figura 14B, é descrito o exemplo no qual uma imagem que nunca é utilizada como referência existe e o comando da informação de gerenciamento de memória para liberar a imagem é transmitido uma vez. Deste modo, quando o comando da informação de gerenciamento de memória para liberar a imagem é transmitido uma vez, existe a possibilidade de que o comando da informação de gerenciamento que é transmitido ligado com o quadro B não possa ser executado. Por causa da possibilidade de que a imagem B utilizada como uma imagem de referência para codificar/decodificar a imagem P ser baixa; a possibilidade de que os dados da imagem P sejam descartados primeiro, quando a capacidade de memória e a capacidade de transmissão adequadas não forem garantidas, é alta; como resultado, existe a possibilidade de que o comando da informação de gerenciamento de memória que é transmitido ligando-se com o quadro B não seja executado.
Para resolver este problema, um exemplo repetidamente de co41 dificar e transmitir o comando da informação de gerenciamento de memória para liberar a imagem é explicado. A figura 14C é explicada de forma concreta abaixo.
A figura 14C é um diagrama que apresenta outra relação entre a imagem N9 (quadro N9) a ser decodificado, a imagem N9 (quadro N9) a ser armazenado e a imagem N9 (quadro N9) a ser liberado. A figura 14C apresenta que o comando para liberar a imagem do N9 de imagem a ser liberado liga-se com o sinal codificado da imagem do N9 da imagem de decodificação.
Como apresentado na figura 14C, quando a imagem B da imagem N9 3 é decodificado, as imagens das imagens N9s 4, 1,2 e 0 são armazenados. Aqui, a imagem B da imagem N9 1 não é referida por qualquer imagem após a imagem da imagem N9 3 ser decodificada, como apresentada na figura 14A. Por conseqüência, na hora que a imagem da imagem N9 3 é decodificada, a imagem B da imagem N9 1 é liberada e o comando da informação de gerenciamento de memória para liberar a imagem B da imagem N9 1 liga-se com a imagem da imagem N9 3.
Entretanto, desde que a imagem da imagem N9 3 é a imagem B, como é descrita acima, sua revelação de importância é baixa comparada com a imagem I e com a imagem P no ponto de reprodução da imagem e é altamente provável que a imagem B seja descartada na hora da transmissão e portanto, existe a possibilidade de que o comando da informação de gerenciamento de memória que é transmitido ligando-se com a imagem B para a imagem N9 3 não seja executado (o caso do quadro sendo armazenado como apresentado na figura 25).
Então, o comando da informação de gerenciamento de memória para liberar a imagem da imagem N9 1 ligado com a imagem da imagem N9 3 é ligado com a imagem P da imagem N9 6 que é decodificada a seguir e possui o valor de prioridade mais alto do que o quadro B da imagem N9 3 no ponto e reprodução da imagem. (Refira-se à figura 14C)
De forma similar, o comando da informação de gerenciamento de memória (para liberar a imagem da imagem N9 3) ligado com a imagem B da imagem N5 5 é ligado com a imagem P da imagem N2 8; o comando da informação de gerenciamento de memória (para liberar a imagem da imagem N2 5) ligado com a imagem B da imagem N2 7 é ligado com a imagem P da imagem N2 10. A propósito, desde que a imagem da imagem N2 8 é a imagem P, o comando da informação de gerenciamento de memória ligado com a imagem N2 8 não é ligado com a imagem B da imagem N2 7, como apresentado na figura 14C, mas é aceitável fazer desse modo.
Até este ponto, como apresentado na figura 14C, o mesmo comando da informação de gerenciamento de memória como o comando da informação de gerenciamento de memória primeiro ligado com a imagem B é repetidamente ligado com a imagem que possui o valor de prioridade mais elevado do que a imagem B no ponto de reprodução da imagem e é armazenado ou transmitido depois que a imagem B com o qual o comando da informação de gerenciamento de memória é primeiro ligado. Por fazer desse modo, mesmo se a imagem B com o qual o comando da informação de gerenciamento de memória é primeiro ligado for abandonado, o comando da informação de gerenciamento de memória pode ser normalmente executado.
Em adição, como explicado utilizando a figura 14C, no caso de ligar o comando da informação de gerenciamento de memória com a imagem B e adicionalmente ligar o comando da informação de gerenciamento de memória repetidamente com a imagem P, o valor de prioridade estabelecido é utilizado. Observe que a configuração do valor de prioridade não está limitada ao que é apresentado na presente modalidade.
Em adição, a presente modalidade, quer cada imagem seja transmitida ou não, é decidido dependendo do valor de prioridade de cada imagem; o valor de prioridade não é codificado ligado com cada imagem como a informação de gerenciamento de memória apresentada nas modalidades mencionadas acima. Como resultado, o processamento de decodificação dos dados codificados pela presente modalidade não é diferente do método convencional.
Oitava Modalidade
A seguir, a oitava modalidade é explicada.
A característica da presente modalidade é codificar e transmitir várias vezes o comando (da informação de gerenciamento de memória) para liberar todas as imagens imagens na memória e inicializar a área de memória.
A informação de comando da memória apresentada em cada modalidade mencionada acima é dada como a informação de código apresentada na figura 15.
A figura 15 é um diagrama de correspondência que apresenta o comando da informação de gerenciamento de memória e apresenta o código N2 (Código na figura 15), o conteúdo do comando (o comando na figura 15) e sua informação adicionada (a informação adicionada na figura 15).
Por exemplo, o comando para liberar uma imagem na memória que nunca é utilizado como referência na memória de curto prazo (liberação da memória de curto prazo) é dado como a informação de código Código 1 e a imagem N2 (quadro N2)a ser liberado é adicionado como a informação adicionada.
Adicionalmente, a informação de código é dada como a informação de cabeçalho apresentada na figura 17.
A figura 17 é um diagrama esquemático que apresenta a relação entre a informação de cabeçalho e os dados do quadro no sinal codificado de cada imagem. Na figura 17, cada sinal codificado apresenta os sinais codificados de Frm12, Frm11 e Frm14 que são explicados posteriormente. Cada sinal codificado inclui o cabeçalho do quadro que possui a informação de cabeçalho e os dados do quadro na codificação da imagem. Por exemplo, o sinal codificado do quadro Frm12 inclui o cabeçalho do quadro Frm12Hdr e os dados do quadro constituídos de cada dado MB12a, MB12b, MB12c, MB12d e semelhantes.
Os detalhes deste sinal codificado são apresentados no diagrama esquemático da figura 18.
A figura 18 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho dos sinais codificados.
Como apresentado na figura 18, o sinal codificado do quadro FrmA inclui o cabeçalho do quadro FrmAHdr e os dados do quadro constituídos de cada dado MBa, MBb, MBc, MBd e semelhantes. Então, a informação de código Código A do comando, a informação adicionada Adição A da informação de código Código A, a informação de código Código B do comando que deve ser executado a seguir ao comando da informação de código Código A e a informação adicionada Adição AddB da informação de código Código B são adicionados para o cabeçalho do quadro FrmAHdr nesta ordem. Se não existir informação adicionada semelhante como a informação de código Código C, somente a informação de código é adicionada.
A seguir, o procedimento para executar o comando é apresentado na figura 16.
A figura 16 é um fluxograma que apresenta o procedimento para executar o comando.
Na figura 16, para começar, o comando é obtido (Etapa CO) e se a aquisição do comando termina ou não é julgado (Etapa C1). Quando a aquisição do comando não termina e o comando é obtido (Não na Etapa C1), o comando obtido é executado (Etapa C2); retorna par a Etapa CO e esta operação é repetida. Por outro lado, quando a aquisição do comando termina e o comando não é obtido (Sim na Etapa C1), o processamento para executar o comando termina. Este procedimento é executado para cada quadro. A propósito, no caso da informação de comando sendo transmitida na unidade de fração de imagem constituída de vários macroblocos, o comando é executado pelo mesmo procedimento acima.
Incidentalmente, na primeira modalidade, o comando da informação de gerenciamento de memória para liberar a imagem que nunca é utilizada como referência (liberar a memória) é explicado. Adicionalmente, a primeira modalidade apresenta que por codificar repetidamente o comando da informação de gerenciamento de memória para liberar a imagem que nunca é utilizada como referência, mesmo se um comando da informação de gerenciamento de memória for perdido pelo erro do canal de transmissão, a informação de gerenciamento da imagem armazenada na memória pode ser restaurada por outro comando da informação de gerenciamento de memória e a possibilidade de que a imagem seja corretamente restaurada torna-se alta.
Aqui, fora da informação de código apresentada na figura 15, o comando de inicialização Código 5 para liberar toda a informação na memória é considerado.
Quando o comando de inicialização Código 5 é transmitido somente uma vez e se este comando de inicialização Código 5 for perdido pelo erro de transmissão de canal, o processamento do gerenciamento de memória e semelhantes são normalmente executados após a inicialização ser afetada. Aí, de forma similar à primeira modalidade, o caso de repetidamente codificar e transmitir o comando de inicialização Código 5 é explicado utilizando a figura 19.
A figura 19 é um diagrama explicativo que apresenta a relação entre os números dados para cada quadro (imagem (quadro) N9), os números pelos quais cada quadro é armazenado na memória (imagem (quadro) armazenada N9) e os números que apresentam a ordem pela qual cada quadro é transmitido (ordem de transmissão).
A figura 19 é explicada de forma concreta abaixo. Para começar, desde que a imagem I da imagem N9 0 não refere-se a outras imagens, a imagem I da imagem N9 0 é armazenada na memória e seu N9 de imagem armazenado é 0. A seguir, desde que a imagem P da imagem N9 2 que refere-se à imagem I da imagem N9 0 é armazenada na memória, o N9 de quadro armazenado na imagem P da imagem N9 2 é 1. Então, desde que a imagem B da imagem N9 1 que refere-se à imagem I da imagem N9 0 e à imagem P da imagem N9 2 é armazenada na memória, o N9 de imagem armazenada na imagem B da imagem N9 1 é 2. A ordem pela qual cada imagem é transmitida é esta pela qual cada imagem é armazenada. Por procedimentos similares, a relação entre o N9 da imagem, o N9 da imagem armazenado e a ordem de transmissão é decidida.
Quando a imagem I da imagem N9 12 apresentada na figura 19 é codificada, o comando de inicialização Código 5 apresentado na figura 15 é transmitido. Desde que ο N2 da imagem armazenado da imagem I da imagem N2 12 é 11, por este comando de inicialização Código 5, todas as imagens cujo o N2 da imagem armazenada é 10 ou menos podem ser liberadas na memória.
Aqui, o método para codificar o comando de inicialização Código 5 é explicado utilizando a figura 20.
A figura 20 é um fluxograma que apresenta o método para codificar o comando de inicialização Código 5 e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa.
Para começar, uma imagem informada é codificada (Etapa A0). Após a codificação, quer todas as imagens que podem ser referidas na memória sejam desnecessárias ou não (se qualquer uma delas não é referida na codificação futura) é examinado (para inicialização) (Etapa A1); se as imagens armazenadas na memória não são referidas no futuro e é melhor inicializar as mesmas é julgado (Etapa A2).
Se for melhor inicializar as mesmas (Sim na Etapa A2), o comando de inicialização Código 5 que inicializa a área de memória é codificado como a informação de gerenciamento de memória (Etapa A3); a inicialização é executada (Etapa A4); o processamento termina. Por outro lado, quando a inicialização não é necessária (Não na Etapa A2), o processamento termina sem executar as operações da Etapa A3 e da Etapa A4.
A seguir, um método para decodificar o comando de inicialização codificado Código 5 é explicado utilizando a figura 21.
A figura 21 é um fluxograma que apresenta o método para decodificar o comando de inicialização codificado Código 5 e apresenta as operações que o dispositivo de decodificação de imagem 200 apresentado na figura 7 executa.
Para começar, a informação de gerenciamento de memória é decodificada (Etapa A10); o sinal de imagem é decodificado a partir do sinal codificado (Etapa A11). A seguir, se existe o comando de inicialização Código 5 na informação de gerenciamento de memória decodificada é julgado (Etapa A12), se existe o comando de inicialização Código 5 (Sim na Etapa
A12), todas as imagens memorizadas na memória são liberadas e inicializadas (Etapa A13) e o processamento termina. Entretanto, a imagem decodificada (na Etapa A11) não é liberada.
Por outro lado, se não existe comando de inicialização Código 5 na informação de gerenciamento de memória (Não na Etapa A12), o processamento termina.
O método para inicializar a memória é explicado de forma concreta abaixo utilizando a figura 19. O mesmo comando de inicialização Código 5 que o comando de inicialização dado para a imagem I da imagem N2 12 é dado para a imagem B da imagem N-11.
Quando apresentado na figura 17, o comando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12 (imagem N2 12) e para o cabeçalho de quadro Frm11Hdr do quadro Frm12 (imagem N2 11). Desde que o comando de inicialização Código 5 não possui a informação adicionada como apresentado na figura 15, o comando de inicialização Código 5 libera todas as imagens armazenadas na memória na hora que ele é decodificado.
Portanto, quando o comando de inicialização Código 5 dado para a imagem I da imagem N2 12 (o quadro armazenado N2 11) é perdido pelo erro do canal de transmissão e o comando de inicialização Código 5 dado para a imagem B da imagem N2 11 (a imagem armazenada N2 12) é executado, todas as imagens são liberadas pela imagem decodificada antes da imagem armazenada N2 11. Em outras palavras, mesmo a imagem I da imagem N2 12 (a imagem armazenada N2 11) que não deve ser liberada por natureza é liberada.
Como há pouco descrito, quando o mesmo comando de inicialização Código 5 que o comando de inicialização dado para a imagem I da imagem N2 12 é dado para a imagem B da imagem N2 11, uma imagem (a imagem I da imagem N212) é abandonada. Por outro lado, quando o mesmo comando de inicialização Código 5 que o comando de inicialização dado para a imagem I da imagem N2 12 (a imagem armazenada N2 11) é dado para a imagem P da imagem N2 14 (a imagem armazenada N2 13), o comando de inicialização Código 5 dado para a imagem I da imagem N2 12 é perdido pelo erro do canal de transmissão e o comando de inicialização Código 5 dado para a imagem P da imagem N2 14 é executado, duas imagens (a imagem B da imagem N2 11 e a imagem I da imagem N2 12) são abandonadas.
Observe que quando o comando de inicialização Código 5 é repetidamente codificado e o comando de inicialização que é transmitido primeiro e o comando de inicialização que é transmitido subseqüentemente são executados sem o erro do canal de transmissão, o problema similar ao acima ocorre porque a inicialização é executada pelo comando de inicialização que é transmitido primeiro e adicionalmente a inicialização é executada novamente pelo comando de inicialização que é transmitido subseqüentemente.
Um método para resolver tal problema na inicialização é explicado.
A figura 22 apresenta os comandos da informação de gerenciamento de memória utilizados para resolver o problema de inicializar a memória.
A figura 22 é diferente da figura 15 pelo fato de que o comando de reenvio de inicialização Código 6 é de maneira nova adicionado para o anterior. Adicionalmente, este comando de reenvio de inicialização Código 6 tem a imagem (quadro) inicializado N2 (o número do quadro com o qual o comando de inicialização Código 5 que inicializa a área de memória está ligado) como informação adicionada.
O fluxo do processamento da codificação de imagem utilizando este comando de reenvio de inicialização Código 6 é explicado abaixo utilizando a figura 23.
A figura 23 é um fluxograma que apresenta o método e codificação de imagem utilizando o comando de reenvio de inicialização Código 6 e apresenta as operações que o dispositivo de codificação de imagem 100 apresentado na figura 5 executa. Na figura 23, para as mesmas operações que na figura 20 são dados os mesmos números.
Para começar, a imagem informada é codificada (Etapa AO). Após a codificação, se todas as imagens na memória são desnecessárias ou não (se qualquer uma das mesmas não é referida na codificação futura) é examinado (para inicialização) (Etapa A1), a unidade de controle de informação de memória 101 julga se a inicialização é necessária (Etapa A2); quando a inicialização é necessária (Sim na Etapa A2), a unidade de codificação de informação de gerenciamento 105 codifica o comando de inicialização Código 5 como a informação de gerenciamento de memória (Etapa A3) e executa a inicialização (Etapa A4). Quando a inicialização não é necessária (Não na Etapa A2), as operações da Etapa A3 e da Etapa A4 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga se o comando de inicialização Código 5 que inicializa a área de memória está codificado como a informação de gerenciamento de memória ligando-se com a imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Etapa A30); quando o comando de inicialização Código 5 está codificado (Sim na Etapa A30), a unidade de codificação de informação de gerenciamento 105 codifica o comando de reenvio de inicialização Código 6 que inicializa a área de memória como a informação de gerenciamento de memória (Etapa A31); o processamento termina.
Além disso, quando o comando de inicialização Código 5 que inicializa a área de memória não está codificado como a informação de gerenciamento de memória ligando-se com a imagem codificada imediatamente antes (a imagem antes do objeto de codificação) (Não na Etapa A30), o processamento termina.
A propósito, no método apresentado na figura 23, no caso de codificar o comando de inicialização Código 5 que inicializa a área de memória estando codificado ligado com o sinal codificado da imagem codificada imediatamente antes, o comando de reenvio de inicialização Código 6 é novamente codificado; é aceitável que no caso do comando de inicialização Código 5 sendo codificado ligado com sinal codificado da imagem codifica50 da não imediatamente antes, mas várias imagens antes, o comando de reenvio de inicialização Código 6 ser codificado. Adicionalmente, também é aceitável codificar o comando de reenvio de codificação Código 6 que inicializa a área de memória repetidamente como a informação de gerenciamento de memória ligando-se com várias imagens.
Mais especificamente, como apresentado na figura 19, no caso de codificar o comando de inicialização Código 5 ligando-se com a codificação da imagem I da imagem N212, é aceitável codificar o comando de reenvio de inicialização Código 6 ligando-se com a codificação da imagem B da imagem N9 11 e adicionalmente, também é aceitável codificar o comando de reenvio de inicialização Código 6 ligando-se com a imagem P da imagem N2 14.
No caso do primeiro, quando apresentado na figura 17, o comando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12; adicionalmente, o comando de reenvio de inicialização Código 6 é dado para o cabeçalho do quadro Frm11 Hdr do quadro Frm11. Além disso, no caso do último, o comando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12; o comando de reenvio de inicialização Código 6 é dado para o cabeçalho do quadro Frm14Hdr do quadro Frm14.
Adicionalmente, é aceitável codificar o comando de reenvio de inicialização Código 6 ligando-se com a codificação da imagem B da imagem N9 11 e junto codificar o comando de reenvio de inicialização Código 6 ligando-se com a codificação da imagem P da imagem N2 14. Neste caso, quando apresentado na figura 17, o comando de inicialização Código 5 é dado para o cabeçalho do quadro Frm12Hdr do quadro Frm12 e o comando de reenvio de inicialização Código 6 é dado para o cabeçalho do quadro Frm11Hdr do quadro Frm11 e para o cabeçalho do quadro Frm14Hdr do quadro Frm14.
A seguir, o processamento para decodificar os dados nos quais o comando de reenvio de inicialização Código 6 é codificado é explicado utilizando a figura 24. A figura 24 é um fluxograma que apresenta um méto51 do para decodificar o comando de reenvio de inicialização codificado Código 6 e apresenta as operações do dispositivo de decodificação de imagem
200 apresentado na figura 7. Na figura 24, para as mesmas operações que na figura 21 são dados os mesmos números.
Para começar, a unidade de decodificação de informação de gerenciamento decodifica a informação de gerenciamento de memória (Etapa A10). Então, o sinal de imagem é decodificado a partir do sinal codificado (Etapa A11).
Se existe o comando de inicialização Código 5 na informação de gerenciamento de memória decodificada é julgado (Etapa A12), quando existe o comando de inicialização Código 5 (Sim na Etapa A12), todas as imagens na memória são liberadas e inicializadas (Etapa A13); quando não existe comando de inicialização Código 5 (Não na Etapa 12), a inicialização não é executada.
A seguir, a unidade de controle de informação de memória 101 julga se existe o comando de reenvio de inicialização Código 6 na informação de gerenciamento de memória (Etapa A40). Quando não existe comando de reenvio de inicialização Código 6 (Não na Etapa A40), o processo termina; quando existe o comando de reenvio de inicialização Código 6 (Sim na Etapa A40), se a inicialização está executada é examinado (Etapa A41). Quando a inicialização está executada (Sim na Etapa A41), o processamento termina. Quando a inicialização não está executada (Não na Etapa A40), baseado na informação adicionada do comando de reenvio de inicialização Código 6, o quadro de armazenamento (o quadro armazenado na memória para a imagem de referência na hora da codificação de um quadro de inicialização) antes do quadro de inicialização (o quadro com o qual o comando de inicialização Código 5 que inicializa a área de memória está ligado) é liberado; adicionalmente, o número de imagens para a memória de longo prazo é feito 0 (Etapa A42); o processamento termina. Em adição, quando o quadro de longo prazo não é utilizado, não existe necessidade de causar que o número de imagens para a memória de longo prazo seja 0.
Por consequência, como apresentado na figura 19, no caso da imagem da imagem N9 12 ligada com o comando de inicialização Código 5 sendo codificada e a imagem da imagem N9 14 ligada com o comando de reenvio de inicialização Código 6 sendo codificada, todos as imagens cuja imagem armazenada N9 for 10 ou menos e que estão armazenadas na área de memória liberada pelo comando de inicialização Código 5 quando o comando de inicialização Código 5 não é perdido pelo erro do canal de transmissão ou pelo comando de reenvio de inicialização Código 6 quando o comando de inicialização Código 5 é perdido pelo erro do canal de transmissão.
Deste modo, quando o comando de inicialização Código 5 é repetidamente codificado e transmitido, a partir da segunda vez em diante, o comando de reenvio de inicialização Código 6, para o qual a inicialização N9, a informação adicionada é adicionada, é codificado e transmitido e portanto, baseado na informação adicionada, os quadros de armazenamento antes do quadro de inicialização (os quadros armazenados na memória para a imagem de referência na hora em que o quadro de inicialização primeiro ligado com o comando de inicialização Código 5 é codificado) são liberados. Como resultado, o problema descrito acima em que uma imagem necessária é abandonada pode ser resolvido.
A propósito, no caso de fornecer a imagem armazenada N9 como na figura 25, o qual é diferente da figura 19, o comando de reenvio de inicialização Código 6 explicado acima ainda é eficaz.
Uma explicação concreta é feita abaixo.
A figura 25 é um diagrama explicativo que apresenta outra relação entre os números dados para cada quadro (imagem (quadro) N9), os números pelos quais cada quadro é armazenado na memória (imagem armazenada (quadro) N9) e os números que apresentam a ordem pela qual cada quadro é transmitido (ordem de transmissão).
O método para fornecer estes números é explicado. Para começar, desde que a imagem I da imagem N9 0 não refere-se a outras imagens, a imagem I da imagem N9 0 é armazenada na memória e seu número de imagem armazenado é 0. A seguir, desde que a imagem P da imagem N9 2 que refere-se à imagem I da imagem N2 0 é armazenada na memória, o N2 da imagem armazenado na imagem P da imagem N2 2 é 1. Então, apesar da imagem B da imagem Ns 1 que refere-se à imagem I da imagem Ns 0 e da imagem P da imagem N2 2 estarem armazenadas na memória, desde que esta imagem B não é referida por outras imagens, seu N2 de imagens armazenado é 1, o mesmo que o N2 da imagem armazenado da imagem P da imagem N2 2 que está armazenada imediatamente antes. A ordem pela qual cada imagem é transmitida é esta pela qual cada imagem é armazenada. Pelos procedimentos similares, a relação entre a imagem N2, a imagem armazenada N2 e a ordem de transmissão é decidida.
Como apresentado na figura 25, quando a imagem I da imagem N2 12 é codificada, ela é transmitida ligando-se com o comando de inicialização Código 5 apresentado na figura 15. Desde que a imagem armazenada N2 da imagem I da imagem N2 12 é 6, é possível liberar todas as imagens cujo N2 de imagem armazenado seja 5 ou menos por este comando de inicialização Código 5.
Aqui, o caso da codificação repetida do comando de inicialização Código 5, mais especificamente, o caso de fornecer o mesmo comando de inicialização Código 5 como o comando de inicialização Código dado para a imagem I da imagem N2 12 para a imagem P da imagem N2 14 é explicado.
Como apresentado na figura 15, desde que o comando de inicialização Código 5 não possui informação adicionada, ele libera todas as imagens armazenadas na memória para a imagem de referência na hora que ele é decodificado. Por conseqüência, quando o comando de inicialização Código 5 dado para o quadro I da imagem N2 12 (a imagem armazenada N2 6) é perdido pelo erro do canal de transmissão e o comando de inicialização Código 5 dado para a imgem P da imagem N2 14 (a imagem armazenada N2 7) é executado, todas as imagens cujo N2 de imagem armazenado seja 6 ou menor e que estão armazenadas na memória são liberadas. Em outras palavras, mesmo a imagem I da imagem N2 12 (a imagem armazenada N2 6) que não deve ser liberada por natureza, é liberada.
Entretanto, por ligar o comando de reenvio de inicialização Código 6 ao invés do comando de inicialização Código 5 com a imagem P da imagem N9 14, todas as imagens cujo N9 de imagem armazenado for 5 ou menos que estão armazenadas na memória são liberadas pelo comando de inicialização Código 5 no caso do comando de inicialização Código 5 não ser perdido pela erro de canal de transmissão ou pelo comando de reenvio de inicialização Código 6 no caso do comando de inicialização Código 5 ser perdido pelo erro do canal de transmissão.
Em outras palavras, desde que o quadro inicializado N9 (neste caso, a imagem N9 12) é adicionado para o comando de reenvio de inicialização Código 6 como a informação adicionada, os quadros de armazenamento antes do quadro de inicialização (o quadros de armazenamento cujos N9 de imagem armazenado é 5 ou menos e que estão armazenados na memória para a imagem de referência na hora do quadro de inicialização ser armazenado) são liberados.
Como é descrito, pelo comando de reenvio de inicialização Código 6 que possui a informação adicionada, mesmo se o comando de inicialização Código 5 for perdido pelo erro de canal de transmissão, a possibilidade de que a inicialização seja executada normalmente torna-se alta. Em adição, é aceitável substituir o comando de inicialização Código 5 pelo comando de reenvio de inicialização Código 6 apresentado na presente modalidade que possui o N9 da imagem a imagem com o qual o comando de reenvio de inicialização Código 6 está ligado como informação adicionada e realizar o Código 5 e o Código 6 apresentados na figura 22 como um comando. Isto é porque a inicialização é reenviada para reenviar a informação de inicialização, o número do quadro com o qual o comando de inicialização Código 5 está ligado é designado; o N9 da imagem para reenviar o dito quadro não é utilizado. Nesta hora, é aceitável invalidar o comando de inicialização Código 5.
Observe que no caso de realizar o comando de reenvio de inicialização Código 6 e o comando de inicialização Código 5 apresentados nas modalidades mencionadas acima por um comando como este, é aceitável que o comando de reenvio de inicialização Código 6 que possui um valor especial que não é utilizado no comando de reenvio de inicialização Código apresentado nas modalidades mencionadas acima seja feito por ser o comando que possui a mesma função que o comando de inicialização Código que é enviado primeiro.
Além disso, como explicado em cada modalidade mencionada acima, quando a informação de gerenciamento de memória tal como o comando para liberar uma imagem na memória que nunca é utilizada como referência e o comando de inicialização é transmitido novamente, como apresentado na figura 17 e na figura 18, é aceitável transmitir a informação de cabeçalho incluindo a informação de gerenciamento de memória separadamente dos dados do quadro ao invés de transmitir a informação de gerenciamento de memória incluída na informação de cabeçalho adicionada para os dados do quadro na codificação da imagem. Em outras palavras, é aceitável que o comando a ser transmitido novamente não seja o mesmo fluxo que o quadro codificado, mas seja transmitido, por exemplo, como um fluxo diferente. Adicionalmente, também é aceitável gravar o comando em uma área diferente do meio de armazenamento.
Adicionalmente, na presente modalidade, quando o comando de inicialização Código 5 é reenviado, o N9 do imagem da imagem com o qual o comando de inicialização Código 5 é primeiro ligado (o N9 do quadro inicializado) é adicionado para o comando de reenvio de inicialização Código 6 como informação adicionada mas quando o comando da informação de gerenciamento de memória tal como o comando para liberar a área de memória e o comando para designar a imagem objeto para ser movida da a memória de curto prazo para a memória de longo prazo é reenviado como apresentado em cada modalidade mencionada acima, é naturalmente aceitável que o N9 da imagem a imagem objeto codificado transmitido ligando-se primeiro com o comando (a informação para identificar o quadro) esteja incluído como um parâmetro e seja transmitido. Por fazer desse modo, é possível detectar qual imagem foi transmitida quando o erro de canal de transmissão ocorreu.
Nona Modalidade
A seguir, um método de codificação de imagem e um método de decodificação de imagem de acordo com a nona modalidade são explicados.
A característica da presente modalidade é, quando a informação de gerenciamento de memória é transmitida várias vezes, alterar o tempo do processamento baseado na informação de gerenciamento de memória na segunda vez e posterior.
Quando os dados obtidos por repetidamente codificar a informa10 ção de gerenciamento de memória são obtidos como apresentado nas modalidades mencionadas acima, antes de processar a informação de gerenciamento de memória que é repetidamente transmitida, o sinal de imagem com qual a informação de gerenciamento está ligada é decodificado sem falha. Como um exemplo concreto, o caso de transmitir o comando para li15 berar uma imagem na memória que nunca é utilizado como referência várias vezes que é explicado na segunda modalidade é explicado novamente utilizando a figura 19.
A imagem da imagem N9 12 apresentada na figura 19 está ligada com o comando de Código 1 apresentado na figura 22 e é codificada e 20 adicionalmente a imagem da imagem N9 11 está ligada com o comando de Código 1 e é codificada. Nesta hora, a decodificação é executada seguindo a figura 8. Para começar, o Código 1 ligando-se com a imagem da imagem N9 12 é decodificado (Etapa 110). A seguir, a imagem da imagem N9 12 é decodificada (Etapa 111). Aqui, quando o Código 1 que deve ser ligado com 25 a imagem da imagem N9 12 por natureza é abandonado durante a transmissão (Não na Etapa 112), o processamento em relação a este quadro termina.
Na ordem de transmissão, a imagem da imagem N9 11 é processada para ser decodificada seguindo à imagem da imagem N9 12.
Para começar, o Código 1 que é codificado ligado com a imagem da imagem N9 11 é decodificada (Etapa 110). A seguir, o quadro do quadro N9 11 é decodificado (Etapa 111). Quando este Código 1 não é abandonado durante a transmissão e é transmitido, o Código 1, o comando para liberar a memória, existe na informação de gerenciamento de memória decodificada (Sim na Etapa 112), o que leva ao próximo processamento (Etapa 113).
Aqui, desde que a memória não está liberada quando a imagem da imagem N9 12 que é decodificada antes da decodificação da imagem da imagem N9 11 ser decodificada (Não na Etapa 113), o processamento para liberar a memória é executado (Etapa 114).
Como apresentado no exemplo concreto mencionado acima, devido a transmitir o comando para liberar uma imagem na memória que nunca é utilizada como referência, o comando que deve ser executado por natureza para a imagem (a imagem Ns 12) para a qual o primeiro comando não é executado, é executado após o processamento de decodificação do sinal da imagem da imagem (o quadro N9 11) que é transmitido posteriormente; um atraso da execução do comando ocorre.
Por conseqüência, na presente modalidade, um método para resolver o problema é explicado utilizando a figura 26, a figura 27 e a figura 28.
A figura 26 é um diagrama de correspondência que apresenta uma relação entre a informação de gerenciamento de memória e os comandos que são utilizados na presente modalidade.
Na figura 26, o Código apresenta o número do comando; o comando apresenta o conteúdo do comando; a informação adicionada apresenta a informação adicionada, adicionada para o comando; a posição de processamento apresenta o tempo para executar os comandos.
A figura 26 é diferente da figura 15 na qual na primeira, o Código A1 até o Código A4 são os comandos que são executados após o processamento de decodificação da imagem, enquanto o Código A6 até o Código A9 que correspondem ao Código A1 até o Código A4 são os comandos que são executados antes do processamento de decodificação da imagem.
Então, no caso de enviar a informação de gerenciamento de memória repetidamente, os comandos da informação de gerenciamento de memória que são codificados primeiro são os comandos (Código A1 até Có58 digo A4) cujas posições de processamento estão após a decodificação (executada após a decodificação da imagem); os comandos que são codificados repetidamente (após a segunda vez) são os comandos (Código A6 até Código A9) cujas posições de processamento são antes da decodificação.
Deste modo, no caso da informação de gerenciamento de memória enviada primeiro sendo abandonada, o comando que deve ser executado pela informação de gerenciamento de memória que é enviada primeiro por natureza é executado antecipadamente e é possível tornar o problema tal como atraso difícil de ocorrer.
Daqui para frente, os procedimentos de processamento utilizando os comandos na figura 26 são explicados utilizando a figura 27 e a figura 28.
A figura 27 é um fluxograma que apresenta um método de codificação de imagem na presente modalidade e apresenta as operações do dispositivo de codificação de imagem 100 apresentado na figura 5.
Na figura 27, para começar, uma imagem é codificada (Etapa B0). Após a codificação, a área desnecessária (as imagens que não são referidas na codificação futura) é examinada (Etapa B1); se existe a área desnecessária é julgado (Etapa B2). Quando existe uma imagem na memória que nunca é utilizada como referência (Sim na Etapa B2), o comando para liberar uma imagem na memória que nunca é utilizada como referência é estabelecido para ser executado após a decodificação do sinal da imagem; a informação de gerenciamento de memória utilizada após a decodificação é codificada (etapa B3), uma imagem na memória que nunca é utilizada como referência é liberada (Etapa B4). Por outro lado, quando não existe imagem na memória que nunca é utilizada como referência (Não na Etapa B2), as operações da Etapa B3 e da Etapa B4 não são executadas.
A seguir, a unidade de controle de informação de memória 101 julga se o comando para liberar uma imagem na memória que nunca é utilizada como referência ligando-se com a codificação da imagem codificada imediatamente antes (a imagem antes do objeto codificado) está codificado como a informação de gerenciamento de memória (Etapa B30). Se nãocodificado (Não na Etapa B30), o processamento termina. Se codificado (Sim na Etapa B30), a unidade de codificação de informação de gerenciamento 105 executa o comando para liberar uma imagem na memória que nunca é utilizada como referência antes da decodificação do sinal de imagem e codifica a informação de gerenciamento de memória utilizada antes da decodificação (Etapa B31) e o processamento termina.
Observe que no caso do comando para liberar uma imagem na memória que nunca é utilizada como referência sendo codificado ligado com o sinal codificado, codificado imediatamente antes na Etapa B30, o comando é novamente codificado mas o caso de ligar-se com a imagem antes de várias imagens é aceitável ao invés do caso de ligar-se com a imagem imediatamente antes. Adicionalmente, é aceitável que o comando mencionado acima seja repetidamente codificado como a informação de gerenciamento de memória e seja transmitido ligando-se com várias imagens.
A seguir, os procedimentos para decodificar os dados codificados seguindo-se aos procedimentos na figura 27 são explicados utilizandose a figura 28 e a figura 19.
A figura 28 é um fluxograma que apresenta um método de decodificação de imagem na presente modalidade e apresenta as operações que o dispositivo de decodificação de imagem 200 apresentado na figura 7.
Na explicação seguinte, na figura 19, a imagem da imagem N2 12 é codificada ligada com o comando do Código A1 apresentado na figura 26 e adicionalmente a imagem da imagem N2 11 é codificada ligada com o comando do Código A6. Quando apresentado na figura 17, o Código A1 é dado para o cabeçalho do quadro Frm12Hdr da imagem Frm12 da imagem N2 12, enquanto o Código A6 é dado para o cabeçalho do quadro Frm11Hdr do quadro Frm11 da imagem N2 11.
A propósito, a não ser que o comando seja perdido pelo erro do canal de transmissão, o dispositivo de decodificação de imagem recebe o comando para liberar a mesma área de imagem na memória várias vezes. Por conseqüência, no método de decodificação de imagem que o dispositivo de decodificação executa, mesmo se o dispositivo de decodificação de imagem receber o comando para liberar a imagem que já tenha sido liberada, o dispositivo de decodificação de imagem não processa o comando como um erro, mas ao contrário, deve julgar que o comando é corretamente recebido.
Para começar, o processamento de decodificação em relação à imagem da imagem N9 12 é explicado.
Na figura 28, para começar, a informação de gerenciamento de memória da imagem da imagem N9 12 é decodificada (Etapa B5); se esta informação de gerenciamento de memória for a informação de gerencia10 mento de memória utilizada antes da decodificação, é examinado (Etapa B7). Aqui, desde que esta informação de gerenciamento de memória (Código A1) é a informação de gerenciamento de memória utilizada após a decodificação (Não na Etapa B7), o sinal de imagem da imagem da imagem N9 12 é decodificado. Então, como é descrito antes, desde que a informação de 15 gerenciamento de memória (Código A1) é a informação de gerenciamento de memória utilizada após a decodificação (Sim na Etapa B9), a memória é liberada (Etapa B11) e o processamento em relação à informação de gerenciamento de memória da imagem da imagem N9 12 termina.
Por outro lado, quando o Código A1 da informação de gerenci20 amento de memória é abandonado, a informação de gerenciamento de memória não é julgada como sendo a informação de gerenciamento de memória utilizada antes da decodificação na Etapa B7 (Não na Etapa B7) e adicionalmente, a informação de gerenciamento de memória não é julgada como sendo a informação de gerenciamento de memória utilizada após a decodi25 ficação (Não na Etapa B9), somente o sinal de imagem da imagem da imagem N9 12 é decodificado (Etapa B6), o processamento em relação à informação de gerenciamento de memória da imagem da imagem N9 12 termina.
A seguir, o processamento de decodificação do quadro da imagem N911 é explicado utilizando a figura 28.
Para começar, a informação de gerenciamento de memória da imagem N9 11 é decodificada (Etapa B5); se esta informação de gerenciamento de memória for a informação de gerenciamento de memória utilizada antes da decodificação, é examinado (Etapa B7). Aqui, desde que o Código A6 é a informação de gerenciamento de memória utilizada antes da codificação (Sim na Etapa B7), se a memória está liberada ou não é examinado (Etapa B8). No processamento da imagem da imagem N9 12, desde que a memória já tinha sido liberada se o Código A1 for executado (Sim na Etapa B8), o processamento para liberar a memória (Etapa B10) não é executado e a imagem da imagem N9 11 é decodificada (Etapa B6). Então, se a informação de gerenciamento de memória é utilizada após a codificação, é julgado (Etapa B9), mas desde que o Código A6 é a informação de gerenciamento de memória utilizada antes da decodificação (Não na Etapa B9), o processamento em relação à informação de gerenciamento de memória da imagem da imagem N9 11 termina.
Entretanto, por causa do abandono de um pacote durante a transmissão ou semelhante, a informação de gerenciamento de memória da imagem da imagem N9 12 é abandonada, no processamento em relação à imagem da imagem N9 12, quando a memória não está liberada, no processamento em relação à imagem da imagem N9 11, a memória é julgada como não estando liberada (Não na Etapa B8), a memória é liberada na próxima etapa (Etapa B6). Então, desde que o Código A6 na informação de gerenciamento de memória utilizada antes da decodificação (Não na Etapa B9), o processamento em relação à informação de gerenciamento de memória da imagem da imagem N9 11 termina.
Deste modo, para o que é reenviado, executar o comando antes da decodificação do sinal da imagem, mesmo se o comando enviado primeiro for abandonado, é possível reduzir o atraso de executar o comando.
Em adição, como um exemplo concreto, o caso da informação de gerenciamento de memória sendo o Código A1 e o Código A6 é explicado, mas o mesmo pode ser realizado com o processamento similar do Código A2 e do Código A7 sendo utilizados e o mesmo também pode ser realizado pelo processamento similar no caso do Código A3 e do Código A8 sendo utilizados e no caso do Código A4 e do Código A9 sendo utilizados.
Adicionalmente, é possível utilizar um par de comandos de inici62 alização Código A5 apresentados na figura 26 como a informação de gerenciamento de memória utilizada após a decodificação e o comando de reenvio de inicialização Código 6 apresentado na figura 22 como a informação de gerenciamento de memória utilizada antes de decodificação, respectivamente.
Além disso, no caso de um pedaço da informação de gerenciamento de memória utilizada após a decodificação e vários pedaços da informação de gerenciamento de memória utilizados antes da decodificação serem dados para um quadro como a informação de cabeçalho, é bom processar os vários pedaços da informação de gerenciamento de memória utilizada antes da decodificação antes da informação de gerenciamento de memória utilizada após a decodificação.
Em outras palavras, é bom fornecer a informação de gerenciamento de memória utilizada antes da decodificação para a parte do cabeçalho da informação de cabeçalho apresentada na figura 17 e o código da dita informação de gerenciamento de memória.
Adicionalmente, por combinar os comandos apresentados na figura 29A e na figura 29B e julgar se a informação de gerenciamento de memória é a informação de gerenciamento de memória utilizada antes da decodificação ou a informação de gerenciamento de memória utilizada após a decodificação, de outras informações, é aceitável realizar os comandos apresentados nas modalidades mencionadas acima.
A figura 29A é um diagrama de correspondência que apresenta o conteúdo dos comandos e a informação adicionada. A figura 29B é um diagrama de correspondência que apresenta os tempos de execução (as posições de processamento) dos comandos.
A figura 30 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho de um sinal codificado.
Na figura 30, o sinal codificado do quadro FrmB possui o cabeçalho do quadro FrmBHdr, os dados do quadro tais como Mba e MBb; o cabeçalho do quadro FrmBHdr possui a informação de código Código D e se63 melhante como a informação de cabeçalho.
Nesta hora, como apresentado na figura 30, por exemplo, é bom que o cabeçalho do quadro FrmBHdr do quadro FrmB inclua, a partir do começo, a informação de código Código D do comando, o Indicador D que apresenta a posição de processamento e a informação adicionada Adição D que apresenta a informação adicionada do comando. Quando não existe informação adicionada, como apresentado na figura 30, é bom que o Código E do comando e o Indicador E que apresenta a posição de processamento sejam adicionados para o cabeçalho do quadro FrmBHdr. Desde que imediatamente após o Código que apresenta o comando não é Adição que apresenta a informação adicionada mas o Indicador que apresenta a posição de posicionamento, é possível otimizar o processamento da Etapa B7 e da Etapa B9 apresentadas na figura 28.
Adicionalmente, para distinguir se o tempo de execução do comando é antes ou depois da decodificação do sinal de imagem, utilizando um novo comando para apresentar a posição de processamento, é aceitável que os comandos que estejam localizados antes da posição no quadro do cabeçalho do comando que apresenta a posição de processamento sejam executados após a decodificação, enquanto os comandos que estão localizados após a posição do quadro de cabeçalho do comando que apresenta a posição de processamento sejam executados antes da decodificação. Por se fazer desse modo, quando existem vários comandos, o tempo de execução (a posição de processamento) de cada comando pode ser apresentado por um comando, comparado com o caso de transmitir um Indicador que apresenta a posição de processamento para cada comando, a informação a ser transmitida é reduzida e a eficiência da codificação é aperfeiçoada.
Um exemplo concreto é explicado na figura 31.
A figura 31 é um diagrama esquemático que apresenta os comandos da informação de gerenciamento de memória na informação de cabeçalho de outro sinal codificado.
Na figura 31, o sinal codificado do quadro FrmC possui o cabeçalho do quadro FrmCHdr e os dados do quadro tais como Mba e MBb; no
Í>:
cabeçalho do quadro FrmCHdr, como a informação de cabeçalho, a partir do começo na ordem, o comando Código F, o comando dif, o comando Código
G, a informação adicionada Adição G e o comando Código H estão localizados.
Então, se o comando dif que apresenta a posição de processamento está no cabeçalho do quadro FrmCHdr é julgado, é aceitável que o comando Código F que está antes do comando dif que apresenta a posição de processamento seja executado após a decodificação do quadro FrmC, enquanto o comando Código G e o comando Código H que estão após o comando dif sejam executados antes da decodificação do quadro FrmC. Neste caso, se não existir o comando dif que apresenta a posição de processamento, todos os comandos no cabeçalho do quadro FrmCHdr são executados após o processamento de decodificação do quadro FrmC.
A propósito, como explicado em cada modalidade mencionada acima, quando a informação de gerenciamento de memória tal como o comando para liberar uma imagem na memória que nunca é utilizada como referência e o comando de inicialização é transmitido novamente, é aceitável transmitir a informação de cabeçalho incluindo a informação de gerenciamento de memória separadamente do sinal codificado da imagem ao invés de transmitir a informação de gerenciamento de memória incluída na informação de cabeçalho adicionada para o sinal codificado da imagem. Em outras palavras, é aceitável que o comando a ser novamente transmitido não seja o mesmo fluxo que o quadro codificado mas seja transmitido, por exemplo como um fluxo diferente. Adicionalmente, também é aceitável gravar o comando em uma área diferente do meio de armazenamento.
Décima Modalidade
A seguir, a décima modalidade da presente invenção é explicada.
Na presente modalidade, a unidade para a qual a codificação é executada é diferente desta de cada uma das modalidades mencionadas acima. Em outras palavras, na primeira modalidade, quando o comando para liberar uma imagem na memória que nunca é utilizada como referência é transmitido várias vezes, o fluxo da informação de gerenciamento de memória CtIStr e o fluxo de codificação de imagem VideoStr que corresponde ao comando mencionado acima e são apresentados na figura 5, são codificados na unidade de uma imagem (uma imagem), mas na presente modalidade, é aceitável codificar um quadro na unidade de uma fração de imagem como uma estrutura de fluxo apresenta na figura 32.
Codificar na unidade de uma fração de imagem é, como a fração de imagem 1 do quadro 1 na figura 32 possui o cabeçalho 1-1, o CtIStr 1 e o VideoStr 1-1 e a fração de imagem 2 do quadro 1 na figura 32 possui o cabeçalho 1-2, o CtIStr 1 e o VideoStr 1-2, codificar o cabeçalho, o fluxo de informação de gerenciamento de memória CtIStr e o fluxo de codificação de imagem VideoStr para cada fração de imagem de cada quadro. Após a codificação, o dispositivo de codificação de imagem emite o fluxo de dados. Em adição, a fração de imagem é uma unidade de retorno de sincronização, uma área em formato de tira constituída de um ou vários blocos e as várias frações de imagem constroem uma imagem. Adicionalmente, uma imagem é uma unidade básica de codificação que corresponde a uma imagem; um bloco é uma unidade básica de codificação/decodificação.
Além disso, como descrito acima, o conteúdo quando o fluxo de informação de gerenciamento de memória CtIStr é transmitido várias vezes é a mesma informação dentro do mesmo quadro. Sendo a mesma informação, a adição deste fluxo de gerenciamento de memória CtIStr na unidade de uma fração de imagem pode ser omitida. Por exemplo, a informação que apresenta se as várias vezes de transmissão são omitidas ou não da dita fação é adicionada para o cabeçalho da fração de imagem; 0 é adicionado para o cabeçalho da fração de imagem quando várias vezes de transmissão do comando mencionado acima são omitidas; 1 é adicionado para o cabeçalho da fração de imagem quando o comando mencionado acima é transmitido (não-omitido) na dita fração de imagem. De forma concreta, um exemplo é apresentado na figura 33A e explicado abaixo. Cada um dos cabeçalhos e dos fluxos de codificação de vídeo VideoStr da fração de imagem 1 até a fração de imagem 3 no quadro 1 é diferente. Por outro lado, a fração de imagem 1 e a fração de imagem 2 possuem o mesmo fluxo de informação de gerenciamento de memória CtIStr 1, cada uma dentre a fração de imagem 1 e a fração de imagem 2 possui a informação 1 que apresenta que o mesmo fluxo de informação de gerenciamento de memória é codificado nas várias frações de imagem no mesmo quadro. Adicionalmente, a fação 3 possui a informação 0 que apresenta que o fluxo de informação de gerenciamento de memória CtIStr 1 é omitido. Por fazer desse modo, quando a transmissão do comando várias vezes é omitida na dita fração de imagem, por referir-se ao fluxo de informação de gerenciamento de memória CtIStr na fração de imagem onde o 1 mencionado acima é apresentado como a primeira fração e semelhante, é possível omitir a adição do fluxo de informação de gerenciamento de memória CtIStr e reduzir o número de bits.
Em outras palavras, a informação 0 mencionada acima que apresenta que o fluxo de informação de gerenciamento de memória CtIStr é omitido é, na fração de imagem que não possui a informação que designa o quadro do objeto a ser liberado (fração de imagem 3), quando a informação que designa a imagem do objeto a ser liberada é referida, a informação que apresenta que a informação que designa a imagem do objeto a ser liberado é referida.
O método como este para permitir a omissão da adição do fluxo de informação de gerenciamento de memória CtIStr é eficaz porque a possibilidade de que o fluxo de informação de gerenciamento de memória seja abandonado várias vezes durante o processo de transmissão é baixa.
Adicionalmente, quando a presença ou ausência do fluxo de informação de gerenciamento de memória CtIStr pode ser julgada sem a informação que apresenta que o fluxo de informação de gerenciamento de memória CtIStr está omitido, é aceitável que esta informação seja omitida como apresentado na figura 33B. Por exemplo, quando o cabeçalho do fluxo de informação de gerenciamento de memória CtIStr pode ser distinguido do cabeçalho do fluxo de codificação da imagem VideoStr, o julgamento de se existe a informação que apresenta se o fluxo de informação de gerenciamento de memória CtIStr 1 está codificada pode ser confirmada por se existe a informação predeterminada no local predeterminado a partir do cabeçalho de cada fração de imagem.
O método como este para permitir a omissão da adição do fluxo de informação de gerenciamento de memória CtIStr é eficaz porque o número de codificação de fluxo de informação de gerenciamento de memória é diminuído e o número de bits é reduzido.
Até este ponto, a codificação é explicada, mas de forma similar a decodificação de um quadro pode ser executada na unidade de uma fração de imagem. Na segunda modalidade, quando o comando para liberar uma imagem na memória que nunca é utilizada como referência é transmitido várias vezes, o dispositivo de decodificação de imagem 200 apresentado na figura 7 divide a estrutura do fluxo que possui o fluxo de informação de gerenciamento de memória CtIStr e o fluxo de codificação de imagem VideoStr que corresponde aos comandos mencionados acima e são apresentados na figura 32 e informa cada fluxo na unidade de uma imagem, mas é aceitável informar cada fluxo na unidade de uma fração de imagem.
Observe que na codificação e na de codificação em outras modalidades, é aceitável codificar e decodificar um quadro de forma similar na unidade de uma fração de imagem.
Adicionalmente, os métodos de codificação de imagem e os métodos de decodificação de imagem apresentados na primeira modalidade até a décima modalidade podem ser implementados em dispositivos de comunicação móveis tal como telefone celular e sistema de navegação de carro e dispositivos de captura de imagem, tal como câmara de vídeo digital e câmara de imagem parada digital por semicondutores tal como LSI (Integração de larga escala). Além disso, três tipos de implementações podem ser concebidos: um terminal de envio/recepção implementado com um codificador e com um decodificado; um terminal de envio implementado somente com um codificador; e um terminal de recepção implementado somente com um decodificador.
Décima Primeira Modalidade
A seguir, a décima primeira modalidade da presente invenção é explicada.
Na presente modalidade, se um programa para realizar a estrutura dos métodos de codificação de imagem e dos métodos de decodificação de imagem como apresentados na primeira modalidade até a décima modalidade é gravado em um meio de memória tal como um disco flexível, torna-se possível executar o processamento apresentado nestas modalidades facilmente em um sistema de computador independente.
A figura 34A, 34B e 34C são diagramas explicativos que apresentam o caso onde o processamento é executado em um sistema de computador utilizando um disco flexível que armazena o método de codificação de imagem ou o método de decodificação de imagem da primeira modalidade até a décima modalidade.
A figura 34B apresenta um disco flexível e a vista frontal e a vista em seção transversal da aparência do disco flexível e a figura 34A apresenta um exemplo de um formato físico de um disco flexível como um próprio meio de gravação. Um disco flexível FD 1 está contido em um invólucro F, uma pluralidade de trilhas Tr são formadas concentricamente na superfície do disco na direção do rádio a partir da periferia e cada trilha é dividia em 16 setores Se na direção angular. Portanto, como para o disco flexível armazenando o programa mencionado acima, o método de codificação de imagem como o programa é gravado em uma área alocada para o mesmo no disco flexível FD 1.
A figura 34C apresenta a estrutura para gravação e leitura do programa a partir do disco flexível FD 1. Quando o programa é gravado no disco flexível FD 1, o sistema de computador Cs grava o método de codificação de imagem ou o método de decodificação de imagem como um programa através do controlador do disco flexível FDD. Quando o método de codificação de imagem é construído no sistema de computador pelo programa no disco flexível FD 1, o programa é lido a partir do controlador do disco flexível FDD através do disco flexível FD 1 e transferido para o sistema de computador Cs.
A explicação acima é feita com a suposição de que um meio de gravação é um disco flexível, mas o mesmo processamento pode também ser executado utilizando um disco ótico. Em adição, o meio de gravação não está limitado a um disco flexível e a um disco ótico, mas qualquer outro meio tal como um cartão IC e um cassete ROM capaz de gravar um programa pode ser utilizado.
Adicionalmente, os métodos de codificação de imagem e os métodos de decodificação de imagem apresentados nas modalidades mencionadas acima podem ser implementados em dispositivos de comunicação móveis tal como um telefone celular e em um sistema de navegação de carro e dispositivos de captura de imagem tal como uma câmara de vídeo digital e uma câmara de imagem parada digital por semicondutores tal como LSI (integração em larga escala). Além disso, três tipos de implementações podem ser concebidas: um terminal de envio/recepção implementado tanto com um codificador como com um decodificador; um terminal de envio implementado somente com um codificador; e um terminal de recepção implementado somente com um decodificador.
Aqui, as aplicações do método de codificação de imagem e do método de decodificação de imagem como apresentados na primeira modalidade até a décima modalidade e o sistema que utiliza os métodos são explicados.
A figura 35 é um diagrama de blocos que apresenta a configuração geral de um sistema de suprimento de conteúdo ex100 para realizar o serviço de distribuição de conteúdo. A área para proporcionar o serviço de comunicação é dividida em células de tamanho desejado e os locais de célula ex107 até ex110 que são estações sem fio fixas são colocadas nas respectivas células.
Este sistema de suprimento e conteúdo ex100 está conectado com os dispositivos tais como um computador ex111, um PDA (Assistente Pessoal Digital) ex112, uma câmara ex113, um telefone celular ex114 e um telefone celular com uma câmara ex115 através da Internet ex101, um provedor de serviço Internet ex102, uma rede de telefone ex104 e os locais de célula ex107 até ex110.
Entretanto, o sistema de suprimento e conteúdo ex100 não está limitado à configuração como apresentada na figura 35 e pode estar conectado com uma combinação de qualquer um dos mesmos. Além disso, cada dispositivo pode estar conectado diretamente com a rede de telefone ex104, não através dos locais de célula ex107 até ex110.
A câmara ex113 é um dispositivo tal como uma câmara de vídeo digital capaz de filmar vídeo (imagens em movimento). O telefone celular ex114 pode ser um telefone celular de um sistema PDC (Comunicação Pessoal Digital), de um sistema CDMA (Acesso Múltiplo por Divisão de Código), um sistema W-CDMA (Acesso Múltiplo por Divisão de Código de Banda Larga) ou um sistema GSM (Sistema Global para Comunicações Móveis), um PHS (Sistema de Telefone Portátil Pessoal) ou semelhante.
Um servidor de colocação em fluxo ex103 está conectado com a câmara ex113 através da rede de telefone ex104 e do local de célula ex109, o qual permite a distribuição ao vivo ou semelhante utilizando a câmara ex113 baseada nos dados codificados transmitidos a partir do usuário. A câmara ex113 ou o servidor para transmitir os dados podem codificar os dados. Adicionalmente, os dados da imagem filmada por uma câmara ex116 podem ser transmitidos para o servidor de colocação em fluxo ex103 através do computador ex111. A câmara ex116 é um dispositivo tal como uma câmara digital capaz de filmar imagens paradas e em movimento. Neste caso, a câmara ex116 ou o computador ex111 podem codificar os dados da imagem. Um LSI ex117 incluído no computador ex111 ou na câmara ex116 realmente executa o processamento de codificação. O software para codificar e decodificar as imagens pode estar integrado em qualquer tipo de meio de armazenamento (tal como um CD-ROM, um disco flexível e um disco rígido) que é um meio de gravação que pode ser lido pelo computador ex111 ou semelhante. Adicionalmente, um telefone celular com uma câmara ex115 pode transmitir os dados de imagem em movimento. Estes dados de imagem em movimento são os dados codificados pelo LSI incluído no telefone celular ex115.
O sistema de suprimento e conteúdo ex100 codifica o conteúdo (tal como um vídeo de música ao vivo) filmado pelos usuários utilizando a câmara ex113, a câmara ex116 ou semelhante da mesma maneira que as modalidades mencionadas acima e transmite o mesmo para o servidor de colocação em fluxo ex103, enquanto o servidor de colocação em fluxo ex103 faz a distribuição do fluxo dos dados do conteúdo para os clientes ao seu pedido. Os clientes incluem o computador ex111, o PDA ex112, a câmara ex113, o telefone celular ex114 e semelhantes capazes de decodificar os dados codificados mencionados acima. No sistema de suprimento de conteúdo ex100, os clientes podem assim receber e reproduzir os dados codificados e adicionalmente podem receber, decodificar e reproduzir os dados em tempo real de modo a realizar a difusão pessoal.
Quando cada dispositivo neste sistema executa a codificação ou a decodificação, o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem, como apresentados nas modalidades mencionadas acima, podem ser utilizados.
Um telefone celular será explicado como um exemplo do dispositivo.
A figura 36 é um diagrama que apresenta o telefone celular ex115 utilizando o método de codificação de imagem e o método de decodificação de imagem explicados nas modalidades mencionadas acima. O telefone celular ex115 possui uma antena ex201 para comunicação com o local da célula ex110 através de ondas de rádio, uma unidade de câmara ex203 tal como uma câmara CDD capaz de filmar imagens em movimento e paradas, uma unidade de vídeo ex202 tal como um vídeo de cristal líquido para exibir os dados obtidos pelas imagens de decodificação e semelhantes pela unidade de câmara ex203 e recebidas pela antena ex201, um corpo principal incluindo um conjunto de teclas de operação ex204, uma unidade de saída de voz ex208 tal como um alto-falante para emitir vozes, uma unidade de entrada de voz 205 tal como um microfone para entrar vozes, um meio de armazenamento ex207 para armazenar dados codificados ou decodificados tal como das imagens em movimento ou paradas filmadas pela câmara, dados de correios eletrônicos recebidos e dados de imagens em movimento ou paradas e uma unidade de fenda ex206 para ligar o meio de armazenamento ex207 com o telefone celular ex115. O meio de armazenamento ex207 armazena nele próprio um elemento de memória flash, um tipo de EEPROM (Memória somente para leitura programável que pode ser eletricamente apagada) que é uma memória não volátil que pode ser eletricamente gravada e apagada, em um invólucro plástico tal como um cartão SD.
Adicionalmente, o telefone celular ex115 será explicado utilizando a figura 37. No telefone celular ex115, uma unidade de controle principal ex311 para controle geral de cada unidade do corpo principal incluindo a unidade de vídeo ex202 e as teclas de operação ex204 está conectada com uma unidade de circuito de suprimento de força ex310, uma unidade de controle de entrada de operação ex304, uma unidade de codificação de imagem ex312, uma unidade de interface com a câmara ex303, uma unidade de controle do LCD (Vídeo de Cristal Líquido) ex302, uma unidade de decodificação de imagem ex309, uma unidade multiplexadora/demultiplexadora ex308, uma unidade de leitura/gravação ex307, uma unidade de circuito de modem ex306 e uma unidade de processamento de voz ex305 uns com os outros através do barramento síncrono ex313.
Quando uma tecla de término de chamada ou uma tecla de ativação é ligada pela operação de um usuário, a unidade de circuito de suprimento de força ex310 fornece para cada unidade energia a partir de um pacote de bateria de modo a ativar o telefone celular digital com uma câmara ex115 para colocar o mesmo no estado de pronto.
No telefone celular ex115, a unidade de processamento de voz ex305 converte os sinais de voz recebidos pela unidade de entrada de voz ex205 em modo e conversão para dados de voz digitais sob o controle da unidade de controle principal ex311 incluindo uma CPU, ROM e RAM, a unidade de circuito de modem ex306 executa o processamento de espectro de difusão dos dados de voz digitais e a unidade de circuito de envia/recebe ex301 executa a conversão de digital para analógico e a transformação de freqüência dos dados, de modo a transmitir os mesmos através da antena ex201. Além disso, no telefone celular ex115, a unidade de circuito de en via/recebe ex301 amplifica os dados recebidos pela antena ex201 no modo de conversação e executa a transformação de frequência e a conversão analógico para digital para os dados, a unidade de circuito de modem ex306 executa o processamento inverso de espectro de difusão dos dados e a unidade de processamento de voz ex305 converte os mesmos para dados de voz analógicos, de modo a emitir os mesmos através da unidade de saída de voz 208.
Adicionalmente, quando transmitindo um correio eletrônico no modo de comunicação de dados, os dados de texto do correio eletrônico informados por se operar as teclas de operação ex204 do corpo principal são enviados para a unidade de controle principal ex311 através da unidade de controle de entrada de operação ex304. Na unidade de controle principal ex311, após a unidade de circuito de modem ex306 executar o processamento de espectro de difusão dos dados de texto e a unidade de circuito de envia/recebe ex301 executar a conversão digital para analógico e a transformação de freqüência para os mesmos, os dados são transmitidos para o local de célula ex110 através da antena ex201.
Quando dados de imagem são transmitidos no modo de comunicação de dados, os dados da imagem filmados pela unidade de câmara ex203 são fornecidos para a unidade de codificação de imagem ex312 através da unidade de interface com a câmara ex303. Quando eles não são transmitidos, também é possível exibir os dados da imagem filmada pela unidade de câmara ex203 diretamente na unidade de vídeo 202 através da unidade de interface com a câmara ex303 e da unidade de controle do LCD ex302.
A unidade de codificação de imagem ex312, a qual inclui o dispositivo de codificação de imagem como explicado na presente invenção, compacta e codifica os dados da imagem fornecidos a partir da unidade de câmara ex203 pelo método de codificação utilizado para o dispositivo de codificação de imagem como apresentado nas modalidades mencionadas acima de modo a transformar os mesmos em dados de imagem codificados e enviar os mesmos para a unidade de multiplexação/demultiplexação ex308. Nesta hora, o telefone celular ex115 envia as vozes recebidas pela unidade de entrada de voz ex205 durante a filmagem pela unidade de câmara ex203 para a unidade de multiplexação/demultiplexação ex308 como dados de voz digitais através da unidade de processamento de voz ex305.
A unidade de multiplexação/demultiplexação ex308 multiplexa os dados de imagem codificados fornecidos a partir da unidade de codificação de imagem ex312 e os dados de voz fornecidos a partir da unidade de processamento de voz ex305 por um método predeterminado, a unidade de circuito de modem ex306 executa o processamento de espectro de difusão dos dados multiplexados obtidos como um resultado da multiplexação e a unidade e circuito de envia/recebe ex301 executa a conversão digital para analógico e a transformação de freqüência dos dados para transmitir através da antena ex201.
No que diz respeito a receber dados de um arquivo de imagem em movimento que está ligado com uma página da Web (Rede) ou semelhante no modo de comunicação de dados, a unidade de circuito de modem ex306 executa o processamento inverso de espectro de difusão dos dados recebidos a partir do local da célula ex110 através da antena ex201 e envia os dados multiplexados obtidos como resultado do processamento para a unidade de multiplexação/demultiplexação ex308.
De modo a decodificar os dados multiplexados recebidos através da antena ex201, a unidade de multiplexação/demultiplexação ex308 separa os dados multiplexados em um fluxo de bits de dados de imagem e em um fluxo de bits de dados de voz e fornece os dados de imagem codificados para a unidade de decodificação de dados ex309 e os dados de voz para a unidade de processamento de voz ex305, respectivamente, através do barramento síncrono ex313.
A seguir, a unidade de decodificação de imagem ex309, a qual inclui o dispositivo de decodificação de imagem como explicado na presente invenção decodifica o fluxo de bits de dados de imagem pelo método de decodificação correspondendo ao método de codificação como apresentado nas modalidades mencionadas acima para gerar os dados de imagem em movimento reproduzidos e fornece estes dados para a unidade de vídeo ex202 através da unidade de controle LCD ex302 e assim os dados de imagem incluídos em um arquivo de imagem em movimento ligados com uma página da Rede, por exemplo, são exibidos. Ao mesmo tempo, a unidade de processamento de voz ex305 converte os dados de voz em dados de voz analógicos e fornece estes dados para a unidade de saída de voz ex208 e assim os dados de voz incluídos no arquivo de imagem em movimento ligado com uma página da Rede, por exemplo, são reproduzidos.
A presente invenção não está limitada ao sistema mencionado acima e o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem nas modalidades mencionadas acima pode ser incorporado em um sistema de difusão digital como apresentado na figura 38. Tal difusão digital terrestre ou por satélite tem estado nos noticiários ultimamente. Mais especificamente, um fluxo de bits de informação de vídeo é transmitido a partir de uma estação de difusão ex409 ou comunicado com um satélite de difusão ex410 através de ondas de rádio. Quando da recepção do mesmo, o satélite de difusão ex410 transmite ondas de rádio para difusão, uma antena de uso doméstico ex406 com uma função de recepção de difusão por satélite recebe as ondas de rádio e uma televisão (receptor) ex401 ou uma caixa decodificadora (STB) ex407 decodifica o fluxo de bits para reprodução. O dispositivo de decodificação de imagem como apresentado nas modalidades mencionadas acima pode ser implementado no dispositivo de reprodução ex403 para ler e decodificar o fluxo de bits gravado em um meio de armazenamento ex402 que é um meio de gravação tal como um CD e DVD. Neste caso, os sinais de vídeo reproduzidos são exibidos em um monitor ex404. Também é concebido implementar o dispositivo de decodificação de imagem na caixa decodificadora ex407 conectada com um cabo ex405 para uma televisão a cabo ou antena ex406 para difusão por satélite e/ou terrestre de modo a reproduzir os mesmos em um monitor ex408 da televisão ex401. O dispositivo de decodificação de imagem pode ser incorporado na televisão, não na caixa decodificadora. Ou, um carro ex412 possuindo uma antena ex411 pode receber sinais a partir do satélite ex410 ou do local de célula ex107 para reproduzir as imagens em movimento em um dispositivo de vídeo tal como um sistema de navegação do carro ex413.
Adicionalmente, o dispositivo de codificação de imagem como apresentado nas modalidades mencionadas acima pode codificar sinais de imagem para gravação em um meio de gravação. Como um exemplo concreto, existe um gravador ex420, tal como um gravador de DVD para gravar sinais de imagem em um disco DVD ex421 e um gravador de disco para gravar os mesmos em um disco rígido. Eles podem ser gravados em um cartão SD ex422. Se o gravador ex420 incluir o dispositivo de decodificação de imagem como apresentado nas modalidades mencionadas acima, os sinais de imagem gravados no disco DVD ex421 ou no cartão SD ex422 pode ser reproduzido para exibição no monitor ex408.
Como a estrutura do sistema de navegação de carro ex413, a estrutura sem a unidade de câmara ex203, a unidade de interface com a câmara ex303 e a unidade de codificação de imagem ex312, fora dos componentes apresentados na figura 37, é concebível. O mesmo vale para o computador ex111, para a televisão (receptor) ex401 e para outros.
Em adição, três tipos de implementações podem ser concebidas para um terminal tal como o telefone celular mencionado acima ex114; um terminal de envio/recepção implementado tanto com um codificador como com um decodificador; um terminal de envio implementado somente com um codificador; e um terminal de recepção implementado somente com um decodificador.
Como descrito acima, é possível utilizar o método de codificação de imagem ou o método de decodificação de imagem nas modalidades mencionadas acima em qualquer um dos dispositivos e sistemas mencionados acima e utilizando este método, os efeitos descritos acima podem ser obtidos.
A partir da invenção assim descrita, será óbvio que as modalidades da invenção podem ser variadas de vários modos. Tais variações não são para ser consideradas como um desvio do espírito e do escopo da invenção e todas tais modificações como seriam óbvias para os com conhe77 cimento na técnica são pretendidas para inclusão dentro do escopo das reivindicações seguintes.
Como é descrito acima, pelos métodos de codificação de imagem e pelos métodos de decodificação de imagem de acordo com a presente invenção, é possível realizar o método de codificação de imagem e o método de decodificação de imagem para restaurar a imagem corretamente mesmo se parte da informação de gerenciamento de memória for perdida pelo erro do canal de transmissão e o método de codificação de imagem e o método de decodificação de imagem para selecionar candidatas das imagens de referência que podem ser referidas mais apropriadamente e aperfeiçoar a eficiência da codificação e portanto, seu valor prático é alto. Aplicabilidade Industrial
O dispositivo de codificação de imagem de acordo com a presente invenção é útil como o dispositivo de codificação de imagem que é incluído em um computador pessoal e em um PDA (Assistente Pessoal Digital) que estão equipados com a função de comunicação, em uma estação de difusão digital, em um telefone celular e semelhantes.
Adicionalmente, o dispositivo de decodificação de imagem de acordo com a presente invenção é útil como o dispositivo de decodificação de imagem que é incluído em um computador pessoal e em um PDA que estão equipados com a função de comunicação, em uma STB (caixa decodificadora) que recebe difusão digital, em um telefone celular e em semelhantes.

Claims (5)

1. Método de codificação de imagem para codificar uma imagem com referência a uma imagem de referência selecionada dentre imagens de referência armazenadas em uma memória (109) compreendendo as etapas de:
codificar (100,120) uma imagem atual a ser codificada com referência à imagem de referência selecionada;
codificar (103,123) a primeira informação de gerenciamento de memória para gerenciar as imagens de referência armazenadas na memória, em, que a primeira informação de gerenciamento de memória é ligada à imagem atual codificada; e codificar (106,126) a primeira informação de gerenciamento de memória novamente como segunda informação de gerenciamento de memória, em que a segunda informação de gerenciamento de memória é ligada a outra imagem que é diferente da imagem atual;
caracterizado pelo fato de que a memória (109) inclui (i) uma memória de curto prazo que mantém uma imagem de referência por um curto período de tempo e (ii) uma memória de longo prazo que mantém uma imagem de referência por um período de tempo maior que o período de tempo curto;
quando existe uma área da memória (109) que mantém uma imagem desnecessária e a qual esta para ser liberada, as primeira e segunda informações de gerenciamento designam a área da memória (109) que mantém uma imagem desnecessária e a qual esta para ser liberada, e quando existe uma imagem de referência a ser movida a partir da memória de curto prazo para a memória de longo prazo, as primeira e segunda informações de gerenciamento designam a imagem de referência a ser movida a partir da memória de curto prazo para a memória de longo prazo.
2. Método de codificação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que, quando todas as imagens de referência armazenadas na memória (109) antes da codificação da imagem
Petição 870170045304, de 29/06/2017, pág. 7/13 atual a ser codificada são desnecessárias, as primeira e segunda informações de gerenciamento de memória indicam liberar todas as áreas da memória (109) em que todas as imagens de referência foram armazenadas antes da codificação da imagem atual a ser codificada.
3. Meio de gravação (ex207, ex421, ex422) no qual um fluxo de dados é gravado, em que o fluxo de dados é codificado com referência a uma imagem de referência selecionada dentre imagens de referência armazenadas em uma memória (109), em que o fluxo de dados inclui:
dados codificados (MB 12a, MB 12b, MB 12c, MB12d) gerados para codificar uma imagem atual a ser codificada com referência à imagem de referência selecionada;
dados de informação de gerenciamento codificados (Frm12Hdr) gerados codificando primeira informação de gerenciamento de memória para gerenciar as imagens de referência armazenadas na memória (109), em que a primeira informação de gerenciamento de memória é ligada à imagem atual; e dados de informação de gerenciamento re-codificados (Frm11 Hdr) gerados codificando a primeira informação de gerenciamento de memória como segunda informação de gerenciamento de memória, em que a segunda informação de gerenciamento de memória é ligada à outra imagem que é diferente da imagem atual;
caracterizado pelo fato de que a memória (109) inclui (i) uma memória de curto prazo que mantém uma imagem de referência por um curto período de tempo e (ii) uma memória de longo prazo que mantém uma imagem de referência por um período de tempo maior que o período de tempo curto;
quando existe uma área da memória (109) que mantém uma imagem desnecessária e a qual esta para ser liberada, as primeira e segunda informações de gerenciamento designam a área da memória (109) que mantém uma imagem desnecessária e a qual esta para ser liberada, e quando existe uma imagem de referência a ser movida a partir da memória de curto prazo para a memória de longo prazo, as primeira e
Petição 870170045304, de 29/06/2017, pág. 8/13 segunda informações de gerenciamento designam a imagem de referência a ser movida a partir da memória de curto prazo para a memória de longo prazo.
4. Meio de gravação (ex207, ex421, ex422), de acordo com a reivindicação 3, caracterizado pelo fato de que o fluxo de dados é codificado em uma base de fatia-a-fatia com referência à imagem de referência selecionada de entre imagens de referência armazenadas na memória (109), e no caso em que uma área da memória (109), que mantém uma imagem de referência é liberada, a informação (CtIStr 1) que designa a imagem de referência armazenada na área é codificada, a informação sendo ligada a pelo menos duas fatias (fatia 1, fatia 2).
5. Aparelho de codificação de imagem (100) que codifica uma imagem com referência a uma imagem de referência selecionada dentre imagens de referência armazenadas em uma memória (109) compreendendo:
uma unidade de codificação de imagem (110, 112) que pode ser operada para codificar uma imagem codificada com referência à imagem de referência selecionada;
uma primeira unidade de codificação de informação de gerenciamento (105) que pode ser operada para codificar a primeira informação de gerenciamento de memória (109) para gerenciar imagens de referência armazenadas na memória, em que a primeira informação de gerenciamento de memória é ligada à imagem atual codificada; e uma segunda unidade de codificação de informação de gerenciamento (105) que pode ser operada para codificar a primeira informação de gerenciamento de memória novamente como uma segunda informação de gerenciamento de memória, em que a segunda informação de gerenciamento de memória é ligada a outra imagem que é diferente da imagem atual;
caracterizado pelo fato de que a memória (109) inclui (i) uma memória de curto prazo que mantém uma imagem de referência por um curto período de tempo e (ii) uma memória de longo prazo que mantém uma
Petição 870170045304, de 29/06/2017, pág. 9/13 imagem de referência por um período de tempo maior que o período de tempo curto;
quando existe uma área da memória (109) que mantém uma imagem desnecessária e a qual esta para ser liberada, as primeira e segun5 da informações de gerenciamento designam a área da memória (109) que mantém uma imagem desnecessária e a qual esta para ser liberada, e quando existe uma imagem de referência a ser movida a partir da memória de curto prazo para a memória de longo prazo, as primeira e segunda informações de gerenciamento designam a imagem de referência a 10 ser movida a partir da memória de curto prazo para a memória de longo prazo.
BRPI0303673-1A 2002-04-12 2003-04-10 Método de codificação de imagem BRPI0303673B1 (pt)

Priority Applications (1)

Application Number Priority Date Filing Date Title
BRPI0318797A BRPI0318797B1 (pt) 2002-04-12 2003-04-10 método e aparelho para codificação de imagem

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2002110424 2002-04-12
JP2002/110424 2002-04-12
US37765602P 2002-05-06 2002-05-06
US60/377,656 2002-05-06
JP2002/190955 2002-06-28
JP2002190955 2002-06-28
JP2003049711A JP4215197B2 (ja) 2002-04-12 2003-02-26 画像符号化方法および画像復号化方法
JP2003/049711 2003-02-26
PCT/JP2003/004538 WO2003088677A1 (en) 2002-04-12 2003-04-10 Image encoding method and image decoding method

Publications (1)

Publication Number Publication Date
BRPI0303673B1 true BRPI0303673B1 (pt) 2019-10-01

Family

ID=29255480

Family Applications (3)

Application Number Title Priority Date Filing Date
BR0303673A BR0303673A (pt) 2002-04-12 2003-04-10 Método de codificação de imagem e método de decodificação de imagem
BRPI0303673-1A BRPI0303673B1 (pt) 2002-04-12 2003-04-10 Método de codificação de imagem
BRPI0318816-7A BRPI0318816B1 (pt) 2002-04-12 2003-04-10 Método e aparelho para codificação de imagem

Family Applications Before (1)

Application Number Title Priority Date Filing Date
BR0303673A BR0303673A (pt) 2002-04-12 2003-04-10 Método de codificação de imagem e método de decodificação de imagem

Family Applications After (1)

Application Number Title Priority Date Filing Date
BRPI0318816-7A BRPI0318816B1 (pt) 2002-04-12 2003-04-10 Método e aparelho para codificação de imagem

Country Status (16)

Country Link
US (3) US7167591B2 (pt)
EP (3) EP2178304B1 (pt)
JP (1) JP4215197B2 (pt)
KR (2) KR100985634B1 (pt)
CN (1) CN100438631C (pt)
AU (1) AU2003236032B2 (pt)
BR (3) BR0303673A (pt)
CA (1) CA2448970C (pt)
DK (1) DK3096515T3 (pt)
ES (1) ES2683241T3 (pt)
HU (1) HUE038680T2 (pt)
MX (1) MXPA03011407A (pt)
MY (1) MY135229A (pt)
PT (1) PT3096515T (pt)
TW (1) TWI262024B (pt)
WO (1) WO2003088677A1 (pt)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612003B1 (ko) * 2000-02-26 2006-08-11 삼성전자주식회사 통신망에서 비트 스트림 송수신 장치 및 그 방법
ES2602575T3 (es) * 2001-11-06 2017-02-21 Panasonic Intellectual Property Corporation Of America Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
BRPI0406424B1 (pt) * 2003-03-03 2018-11-21 Godo Kaisha Ip Bridge 1 método de codificação de imagem e método de decodificação de imagem
CN101686363A (zh) 2004-04-28 2010-03-31 松下电器产业株式会社 流产生装置,流产生方法,编码装置,编码方法,记录介质及其程序
US8195037B2 (en) * 2004-11-12 2012-06-05 Pelco, Inc. Apparatus and method of storing video data
JP2006229457A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号装置およびメモリ管理装置
WO2007069579A1 (ja) * 2005-12-12 2007-06-21 Nec Corporation 動画像復号方法、動画像復号装置、および情報処理装置のプログラム
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
TW201210337A (en) 2010-08-18 2012-03-01 Alpha Imaging Technology Corp High resolution digital image capturing apparatus and reference pixel memory storage space configuration method
ES2800049T3 (es) 2011-08-25 2020-12-23 Sun Patent Trust Procedimientos y aparatos para codificar y decodificar vídeo utilizando una descripción actualizada de memoria intermedia
ES2625097T3 (es) * 2011-09-07 2017-07-18 Sun Patent Trust Método de codificación de imágenes y aparato de codificación de imágenes
WO2013042329A1 (ja) 2011-09-19 2013-03-28 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
EP3742735B1 (en) 2011-10-19 2022-07-06 Sun Patent Trust Image decoding method and image decoding apparatus
JP5727398B2 (ja) 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
US10003813B2 (en) 2015-06-25 2018-06-19 Samsung Electronics Co., Ltd. Method and system for decoding by enabling optimal picture buffer management
KR101717898B1 (ko) 2015-09-11 2017-03-20 홍성무 직불(直火)구이의 석쇠장치
JP6943091B2 (ja) * 2017-09-06 2021-09-29 コニカミノルタ株式会社 画像処理装置、画像処理システム及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2316279A (en) * 1942-03-30 1943-04-13 Raymond H Osbrink Apparatus for manufacturing mold members
US5291592A (en) * 1989-05-15 1994-03-01 Sharp Kabushiki Kaisha System having document scanner for optically scanning information whereby a first information contains control information indicating a number of sheets to be scanned
JP3103151B2 (ja) * 1990-09-03 2000-10-23 富士写真フイルム株式会社 電子スチル・カメラおよびその動作制御方法
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
KR940008389A (ko) * 1992-09-30 1994-04-29 가나이 쯔또무 화상신호처리장치 및 이것을 사용한 정보송수신장치
US5579393A (en) * 1994-06-21 1996-11-26 Escan, Inc. System and method for secure medical and dental record interchange
FR2724243B1 (fr) 1994-09-06 1997-08-14 Sgs Thomson Microelectronics Systeme de traitement multitaches
DE69525424T2 (de) 1994-11-25 2002-10-02 Koninklijke Philips Electronics N.V., Eindhoven Verfahren und Vorrichtung zur Dekodierung von kodierten Videosignalen
US5867660A (en) * 1995-05-11 1999-02-02 Bay Networks, Inc. Method and apparatus for communicating between a network workstation and an internet
US6542925B2 (en) * 1995-05-30 2003-04-01 Roy-G-Biv Corporation Generation and distribution of motion commands over a distributed network
US5905866A (en) * 1996-04-30 1999-05-18 A.I. Soft Corporation Data-update monitoring in communications network
US5907372A (en) * 1996-06-28 1999-05-25 Hitachi, Ltd. Decoding/displaying device for decoding/displaying coded picture data generated by high efficiency coding for interlace scanning picture format
US6298386B1 (en) * 1996-08-14 2001-10-02 Emc Corporation Network file server having a message collector queue for connection and connectionless oriented protocols
JP3733984B2 (ja) * 1997-01-29 2006-01-11 富士ゼロックス株式会社 情報蓄積装置および情報蓄積方法
US6463209B2 (en) * 1997-02-18 2002-10-08 Thomson Licensing Sa Controlled data flow
US5974463A (en) * 1997-06-09 1999-10-26 Compaq Computer Corporation Scaleable network system for remote access of a local network
US6823016B1 (en) * 1998-02-20 2004-11-23 Intel Corporation Method and system for data management in a video decoder
US6519646B1 (en) * 1998-09-01 2003-02-11 Sun Microsystems, Inc. Method and apparatus for encoding content characteristics
US6668374B1 (en) * 1999-07-08 2003-12-23 Axis Ab Method and apparatus for upgrading firmware in an embedded system
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
US6590503B1 (en) * 2000-01-28 2003-07-08 Nintendo Of America Inc. Remote control system
JP2001209573A (ja) * 2000-01-28 2001-08-03 Toshiba Corp メモリアドレス変換装置
JP2001258039A (ja) 2000-03-14 2001-09-21 Victor Co Of Japan Ltd 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法
US6940911B2 (en) 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
US6804299B2 (en) * 2001-06-15 2004-10-12 Microsoft Corporation Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation

Also Published As

Publication number Publication date
EP1381238A1 (en) 2004-01-14
KR20040099094A (ko) 2004-11-26
EP1381238B1 (en) 2016-08-31
JP4215197B2 (ja) 2009-01-28
KR100985634B1 (ko) 2010-10-05
KR20080023763A (ko) 2008-03-14
WO2003088677A1 (en) 2003-10-23
US7221803B2 (en) 2007-05-22
CA2448970C (en) 2013-03-05
EP3096515A1 (en) 2016-11-23
CN1509575A (zh) 2004-06-30
US20040146212A1 (en) 2004-07-29
MXPA03011407A (es) 2004-06-17
US20070041648A1 (en) 2007-02-22
KR100942344B1 (ko) 2010-02-12
CN100438631C (zh) 2008-11-26
EP2178304A3 (en) 2010-09-15
EP2178304B1 (en) 2016-09-07
EP2178304A2 (en) 2010-04-21
DK3096515T3 (en) 2018-08-06
CA2448970A1 (en) 2003-10-23
EP1381238A4 (en) 2006-07-05
EP3096515B1 (en) 2018-06-06
MY135229A (en) 2008-02-29
US20070041646A1 (en) 2007-02-22
TWI262024B (en) 2006-09-11
ES2683241T3 (es) 2018-09-25
BRPI0318816B1 (pt) 2019-10-01
US7218787B2 (en) 2007-05-15
AU2003236032B2 (en) 2008-05-15
US7167591B2 (en) 2007-01-23
PT3096515T (pt) 2018-10-11
BR0303673A (pt) 2004-04-20
JP2004088723A (ja) 2004-03-18
TW200412152A (en) 2004-07-01
HUE038680T2 (hu) 2018-11-28
AU2003236032A1 (en) 2003-10-27

Similar Documents

Publication Publication Date Title
KR100980964B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
BRPI0303673B1 (pt) Método de codificação de imagem
BRPI0216048B1 (pt) método e aparelho de codificação de figuras móveis
BRPI0406424B1 (pt) método de codificação de imagem e método de decodificação de imagem
BRPI0318797B1 (pt) método e aparelho para codificação de imagem
JP5530408B2 (ja) 画像符号化方法、画像符号化装置および記録媒体
KR100962815B1 (ko) 화상 부호화 방법 및 화상 복호화 방법