BRPI0305432B1 - “Método e aparelho de decodificação para decodificar um sinal de imagem codificado preditivamente” - Google Patents

“Método e aparelho de decodificação para decodificar um sinal de imagem codificado preditivamente” Download PDF

Info

Publication number
BRPI0305432B1
BRPI0305432B1 BRPI0305432-2A BRPI0305432A BRPI0305432B1 BR PI0305432 B1 BRPI0305432 B1 BR PI0305432B1 BR PI0305432 A BRPI0305432 A BR PI0305432A BR PI0305432 B1 BRPI0305432 B1 BR PI0305432B1
Authority
BR
Brazil
Prior art keywords
image
decoded
memory
images
stored
Prior art date
Application number
BRPI0305432-2A
Other languages
English (en)
Inventor
Soon Lim Chong
Wee Foo Teck
Mei Shen Sheng
Kadono Shinya
Kondo Satoshi
Hagai Makoto
Abe Kiyofumi
Original Assignee
Panasonic Intellectual Property Corporation Of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corporation Of America filed Critical Panasonic Intellectual Property Corporation Of America
Publication of BRPI0305432B1 publication Critical patent/BRPI0305432B1/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Abstract

"método de codificação de imagem e método de decodificação de imagem". método de codificação de imagens da presente invenção é um método de codificação de imagens de codificação de predição de uma imagem de entrada com referência às imagens armazenadas em um armazenamento temporário de imagens, decodificação da imagem de entrada codificada, julgamento se a imagem decodificada é ou não uma imagem para referência e se a imagem decodificada é ou não uma imagem para saída, que precisa ser armazenada até o momento de sua exibição e armazenamento, no armazenamento temporário de imagens, da imagem para referência e da imagem para saída com base no resultado da determinação.

Description

(54) Título: MÉTODO E APARELHO DE DECODIFICAÇÃO PARA DECODIFICAR UM SINAL DE IMAGEM CODIFICADO PREDITIVAMENTE (51) Int.CI.: H04N 21/44; H04N 19/423 (30) Prioridade Unionista: 11/07/2002 JP 2002-202781, 14/01/2003 JP 2003-006198, 17/07/2002 JP 2002-207681 (73) Titular(es): PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA (72) Inventor(es): CHONG SOON LIM; TECK WEE FOO; SHENG MEI SHEN; SHINYA KADONO; SATOSHI KONDO; MAKOTO HAGAI; KIYOFUMI ABE
Relatório Descritivo da Patente de Invenção para MÉTODO E APARELHO DE DECODIFICAÇÃO PARA DECODIFICAR UM SINAL DE IMAGEM CODIFICADO PREDITIVAMENTE.
Campo Técnico
A presente invenção refere-se a um método de codificação de imagens para comprimir, eficientemente, uma imagem em movimento e um método de decodificação de imagens para decodificar corretamente a imagem codificada e exibi-la.
Fundamentos da Técnica
Recentemente, com a chegada da idade da multimídia, que lida integralmente com áudio, vídeo e valores de pixel de outros meios de informação existentes, isto é, jornais, revistas,TVs, rádios e telefones e outros meios através dos quais a informação é levada para as pessoas, tem chegado sob o escopo da multimídia. Geralmente falando, multimídia refere-se a alguma coisa que é representada pela associação não só com caracteres, mas também com gráficos, áudio e especialmente imagens e semelhantes em conjunto. Contudo, a fim de incluir os meios de informação existentes antes mencionados no escopo da multimídia, aparece como um pré-requisito para representar essa informação na forma digital.
Contudo, quando do cálculo da quantidade de informação contida em cada um dos meios de informação antes mencionados como a quantidade de informação digital, a quantidade de informação por caracter requer 1 ~ 2 bytes, enquanto o áudio requer mais de 64 Kbits (qualidade de telefone) por segundo, Portanto, não é realístico manipular a vasta informação diretamente no formato digital através dos meios de informação mencionados acima. Por exemplo, um videofone já foi colocado em uso prático através da IDSN (Integrated Services Digital Network) Rede Digital de Serviços Integrados com uma taxa de transmissão de 64 Kbit/s ~ 1,5 Mbit/s, porém, não é prático transmitir vídeo capturado na tela da TV ou filmado por uma câmera de TV. Isso, portanto, requer técnicas de compressão de informação e, por exemplo, no caso do videofone, técnicas de compressão de vídeo, de acordo com as normas H.261 e H.236, padronizadas internacionalmente
Petição 870170055927, de 04/08/2017, pág. 6/42 <?5
Figure BRPI0305432B1_D0001
pela ITU-T (International Telecommunication - Telecommunication Standardization Sector) União Internacional de Telecomunicações - Setor de Padronização de Telecomunicações), são empregadas. De acordo com as técnicas de compressão de informação em conformidade com o padrão MPEG-1, a informação de imagem, bem como informação de música, pode ser armazenada em um CD (Compact Disc) de música comum.
Aqui, MPEG (Moving Picture Experts Group) é um padrão internacional para compressão de sinais de imagem em movimento e MPEG-1 é um padrão que comprime sinais de vídeo para baixo, para 1,5 Mbit/s, isto é, comprimir informação de sinais de TV aproximadamente para baixo até um centésimo. A taxa de transmissão dentro do escopo do padrão de MPEG-1 está limitada principalmente a cerca de 1,5 Mbit/s, portanto, MPEG-2, que foi padronizado com vistas a satisfazer as exigências de imagem de alta qualidade, permite a transmissão de dados de sinais de imagem em movimento em uma taxa de 2 ~ 15 Mbit/s. Nas presentes circunstâncias, um grupo de trabalho (ISO/IEC JTC1/SC29/WG11) encarregado da padronização do MPEG-1 e do MPEG-2 obteve uma taxa de compressão que vai além da que o MPEG-1 e o MPEG-1 obtiveram, realizou operações de codificação/ decodificação em uma base por objeto e MPEG-4 padronizado, a fim de desem20 penhar uma nova função requerida pela era da multimídia. No processo da padronização do MPEG-4, a padronização de método de codificação para uma baixa taxa de bits foi objetivada, porém, o objetivo, presentemente, é estendido a uma codificação mais versátil de imagens em movimento em uma alta taxa de bits, incluindo imagens entrelaçadas.
Recentemente, uma nova codificação de imagem como uma codificação de geração seguinte do MPEG-4 chamada JVC está sob processo de padronização conjuntamente trabalhado pela ITU-T e o ISO/IEC.
A figura 24 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição de imagens.
Imagem é um termo indicando um quadro ou um campo e o termo imagem aqui é usado em lugar de quadro ou campo do presente relatório descritivo. As imagens hachuradas na figura 24 apresentam as imagens a se3
Figure BRPI0305432B1_D0002
lZ) rem armazenadas na memória para referência, quando outras imagens forem codificadas/ decodificadas.
é uma imagem intracodificada e P3, P6 e P9 são imagens codificadas de predição (imagem-P). A codificação de predição no esquema do padrão de JVT difere daquela do MPEG-1/2/4 convencional. Uma imagem arbitrária é selecionada de uma pluralidade de imagens codificadas como uma imagem de referência e uma imagem de predição pode ser gerada da imagem de referência. Por exemplo, uma imagem P9 pode selecionar uma imagem arbitrária de três imagens de ΙΟ, P3 e P6 e gerar uma imagem de predição usando a imagem selecionada. Conseqüentemente, cresce a possibilidade de selecionar a imagem de predição mais aplicável do que o caso convencional de aplicação de MPEG-1/2/4 e, assim, aperfeiçoa-se uma taxa de compressão. B1, B2, B4, B5, B7 e B8 são imagens codificadas de predição bidirecional (imagem-B), diferindo da predição interimagens, em que uma pluralidade de imagens (duas imagens) são selecionadas e uma imagem de predição é gerada usando as imagens selecionadas e, a seguir, codificada. É especialmente conhecido que a precisão da imagem de predição pode ser aperfeiçoada grandemente e, assim, pode ser a taxa de compressão, através da realização de predição de interpolação, usando um valor médio de duas imagens temporariamente prévias e subseqüentes para gerar uma imagem de predição. As marcas de I para uma imagem intracodificada, P para uma imagem codificada de predição e B para uma imagem codificada de predição bidirecionalmente são usadas a fim de diferenciar o método de codificação de cada imagem.
A fim de fazer referência às imagens temporariamente prévias e subseqüentes para as imagens-B, as imagens temporariamente prévias serão codificadas/ decodificadas a princípio. Isso é chamado reordenação de imagens e, freqüentemente, ocorre no MPEG-1/2/4 convencional. Portanto, em contraste com uma ordem de codificação (Ordem de Fluxo), uma ordem de exposição das imagens que são decodificadas (Ordem de Exposição) é reordenada, conforme mostrado na figura 24, mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição de ima4
Figure BRPI0305432B1_D0003
ll gens. As imagens-B no exemplo da figura 24 são mostradas no momento em que o fluxo é decodificado, portanto, não há necessidade de armazenálas, quando elas não são referidas por outras imagens. Contudo, as imagens-l e as imagens-P têm que ser armazenadas em uma memória, uma vez que elas são mostradas após serem decodificadas, quando a decodificação da imagem-B seguinte é encerrada.
Os termos e os significados das imagens hachuradas no diagrama mostrando a estrutura de predição, a ordem de decodificação e a ordem de exposição das imagens são as mesmas que aquelas usadas na figu10 ra 24.
A figura 26 é um diagrama em blocos mostrando um aparelho de codificação de imagens para realizar um método convencional de codificação de imagens. O seguinte ilustra uma operação do aparelho de codificação de imagens para realizar o método convencional de codificação de ima15 gens na figura 26.
Uma unidade de determinação de estrutura de imagem PicStruct determina um tipo de codificação (imagem-l, imagem-P e imagem-B) para cada imagem, notifica uma unidade de controle de imagem de referência RefPicCtrl do tipo de codificação e as imagens que podem ser referidas na codificação e informa também uma unidade de reordenação ReOrder da ordem de codificação das imagens. A unidade de reordenação ReOrder reordena a ordem de uma imagem de entrada Picln em uma ordem de codificação e sai as imagens reordenadas para uma unidade de estimativa de movimento ME e uma unidade de subtração Sub. A unidade de estimativa de movimento ME refere-se às imagens de referência armazenadas em uma memória de imagem PicMeml, determina uma imagem de referência aplicável e detecta um vetor de movimento indicando uma posição de pixel da imagem de referência e envia as mesmas para uma unidade de codificação de comprimento variável VLC, a memória de imagem PicMeml e uma uni30 dade de compensação de movimento MC. A memória de imagem PicMeml sai os pixels da imagem de referência de acordo com o vetor de movimento
MV para a unidade de compensação de movimento MC enquanto a unidade ·· ···· de compensação de movimento MC gera uma imagem de predição usando os pixels na imagem de referência obtida da memória de imagem PicMeml e o vetor de movimento MV.
A unidade de subtração Sub calcula uma diferença entre a ima5 gem reordenada pela unidade de reordenação ReOrder e a imagem de predição. A diferença é convertida em coeficientes de freqüência por uma unidade de transformação ortogonal T e, a seguir, os coeficientes de freqüência são quantificados pela unidade de quantificação Q e saem como valores quantificados Coef.
Uma unidade de quantificação inversa IQ faz a quantificação inversa dos valores quantificados Coef e os restaura como coeficientes de freqüência. A unidade de transformação ortogonal inversa IT realiza a conversão de freqüência inversa para os coeficientes de freqüência saírem como valores diferenciais de pixel. Uma unidade de adição Add adiciona a imagem de predição aos valores diferenciais de pixel e obtém uma imagem decodificada.
A unidade de controle de imagem de referência RefPicCtrl, de acordo com o tipo de codificação da imagem, julga se a imagem decodificada deve ser armazenada ou não na memória de imagem PicMeml para ser referida como uma imagem de referência e se a imagem decodificada deve ser ou não removida da memória de imagem PicMeml (não mais referida como a imagem de referência) e notifica da operação usando um comando de controle de memória MMCO.
Uma chave SW é LIGADA quando o comando de controle de memória MMCO ordenou um armazenamento e, assim, a imagem decodificada é armazenada na memória de imagem PicMeml como uma imagem de referência. A memória de imagem PicMeml libera a área onde a imagem decodificada é armazenada de modo que outras imagens decodificadas podem ser armazenadas, quando a memória de imagem PicMeml instrui que a imagem decodificada serã removida da memória de imagem PicMeml.
A unidade de codificação de comprimento variável VLC codifica os valores quantificados Coef, o vetor de movimento MV e o comando de controle de memória MMCO e sai um fluxo codificado Str.
O caso em que a codificação inclui a conversão de freqüência e a quantificação é mostrado, porém, a codificação pode ser uma sem elas, tais como DPCM, ADPCM e codificação de predição linear. A codificação pode ser uma em que a conversão de freqüência e a quantificação são integradas ou uma que não é acompanhada pela quantificação após a conversão de freqüência como em uma codificação de plano de bits.
A figura 27 mostra fluxos de bits do comando de controle de memória MMCO. A unidade de codificação de comprimento variável VLC codifica 000, o que significa uma liberação de uma área de memória total de modo que a memória de imagem é inicializada no começo da codificação/ decodificação na cabeça do GOP (Grupo de Imagens). Também, a unidade de codificação de comprimento variável VLC codifica 01, quando a imagem decodificada é armazenada na memória de imagem. Quando uma imagem armazenada na memória de imagem é liberada ao mesmo tempo, a unidade de codificação de comprimento variável VLC codifica um número de imagem seguindo o 001 uma vez que o número de imagem a ser liberada tem que ser indicado. Quando uma pluralidade de imagens são liberadas, o comando para liberar uma imagem precisa ser codificado por um número múltiplo de vezes, portanto, um comando para armazenar uma imagem é codificado em adição ao comando para liberar uma imagem. A unidade de codificação de comprimento variável VLC codifica seqüencialmente uma pluralidade de comandos de controle de memória MMCO e codifica finalmente 1, indicando que o comando de controle de memória MMCO está completo. Dessa ma25 neira, o comando de controle de memória MMCO é codificado como um fluxo codificado Str.
A figura 28 é um diagrama em blocos mostrando um aparelho de decodificação de imagens para realizar um método de decodificação de imagens convencional. Os mesmos números são colocados para os disposi30 tivos que operam da mesma maneira que o aparelho de codificação de imagens para realizar o método de codificação de imagens convencional mostrado na figura 26.
Uma unidade de decodificação de comprimento variável VLD decodifica uma fluxo codificado Str e sai um comando de controle de memória MMCO, um vetor de movimento MV e valores quantificados Coef. Um tempo de imagem Time é introduzido de fora e é um sinal para especificar uma imagem a ser exibida. Quando uma imagem a ser exibida é uma imagem decodificada, uma saída da unidade de adição Add é selecionada em um seletor Sei e enviado para uma unidade de exposição Disp. Quando uma imagem a ser exibida é uma imagem armazenada na memória de imagem PicMeml, ela é lida da memória de imagem PicMeml, selecionada no sele10 tor Sei e saída para uma unidade de exposição Disp.
Como descrito acima, a memória de imagem PicMeml sai, para a unidade de compensação de movimento MC, pixels de acordo com o vetor de movimento MV, enquanto a unidade de compensação de movimento MC gera uma imagem de predição de acordo com os pixels obtidos da memória de imagem PicMeml junto com o vetor de movimento MV.
A unidade de quantificação inversa IQ quantifica inversamente os valores quantificados Coef e os restaura como coeficientes de freqüência. Além disso, a transformação ortogonal inversa IT realiza a conversão de freqüência inversa para os coeficientes de freqüência que saem como valores de pixels diferentes. A unidade de adição Add adiciona a imagem de predição aos valores diferenciais de pixels para gerar uma imagem decodificada.
A memória de imagem PicMeml libera a área em que a imagem decodificada é armazenada de modo que outra imagem decodificada pode ser armazenada.
O exemplo da decodificação, incluindo a conversão de freqüência inversa e a quantificação inversa é descrita acima, contudo, a decodificação pode ser sem elas, tais como DPCM, ADPCM e uma codificação de predição linear. A decodificação pode ser aquela em que a conversão de freqüência inversa e a quantificação inversa são integradas ou aquela que não é acompanhada pela quantificação inversa após a conversão de freqüência como em uma codificação de planos de bits.
Com o uso do aparelho de decodificação de imagens para reali8 • · · · ·· · · • · ··· ···
Ιό zar ο método de decodificação de imagens convencional mostrado na figura 28, é óbvio que a combinação dos tipos de codificação de imagem convencionais mostrados nas figuras 24 e 25 permite uma decodificação correta do fluxo codificado Str codificado pelo aparelho de codificação de imagens para realizar o método de codificação de imagens convencional, mostrado na figura 26.
A combinação mais flexível é considerada aqui como um tipo de codificação de imagem.
A figura 1 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição das imagens, que não existem na técnica relacionada. A estrutura de predição com relação à imagem-B difere nas proximidades da Imagem 4 na figura 1. A saber, a Imagem 2 que é uma imagem-B é armazenada na memória de imagem para ser referida como uma imagem de predição da Imagem 1 e da Imagem 3. Con15 seqüentemente, a ordem de codificação e a ordem de exposição de cada imagem são como mostrado na figura 1.
As imagens B5 e B6 são imagens-B que não são armazenadas uma vez que elas não são referidas em uma codificação de predição. Contudo, diferindo da figura 24, o tempo de exposição para as imagens B5 e B6 ainda não chegou no momento em que elas são decodificadas uma vez que é o momento para outra imagem ser visualizada. Isto é, no momento de decodificação da imagem B6, a imagem B5 será exposta. Uma vez que as imagens B5 e B6 não são armazenadas, elas não podem ser tomadas da memória de imagem PicMeml no momento da exibição. Portanto,as ima25 gens que não são referidas para codificação de predição não são armazenadas na memória de imagem , portanto, as imagens B5 e B6 não podem ser exibidas após serem decodificadas com o uso do método de codificação/ decodificação convencional. A saber, no caso de não armazenamento das imagens que não são referidas na codificação de predição como no exemplo mostrado na figura 24, apenas as Imagens 1,2, 4 e 7 podem ser exibidas.
Desse modo, considerando a combinação mais flexível como um tipo de codificação de imagem é um problema que as imagens que não po9
Figure BRPI0305432B1_D0004
dem ser exibidas após serem decodificadas ocorrem. É concebível adicionar outra memória de imagem para exibir e armazenar as imagens que não são armazenadas na memória de imagem PicMeml nesta memória de imagem para visualização, de modo que elas podem ser exibidas; contudo, o ponto fraco é que essa memória de imagem requer uma memória enorme, neste caso.
Além disso, surge um novo problema na reprodução de uma imagem no meio do fluxo, mesmo se outra memória de imagem para exposição for introduzida. A figura 2 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição de imagens. A diferença, comparando com a figura 25 é que a estrutura de predição nas proximidades da Imagem 7 se torna completamente independente. As imagens que seguem uma imagem I7 não são referidas quando as imagens com o tempo de exposição precedendo a imagem I7 são codificadas/ decodificadas. Portanto, as imagens que seguem a imagem I7 podem ser codificadas corretamente, se a decodificação começa a partir da imagem I7 e a imagem I7 pode ser reproduzida, independentemente. Dessa maneira, a inserção da imagem I durante operação de arraste ocorre, freqüentemente. Esse sistema para reproduzir uma imagem no meio do fluxo, o que, de acor20 do com MPEG-2, é chamado GOP (Group of Picture).
A correspondência de uma imagem reproduzida do aparelho de decodificação de imagens e a do aparelho de codificação de imagens no caso de reprodução da imagem no meio do fluxo tem que ser assegurada e o método fácil é inicializar toda a área da memória de imagem. Contudo, a
Imagem 6 ainda não é visualizada e armazenada na memória de imagem quando a Imagem 7 é decodificada, a Imagem 6, portanto, não pode ser visualizada da memória de imagem em seu tempo de exibição, se toda a memória de imagem for inicializada antes que a exposição da Imagem 6 ocorra.
O objetivo da presente invenção, portanto, é permitir a exposição das imagens que não podem ser visualizadas após serem decodificadas, tomando a quantidade de memória necessária para codificação/ decodificação da imagem em consideração.
•··· · · ··· ·· ·· ·· ·· · ·· ····
4Ύ
Exposição da Invenção
A fim de alcançar os objetivos acima, um método de codificação de imagens da presente invenção de codificação preditivamente de uma imagem de entrada com referência às imagens armazenadas em um arma5 zenamento temporário (buffer) de imagem e decodificação da imagem de entrada codificada, o método de codificação de imagens compreendendo: julgamento se a imagem decodificada é ou não para referência e se a imagem decodificada é ou não para saída, precisando ser armazenada até o momento de exposição da imagem decodificada; e armazenamento da ima10 gem decodificada no armazenamento temporário de imagens como um dos seguintes usos: para referência e para saída, com base em cada resultado dos julgamentos.
Aqui, o método de codificação de imagens pode compreender as seguintes etapas: uma primeira etapa de julgamento para julgar se a ima15 gem decodificada é ou não para referência; uma segunda etapa de julgamento para julgar se a imagem decodificada é ou não para saída, necessitando ser armazenada até o momento de exposição da imagem decodificada; e uma etapa de gerenciamento para gerenciamento do armazenamento temporário de imagens, de modo que o armazenamento temporário de ima20 gens armazena a imagem decodificada julgada ser para referência na primeira etapa de julgamento e a imagem decodificada julgada ser para saída na segunda etapa de julgamento.
Com essa estrutura, o julgamento sobre se a imagem é uma imagem para saída em adição ao julgamento sobre se a imagem decodifica25 da é uma imagem para referência que permite um armazenamento não só de uma imagem para referência, mas também de uma imagem que não é referida na codificação de predição, mas não pode ser mostrada ou saída como uma imagem para saída no momento da decodificação. Esse julgamento e gerenciamento de armazenamento temporário ocorrem na codifica30 ção de imagem para simular uma operação de decodificação, portanto, uma imagem para saída pode, seguramente, ser mostrada ou saída em seu momento de exibição pelo aparelho de decodificação.
·· ··· *· ···· ·· ·«··· ···· ·· • · · · · · · · · · · · • · · · · · ···· · · · · •· ♦ · · ·· · ····· · · • · · · · · ·· · ·· ·· ··· »· ·· ·· ·· · ·· ····
Aqui, o armazenamento temporário de imagens pode ter um tamanho especificado e o método de codificação de imagens pode ainda compreender: uma terceira etapa de julgamento para julgar se a imagem para referência armazenada no armazenamento temporário de imagens é ou não é mais usada como uma imagem de referência; e uma quarta etapa de julgamento para julgar se a imagem para saída armazenada no armazenamento temporário de imagens já saiu ou não. Na etapa de gerenciamento, uma área armazenando uma imagem no armazenamento temporário de imagens é reutilizada dentro de um escopo do tamanho especificado, com base em cada resultado dos julgamentos nas terceira e quarta etapas de julgamento.
Com essa estrutura, uma área armazenando uma imagem é reutilizada no escopo do tamanho especificado do armazenamento temporário de imagens para armazenamento da imagem para referência e a imagem para saída na etapa de gerenciamento, portanto, o armazenamento temporário de imagens pode ser adaptado para o tamanho especificado, portanto, o armazenamento temporário de imagens pode ser adaptado para o tamanho especificado de exigências essenciais, sem desperdício de memória.
Além disso, o método de codificação de imagens pode incluir uma etapa de codificação, para cada seqüência, informação indicando o tamanho especificado para codificação, para cada seqüência, informação indicando o tamanho especificado para codificação da referida seqüência incluindo uma pluralidade de imagens codificadas.
Com essa estrutura, uma estrutura de imagem a ser usada para codificação de predição pode ser definida flexivelmente para cada seqüência uma vez que o tamanho é especificado para cada seqüência.
Também, na etapa de gerenciamento, uma da imagem decodificada julgada ser para referência na primeira etapa de julgamento e a imagem decodificada julgada ser para saída na segunda etapa de julgamento pode ser armazenada em uma área armazenando uma imagem que não é para referência e é julgada como saída na quarta etapa de julgamento, quando o armazenamento temporário de imagens não tem uma área capaz
Figure BRPI0305432B1_D0005
de armazenar recentemente uma imagem.
Com a estrutura descrita acima, uma nova imagem é armazenada em uma área armazenando a imagem saída fora de áreas alocadas para uma imagem para saída no armazenamento temporário de imagens. A sa5 ber, a área que armazena a imagem saída é reutilizada de modo que a exposição da imagem decodificada que ainda não é saída pode ser mais assegurada.
Além disso, na etapa de gerenciamento, uma da imagem decodificada julgada ser para referência na primeira etapa de julgamento e da imagem julgada ser para saída na segunda etapa de julgamento pode ser armazenada em uma área armazenando uma imagem cuja ordem de exposição é a primeira das imagens que não são para referência e armazenadas dentro do armazenamento temporário de imagens, quando o armazenamento temporário de imagens não tem uma área capaz de armazenar re15 centemente uma imagem.
Com a estrutura descrita acima, há uma grande possibilidade de que uma imagem decodificada já saída é armazenada em uma área que armazena uma imagem cuja ordem de exposição é a primeira das imagens para saída, portanto, a exposição da imagem decodificada que ainda não é saída pode ser mais garantida embora a estrutura não permita uma determinação correta no momento de exposição de respectivas imagens decodificadas.
O método de codificação de imagens pode ainda compreender uma etapa de liberação de uma outra área que não uma área armazenando uma imagem que é armazenada antes de um tamanho da imagem de entrada ser modificado e não é parcial ou totalmente danificada após ser armazenada fora de áreas que armazenam imagens de exposição, quando a modificação do tamanho ocorre em uma seqüência incluindo uma pluralidade de imagens codificadas.
Com a estrutura descrita acima, as imagens que ainda não saem no momento de modificação de tamanho podem sair tanto quanto possível sem serem removidas, uma vez que as imagens decodificadas para saída
Figure BRPI0305432B1_D0006
podem ser deixadas no armazenamento temporário de imagens decodificadas, quando a modificação de tamanho ocorre.
Desse modo, de acordo com a presente invenção, as imagens que não podem ser exibidas corretamente na técnica relacionada podem ser exibidas fazendo-se uso máxima da área de memória liberada, sem ter memória desnecessária, portanto, seu valor prático é alto.
Um método de decodificação de imagens, um aparelho de codificação de imagens, um aparelho de decodificação de imagens e um programa de acordo com a presente invenção têm a mesma estrutura, opera10 ção e efeitos como descritos acima.
O método de codificação de imagens ou o método de decodificação de imagens podem ser qualquer uma das composições descritas em (1) a (16) abaixo.
(1) Método de codificação de imagens de codificação de predi15 ção de um sinal de imagem com referência a uma imagem decodificada armazenada em uma memória após ser decodificada, o método de codificação de imagens compreendendo as seguintes etapas: geração de uma imagem de predição com referência à imagem decodificada na memória e codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada entre a imagem de predição e o sinal de imagem, adição da imagem de predição à diferença decodificada para obter uma imagem decodificada e armazenamento de uma imagem decodificada predeterminada na memória; e contenção na informação de instrução de fluxo codificado indicando se liberar ou não uma área total da memória para tornar a área reutilizável.
(2) Um método de codificação de imagens de codificação preditivamente de um sinal de imagem com referência a uma imagem decodificada em uma memória, o método de codificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada na memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada entre a imagem de predição e o sinal de imagem; adição da ima14 gem de predição à diferença decodificada para obter uma imagem decodificada; e armazenamento da imagem decodificada na memória, quando a imagem decodificada é uma de (i) uma imagem usada para referência a fim de gerar uma imagem de predição e (ii) uma imagem que não é visualizável imediatamente.
(3) Um método de codificação de imagens de codificação preditivamente de um sinal de imagem com referência a uma imagem decodificada, o método de codificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada em uma memó10 ria; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada entre a imagem de predição e o sinal de imagem, adição da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área que armazena uma imagem já exibida na área liberada dentro da memória.
(4) Um método de decodificação de imagens de decodificação preditivamente de um fluxo codificado com referência a uma imagem deco20 dificada armazenada em uma memória após ser decodificada, o método de decodificação de imagens compreendendo as seguintes etapas de: geração de uma imagem de predição com referência à imagem decodificada na memória, adição da imagem de predição a um sinal de imagem obtido pela decodificação do fluxo codificado para obter uma imagem decodificada e arma25 zenamento de uma imagem decodificada predeterminada na memória; e uma etapa de processamento de realização de processamento com base em informação de instrução, indicando se liberar ou não uma área total da memória obtida pela decodificação do fluxo codificado para tornar a área reutilizável.
(5) Um método de decodificação de imagens de decodificação preditivamente de um fluxo codificado com referência a uma imagem decodificada, o método de decodificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada em uma memória; decodificação do fluxo codificado; adição da imagem de predição ao fluxo codificado decodificado para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área em que uma imagem já visualizada foi armazenada na área liberada dentro da memória.
(6) Um método de codificação de imagens de codificação preditivamente de um sinal de imagem com referência a uma imagem decodifica10 da, o método de codificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada entre a imagem de predição e o sinal de imagem, adição da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área em que uma imagem exibida no momento mais cedo foi armazenada na área liberada dentro da memória.
(7) Um método de decodificação de imagens de decodificação preditivamente de um fluxo codificado com referência a uma imagem decodificada, o método de decodificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada em uma memória; decodificação do fluxo codificado; adição da imagem de predição à imagem decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área em que uma imagem exibida no momento inicial mais cedo foi armazenada em uma área liberada dentro da memória.
(8) Um método de codificação de imagens de codificação de ·· • ·· ·· ·· predição de um sinal de imagem com referência a uma imagem decodificada, o método de codificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada entre a imagem de predição e o sinal de imagem, adição da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área que é capaz de armazenar uma imagem e é liberada, primeiramente, na memória.
(9) Um método de decodificação de imagens para decodificação preditivamente de um fluxo codificado com referência a uma imagem decodificada, o método de decodificação de imagens compreendendo: geração de uma imagem de predição com referência à imagem decodificada na memória; decodificação do fluxo codificado; adição da imagem de predição ao fluxo codificado decodificado a fim de obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área que é capaz de armazenar uma imagem e é liberada, primeiramente, na memória.
(10) Um aparelho de codificação de imagens para codificação de predição de um sinal de imagem com referência a uma imagem decodificada, o aparelho de codificação de imagens compreendendo: uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de codificação operável para codificar uma diferença entre a imagem de predição predita pela unidade de predição e o sinal de imagem, a fim de obter um fluxo codificado; uma unidade de decodificação operável para decodificar a diferença codifi30 cada; uma unidade de adição operável para adicionar a imagem de predição à diferença decodificada pela unidade de decodificação; uma unidade de controle de imagem de referência operável para determinar para armazena17
Figure BRPI0305432B1_D0007
mento uma de (i) uma imagem usada para referência a fim de gerar uma imagem de predição e (ii) uma imagem que não é exibível imediatamente; e uma unidade de memória operável para armazenar o resultado da adição obtido da unidade de adição com base na determinação feita pela unidade de controle de imagem de referência.
(11) Um aparelho de codificação de imagens para codificação de predição de um sinal de imagem com referência a uma imagem decodificada, o aparelho de codificação de imagens compreendendo: uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de codificação operável para codificar uma diferença entre a imagem de predição predita pela unidade de predição e o sinal de imagem para obter um fluxo codificado; uma unidade de decodificação operável para decodificar a diferença codificada; uma unidade de adição operável para adicionar a imagem de predição à diferença decodificada pela unidade de decodificação; uma unidade de controle de imagem de referência operável para determinar se armazenar ou não um resultado da adição obtido da unidade de adição e se liberar ou não uma imagem desnecessária na memória; e uma unidade de memória operável para armazenar o resultado da adição obtido da unidade de adição em uma área em que uma imagem que já saiu como uma imagem decodificada foi armazenada na área liberada dentro da memória com base na determinação feita pela unidade de controle de imagem de referência.
(12) Um aparelho de decodificação de imagens para decodificação preditivamente de um fluxo codificado com referência a uma imagem decodificada, o aparelho de decodificação de imagens compreendendo: uma unidade de decodificação operável para decodificar o fluxo codificado; uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de adição operável para adicionar a imagem de predição à diferença entre a imagem de predição e o sinal de imagem decodificado pela unidade de decodificação; uma unidade de controle de imagem de referência operável para determinar se armazenar ou não o resultado da adição obtido da unidade de adição na memória e se liberar ou não uma imagem desnecessária na memória; e uma unidade de memória operável para armazenar um resultado de adição obtido da unidade de adição em uma área em que uma imagem que já saiu como uma imagem decodificada foi armazenada na área liberada na memória com base na determinação feita pela unidade de controle de imagem de referência.
(13) Um aparelho de codificação de imagens para codificação de predição de um sinal de imagem com referência a uma imagem decodificada, o aparelho de codificação de imagens compreendendo: uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de codificação operável para codificar uma diferença entre a imagem de predição predita pela unidade de predição e o sinal de imagem para obter um fluxo codificado, uma unidade de decodificação operável para decodificar a diferença codifi15 cada; uma unidade de adição operável para adicionar a imagem de predição à diferença decodificada pela unidade de decodificação; uma unidade de controle de imagem de referência operável para determinar se armazenar ou não o resultado da adição obtido da unidade de adição na memória e se liberar ou não uma imagem desnecessária na memória; e uma unidade de me20 mória operável para armazenar o resultado da adição obtido da unidade de adição em uma área em que uma imagem exibida em um instante mais cedo foi armazenada na área liberada dentro da memória com base na determinação feita pela unidade de controle de imagem de referência.
(14) Um aparelho de decodificação de imagens para decodifica25 ção preditivamente de um fluxo codificado com referência a uma imagem decodificada, o aparelho de decodificação de imagens compreendendo: uma unidade de decodificação operável para decodificar o fluxo codificado; uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de adição operável para adicionar a imagem de predição à diferença entre a imagem de predição e o sinal de imagem decodificado pela unidade de decodificação; uma unidade de controle de imagem de referência operável para de• · ··· ·· ·· ·· ·· · ·· ····
Λ terminar se armazenar ou não, na memória, o resultado da adição obtido da unidade de adição se liberar ou não uma imagem desnecessária na memória; e uma unidade de memória operável para armazenar o resultado da adição obtido da unidade de adição em uma área em que uma imagem exibida em um instante mais cedo foi armazenada na área liberada dentro da memória com base na determinação feita pela unidade de controle de imagem de referência.
(15) Um aparelho de codificação de imagens para codificação de predição de um sinal de imagem com referência a uma imagem decodifica10 da, o aparelho de decodificação de imagens compreendendo: uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de codificação operável para codificar uma diferença entre a imagem de predição predita pela unidade de predição e o sinal de imagem para obter um fluxo codificado;
uma unidade de decodificação operável para decodificar a diferença codificada entre a imagem de predição e o sinal de imagem decodificado pela unidade de decodificação; uma unidade de adição operável para adicionar a imagem de predição à diferença decodificada pela unidade de decodificação; uma unidade de controle de imagem de referência operável para determinar se armazenar ou não o resultado da adição obtido da unidade de adição na memória e se liberar ou não uma imagem desnecessária na memória; e uma unidade de memória operável para armazenar o resultado da adição obtido da unidade de adição em uma área que é liberada em um instante mais cedo da área liberada total dentro da memória com base na determinação feita pela unidade de controle de imagem de referência.
(16) Um aparelho de decodificação de imagens para decodificação preditivamente de um fluxo codificado com referência a uma imagem decodificada, o aparelho de decodificação de imagens compreendendo: uma unidade de decodificação operável para decodificar um fluxo codificado; uma unidade de predição operável para gerar uma imagem de predição com referência à imagem decodificada em uma memória; uma unidade de adição operável para adicionar a imagem de predição à diferença entre a imagem ··· ·· ·· ·· ·· · ·· ···· de predição e o sinal de imagem decodificado pela unidade de decodificação; uma unidade de controle de imagem de referência operável para determinar se armazenar ou não, na memória, o resultado da adição obtido da unidade de adição e se liberar ou não uma imagem desnecessária na me5 mória; e uma unidade de memória operável para armazenar o resultado da adição obtido da unidade de adição em uma área que é liberada em um instante mais cedo da área liberada total dentro da memória com base na determinação feita pela unidade de controle de imagem de referência.
Um meio de armazenamento para armazenamento de um pro10 grama em que o método de codificação/ decodificação de imagens da presente invenção é executado por um computador pode ser qualquer um de (17) a (23) abaixo.
(17) Um meio de armazenamento empregando um método de codificação de imagens em que um computador é feito codificar, preditiva15 mente, um sinal de imagem com referência a uma imagem decodificada, o meio de armazenamento compreendendo: geração de uma imagem de predição com referência a uma imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada entre a imagem de predição e o sinal de imagem e adição da imagem de predição à diferença decodificada e, então, saindo o resultado da adição como uma imagem decodificada, armazenamento da imagem decodificada na memória quando a imagem decodificada é uma de (i) uma imagem usada para referência a fim de gerar uma imagem de predição e (ii) uma imagem que não é exibível imediata mente.
(18) Um meio de armazenamento empregando um método de codificação de imagens em que um computador é feito codificar, preditivamente, um sinal de imagem com referência a uma imagem decodificada, o meio de armazenamento compreendendo: geração de uma imagem de pre30 dição com referência a uma imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada; adição ·» i»·» n i >·,(·» ι·> o <
o σ nr
Ο ι. » η Λ r» <
Mt>
da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área em que uma imagem já exibida foi armazenada na área liberada dentro da memória.
(19) Um meio de armazenamento empregando um método de decodificação de imagens em que um computador é feito decodificar, preditivamente, um fluxo codificado com referência a uma imagem decodificada, o meio de armazenamento compreendendo: geração de uma imagem de pre10 dição com referência à imagem decodificada em uma memória; decodificação do fluxo codificado; adição da imagem de predição ao fluxo codificado decodificado para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeter15 minada é armazenada em uma área em que uma imagem já exibida foi armazenada na área liberada dentro da memória.
(20) Um meio de armazenamento empregando um método de codificação de imagens em que um computador é feito codificar, preditivamente, um sinal de imagem com referência a uma imagem decodificada, o meio de armazenamento compreendendo: geração de uma imagem de predição com referência a uma imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada; adição da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área em que uma imagem exibida em um instante mais cedo foi armazenada na área liberada dentro da memória.
(21) Um meio de armazenamento empregando um método de decodificação de imagens em que um computador é feito decodificar, preditivamente, um fluxo codificado com referência a uma imagem decodificada, o • · · · · · ····· · ·· · · · ·· · ····· *
Figure BRPI0305432B1_D0008
meio de armazenamento compreendendo: geração de uma imagem de predição com referência à imagem decodificada; decodificação do fluxo codificado; adição da imagem de predição ao fluxo codificado decodificado para obter uma imagem decodificada; armazenamento de uma imagem decodifi5 cada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada é armazenada em uma área em que uma imagem exibida em um instante mais cedo foi armazenada na área liberada dentro da memória.
(22) Um meio de armazenamento empregando um método de codificação de imagens em que um computador é feito codificar, preditivamente, um sinal de imagem com referência a uma imagem decodificada, o meio de armazenamento compreendendo: geração de uma imagem de predição com referência a uma imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada; adição da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área que é capaz de armazenar uma imagem e é liberada primeiramente da área total liberada na memória.
(23) Um meio de armazenamento empregando um método de codificação de imagens em que um computador é feito codificar, preditivamente, um sinal de imagem com referência a uma imagem decodificada, o meio de armazenamento compreendendo: geração de uma imagem de predição com referência à uma imagem decodificada em uma memória; codificação de uma diferença entre a imagem de predição e o sinal de imagem para obter um fluxo codificado; decodificação da diferença codificada; adição da imagem de predição à diferença decodificada para obter uma imagem decodificada; armazenamento de uma imagem decodificada predeterminada na memória e liberação de uma imagem desnecessária na memória, em que a imagem decodificada predeterminada é armazenada em uma área em que • · · · · · • · · · · · · · · * · · · · · ·♦♦··· ♦ · · · · · · · ····· ··· ·· ·· ·· ·· · ·· ·· uma imagem exibida em um momento mais cedo foi armazenada na área liberada dentro da memória.
Um método de codificação de imagens de definição de condições de restrições da memória para um fluxo e um aparelho de decodifica5 ção de imagens e codificação de vídeo para o aparelho de codificação de imagens da presente invenção pode ser qualquer um de (A1) a (A26) abaixo.
(A1) Um método de codificação de imagens de definição de condições de restrições da memória para um fluxo e um aparelho de decodíficação de imagens, o método de codificação de imagens compreendendo as seguintes etapas: determinação de um primeiro número máximo de imagens de referência que podem ser usadas para predição de retorno; introdução do segundo número máximo em um cabeçalho do fluxo; geração de um armazenamento temporário virtual de retardo de exibição; geração de um contador de exposições; alocação de um espaço de memória suficiente para as imagens de referência; e codificação do vídeo. Aqui, o armazenamento temporário virtual de retardo de exposição é um armazenamento temporário virtual para cada imagem para exposição ser armazenada em uma área para exibição retida em uma memória no aparelho de codificação de imagens e armazena informação indicando uma ordem de saída das imagens para exi20 bição (número de ordem de imagem ou semelhante). O contador de exibições registra ou atualiza um número de ordem de imagem da imagem a sair virtualmente no visor. O espaço de memória suficiente indica uma área para armazenamento das imagens de referência e das imagens para exposição.
(A2) O método de decodificação de imagens de acordo com (A1), em que o primeiro número máximo é determinado de acordo com um valor de nível indicando uma capacidade do decodificador.
(A3) O método de codificação de imagens de acordo com (A1) ou (A2), em que o segundo número máximo é menor do que o primeiro número máximo de imagens de referência.
(A4) O método de codificação de imagens de acordo com (A1), (A2) ou (A3), em que a predição de retorno de todo o fluxo é limitada pelo segundo número máximo.
Figure BRPI0305432B1_D0009
··· ·· ·· ·· ·· · ·· ···· (Α5) O método de codificação de imagens de acordo com (A1), em que um tamanho do armazenamento temporário virtual de retardo de exposição é o segundo número máximo menos 1.
(A6) O método de codificação de imagens de acordo com (A1) 5 ou (A5), em que uma memória física para o armazenamento temporário virtual de retardo de exposição inclui apenas informação de ordem de exposição das imagens.
(A7) O método de codificação de imagens de acordo com (A1), em que o contador de exposições é usado para armazenar informação de ordem de exposição das imagens a serem removidas do armazenamento temporário virtual.
(A8) O método de codificação de imagens de acordo com (A1), compreendendo as seguintes etapas: predição de uma imagem de predição para uma imagem corrente ser codificada com referência às imagens de re15 ferência utilizáveis; codificação da imagem corrente; determinação se a imagem corrente pode ou não ser usada para predição; decodificação da imagem codificada; armazenamento da imagem decodificada no armazenamento temporário de imagem de referência; atualização do armazenamento temporário virtual de retardo de exposição; e atualização do contador de ex20 posições.
(A9) O método de codificação de imagens de acordo com (A1) ou (A8), em que uma ou uma pluralidade de imagens de referência podem ser usadas para a predição da imagem, quando a imagem é codificada preditivamente.
(A10) O método de codificação de imagens de acordo com (A1) ou (A8), em que a imagem de referência pode ser usada apenas quando o armazenamento temporário de imagens de referência satisfaz as condições de restrições de memória.
(A11) O método de codificação de imagens de acordo com (A1) ou (A8), em que a imagem de referência é decodificada quando a imagem corrente deve ser usada como uma imagem de referência.
(A12) O método de codificação de imagens de acordo com (A1),
ΑΧ (A8) ou (A10), ainda compreendendo as seguintes etapas de: determinação de condições de restrições de memória do número de imagens de referência com relação a uma imagem seguinte; remoção de uma imagem de referência não-utilizada do armazenamento temporário de imagens de referência; e adição da imagem decodificada ao armazenamento temporário de imagens de referência.
(A13) O método de codificação de imagens de acordo com (A1), (A8), (A10) ou (A12), em que um número máximo das imagens de referência com relação à imagem seguinte iguala aquele do número de imagens no armazenamento temporário virtual de retardo de exposição é subtraído do primeiro número máximo para o fluxo.
(A14) O método de codificação de imagens de acordo com (A1), (A8), (A10) ou (A12), em que a informação de ordem de exposição para a exibição da imagem de referência não-utilizada é movida para o armazena15 mento temporário virtual de retardo de exposição, quando a informação de ordem de exposição para a exposição é maior do que um valor indicado no contador de exposições.
(A15) O método de codificação de imagens de acordo com (A1) ou (A8), em que o armazenamento temporário virtual de retardo de exposi20 ção armazena a informação temporal da imagem quando um valor indicado na informação de ordem de exposição é maior do que um valor indicado no contador de exposições.
(A16) O método de codificação de imagens de acordo com (A1), (A8), (A10) ou (A15), em que o armazenamento temporário virtual de retardo de exposição remove a informação de ordem de exposição da imagem, quando o valor indicado na informação de ordem de exposição é menor do que ou igual ao valor indicado no contador de exposições.
(A17) O método de codificação de imagens de acordo com (A1), (A8), (A10), (A12) ou (A13), em que o número de imagens no armazena30 mento temporário virtual de retardo de exposição é definido de acordo com um número total indicado na informação de ordem de exposição das imagens que estão presentes no armazenamento temporário virtual de retardo
Ã3
Figure BRPI0305432B1_D0010
« · de exposição.
(A18) O método de codificação de imagens de acordo com (A1) ou (A8), em que o contador de exposições começa a atualização da informação de ordem de exposição em um dos casos: quando o armazenamento temporário virtual de retardo de exposição está cheio e quando o número de imagens codificadas se iguala ao primeiro número máximo.
(A19) O método de codificação de imagens de acordo com (A1), (A8) ou (A18), em que o contador de exposições atualiza a informação de ordem de exposição com base na informação de ordem de exposição de cada imagem codificada.
(A20) O método de codificação de imagens de acordo com (A1), em que um método de decodificação de imagens empregado por um aparelho de decodificação de imagens compreende as seguintes etapas de: determinação de um tamanho máximo de armazenamento temporário de de15 codificador posterior de acordo com um cabeçalho de fluxo; determinação de um número mínimo de imagens de referência necessárias; alocação de um espaço de memória física suficiente; decodificação do fluxo; e saída do fluxo.
(A21) O método de codificação de imagens de acordo com (A1) ou (A20), em que o tamanho máximo do armazenamento temporário de pós20 decodificador é o segundo número máximo estabelecido pelo aparelho de codificação de imagens.
(A22) O método de codificação de imagens de acordo com (A1) ou (A20), em que o número mínimo de imagens de referência necessárias é fixado de acordo com um nível de capacidade de um aparelho de decodifi25 cação de imagens que pode decodificar o mesmo fluxo.
(A23) O método de codificação de imagens de acordo com (A1) ou (A20), em que o espaço de memória física alocado pelo aparelho de decodificação de imagens pode ser usado para armazenamento de imagens de referência e de imagens de pós-decodificador.
(A24) O método de codificação de imagens de acordo com (A1) ou (A20), em que um número total de imagens de referência e imagens de pós-decodificador não ultrapassa o espaço de memória física alocado.
• ·
ÒH • · *· · ····· ♦♦ ···· (A25) O método de codificação de imagens de acordo com (A1) ou (A20), em que uma imagem primeiramente decodificada sai em um dos seguintes casos: quando o número de imagens decodificadas se iguala ao tamanho máximo de armazenamento temporário de pós-decodificador me5 nos 1 e quando um número total de imagens decodificadas se iguala ao número mínimo determinado de imagens de referência.
(A26) O método de codificação de imagens de acordo com (A1) ou (A20), em que a imagem decodificada é removida do armazenamento temporário de pós-decodificador uma vez que a imagem decodificada seja enviada para saída.
Também, um método de decodificação de um fluxo baseado em condições de restrições de memória para um fluxo e um aparelho de decodificação de imagens empregado pelo aparelho de decodificação de imagens da presente invenção pode ser qualquer um de (A27) a (A37) abaixo.
(A27) Um método de decodificação de imagens de decodificação de um fluxo com base em condições de restrições de memória para um fluxo e um aparelho de decodificação de imagens, o método de decodificação de imagens compreendendo as seguintes etapas de: determinação de um primeiro número máximo de imagens de referência usadas para um fluxo; de20 terminação de um segundo número máximo de imagens de referência usadas para predição de retorno; cálculo de um tamanho mínimo de um armazenamento temporário de pós-decodificador; alocação de um espaço de memória física suficiente para o armazenamento temporário de imagem de pós-referência; alocação de um espaço de memória física suficiente para o armazenamento temporário de pós-decodificador; decodificação do fluxo; armazenamento da imagem decodificada em um armazenamento temporário de imagens de referência; armazenamento da imagem decodificada no armazenamento temporário de pós-decodificador; saída da imagem decodificada. Aqui, o armazenamento temporário de pós-decodificador é uma área para exposição em uma memória de imagens de referência no aparelho de decodificação de imagens.
(A28) O método de decodificação de imagens de acordo com • · · · · ·· ·· ·· · ·· ···· (Α27), em que o primeiro número máximo é fixado para o aparelho de decodificação de imagens de acordo com um nível de capacidade para decodificar o fluxo.
(A29) O método de decodificação de imagens de acordo com (A27), em que o segundo número máximo é definido como o primeiro número máximo menos 1.
(A30) O método de decodificação de imagens de acordo com (A27), em que o tamanho mínimo do armazenamento temporário do pósdecodificador é definido como o segundo número máximo menos 1.
(A31) O método de decodificação de imagens de acordo com (A27) ou (A30), em que o tamanho mínimo do armazenamento temporário do pós-decodificador é obtido do fluxo.
(A32) O método de decodificação de imagens de acordo com (A27) ou (31), em que o segundo número máximo é definido como o tama15 nho mínimo do armazenamento temporário do pós-decodificador mais 1.
(A33) O método de decodificação de imagens de acordo com (A27), em que o tamanho mínimo do armazenamento temporário de imagens de referência é definido como o primeiro número máximo.
(A34) O método de decodificação de imagens de acordo com (A27) ou (A33), em que o armazenamento temporário de imagens de referência é usado apenas para armazenamento de imagens de referência.
(A35) O método de decodificação de imagens de acordo com (A27), (A30) ou (A31), em que o armazenamento temporário do pósdecodificador é usado para armazenamento de imagens de não referência.
(A36) O método de decodificação de imagens de acordo com (A27), (A32) ou (A33) em que uma imagem de referência é removida do armazenamento temporário de imagens de referência, quando a imagem de referência é julgada como uma imagem de não referência.
(A37) O método de decodificação de imagens de acordo com (A27), (A30), (A31) ou (A35), em que a imagem no armazenamento temporário do pós-decodificador é removida do armazenamento temporário do pós-decodificador quando emitida.
%
Figure BRPI0305432B1_D0011
Com a estrutura descrita acima, uma decodificação correta do fluxo pode ser assegurada pela operação do fluxo e do aparelho de decodificação de imagens sob as mesmas condições de restrições da memória. Caso contrário, um espaço de memória suficiente para o aparelho de deco5 dificação de imagens para decodificar o fluxo no processo de decodificação não pode ser assegurado.
Breve Descrição dos Desenhos
A figura 1 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição de imagens.
A figura 2 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição de imagens.
A figura 3 é um diagrama em blocos mostrando um aparelho de codificação de imagens para realizar um método de codificação de imagens da presente invenção descrito em uma primeira concretização.
A figura 4 é um fluxograma mostrando uma operação de uma unidade de controle de imagem de referência da presente invenção descrita na primeira concretização.
A figura 5A, 5B e 5C são diagramas de estado mostrando um estado de armazenamento das imagens na memória.
A figura 6 é um fluxograma mostrando uma operação do aparelho de codificação de imagens da presente invenção descrito em uma segunda concretização.
A figura 7 é um fluxograma mostrando uma operação do aparelho de codificação de imagens da presente invenção descrito em uma tercei25 ra concretização.
A figura 8 é um fluxograma mostrando uma operação do aparelho de codificação de imagens da presente invenção descrito em uma quarta concretização.
A figura 9 é um diagrama em blocos mostrando um aparelho de 30 decodificação de imagens para realizar um método de decodificação de imagens da presente invenção descrito em uma quinta concretização.
A figura 10 é um fluxograma mostrando uma operação do apa-
Figure BRPI0305432B1_D0012
relho de decodificação de imagens da presente invenção descrito na quinta concretização.
A figura 11 é um fluxograma mostrando outra operação do aparelho de decodificação de imagens da presente invenção descrito na quinta concretização.
A figura 12 é um fluxograma mostrando ainda outra operação do aparelho de decodificação de imagens da presente invenção descrito na quinta concretização.
A figura 13 é um fluxograma mostrando outra operação do apa10 relho de decodificação de imagens da presente invenção descrito na quinta concretização.
A figura 14 é um diagrama em blocos mostrando um uso de um armazenamento temporário virtual de retardo de exposição de um aparelho de codificação de imagens.
A figura 15 é um diagrama em blocos mostrando um processamento de operação de armazenamento temporário do pós-decodificador para codificação de acordo com a presente invenção.
A figura 16 é um diagrama em blocos mostrando um processamento de operação de armazenamento temporário do pós-decodificador para decodificação de acordo com a presente invenção.
A figura 17 é um exemplo de uso do armazenamento temporário virtual de retardo de exposição do aparelho de codificação de imagens para limitar o número máximo de imagens de referência.
A figura 18 é um exemplo de uso de armazenamento temporário virtual de retardo de exposição para decidir o tempo para exibir uma primeira imagem.
A figura 19 é uma ilustração de um meio de armazenamento a fim de armazenar um programa para realização do método de codificação de imagens e do método de decodificação de imagens de cada concretização em um sistema de computação, descrito em uma sétima concretização.
A figura 20 é um diagrama em blocos mostrando uma estrutura global de um sistema de abastecimento de conteúdo em uma oitava concre31 • · · · · · · · · • · * · · · ······ ·· ·· · ·· · ····· ··· ·· *· ·· ··
Figure BRPI0305432B1_D0013
tização.
A figura 21 é uma vista de esboço mostrando um exemplo de um telefone celular usando o método de codificação/ decodificação de imagens da presente invenção descrito na oitava concretização.
A figura 22 é um diagrama em blocos do telefone celular.
A figura 23 é um diagrama em blocos mostrando um exemplo de sistema de difusão digital descrito na oitava concretização.
A figura 24 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição das imagens.
A figura 25 é um diagrama mostrando uma estrutura de predição, uma ordem de decodificação e uma ordem de exposição das imagens. .
A figura 26 é um diagrama em blocos do aparelho de decodificação de imagens para realizar o método de codificação de imagens convencional.
A figura 27 é um diagrama de mapeamento mostrando exemplos de códigos para comandos de controle de memória MMCO.
A figura 28 é um diagrama em blocos do aparelho de decodificação de imagens para realizar o método de decodificação de imagens convencional.
Melhor Modo para Realização da Invenção
O seguinte descreve uma primeira concretização da presente invenção.
Primeira Concretização
A figura 3 é um diagrama em blocos mostrando um aparelho de codificação de imagens para realizar um método de codificação de imagens da presente invenção. Os mesmos números de referência são colocados para os dispositivos que operam da mesma maneira como descrito no bloco mostrando um aparelho de decodificação de imagens para realizar um método de codificação convencional mostrando na figura 26 e a explanação, desse modo, é abreviada.
Diferenças entre o diagrama em blocos na figura 26 mostrando o aparelho de codificação de imagens para realizar o método de codificação • ·· ·· ·· ···· de imagens convencional e o diagrama em blocos na figura 3 mostrando o aparelho de codificação de imagens para realizar o método de codificação de imagens de acordo com a presente invenção são que uma unidade de controle de imagem de exposição DisPicCtrl é adicionada à figura 3 e que as instruções enviadas da unidade de controle de imagem de exposição DisPicCtrl são emitidas para uma unidade de controle de imagem de referência RefPicCtrl e uma memória de imagens PicMem2.
No aparelho de codificação de imagens 100 mostrado na figura 3, uma unidade de modificação de tamanho de imagem PicSize para obten10 ção de um tamanho de imagem modificado por operações externas bem como um tipo de codificação de cada imagem (imagem-l, imagem-P e imagem-B) da unidade de determinação de estrutura de imagem PicStruct e informação de saída indicando o tamanho de imagem a ser modificado para uma unidade de controle de imagem de referência RefPicCtrl é recente15 mente ajustada.
A operação da memória de imagens PicMem2 é quase a mesma que a da memória de imagens PicMeml, portanto, apenas operações diferentes serão explicadas.
A unidade de controle de imagem de exposição DispPicCtrl ob20 tém um tempo de imagem Time e julga se uma imagem, que não é armazenada visto que ela não é para referência, pode ser exibida imediatamente ou não (se for necessário armazenar a imagem na memória de imagens até o momento de sua exibição). O tempo de imagem Time, um sinal para especificação de uma imagem a ser exibida, é introduzido a partir de fora. O tempo de imagem pode ser obtido das seguintes maneiras: da informação de tempo emitida do sistema para transmissão de imagens através de uma linha de transmissão, tal como um pacote, da informação de tempo no processo de formatação de uma corrente de vídeo e de uma corrente de áudio para multiplexação das mesmas; ou da informação de tempo no processo de forma30 tação de uma corrente de vídeo. O tempo de imagem pode ser um tempo absoluto, que informa do tempo para cada imagem ou um tempo relativo, que informa da ordem das imagens. Além disso, os intervalos de exibição de
Mó imagens normalmente são fixos, portanto, a ordem de exibição de imagens pode ser considerada como a hora de exibição.
Agora, o caso em que a imagem é exibível imediatamente é um caso em que a imagem obtida após o cálculo no somador Add corresponde à imagem a ser exibida, indicada pelo tempo de imagem Time. Nesse caso, uma imagem a ser exibida antes da imagem que não é ainda exibida e emitida para codificação não é encontrada na memória de imagens PicMem2. Quando a imagem não é exibível imediatamente, a unidade de controle de imagem de exposição DispPicCtrl instrui a unidade de controle de imagem de referência RefPicCtrl para armazenar a imagem, mesmo que ela não seja para referência, na memória de imagens PicMem2. Conseqüentemente, a imagem que não é exibida imediatamente é armazenada na memória de imagens PicMem2 sem falha, independente de se ela é para referência ou não e pode ser exibida fora da memória de imagens PicMem2 no aparelho de decodificação.
A figura 4 é um fluxograma mostrando uma operação da unidade de controle de imagem de referência RefPicCtrl da presente invenção.
A unidade de controle de imagem de referência RefPicCtrl julga se uma imagem decodificada (imagem) deve ser ou não armazenada para referência para uma imagem de predição (Etapa 10). Quando a imagem decodificada deve ser usada para referência, a operação prossegue para a Etapa 12, caso contrário para a Etapa 11.
Na Etapa 11, a unidade de controle de imagem de referência RefPicCtrl julga se a imagem decodificada é ou não exibível imediatamente.
Exibível imediatamente aqui significa que a imagem decodificada pode ser exibida no momento de ser decodificada (veja, por exemplo, a Imagem 1 na figura 1). A imagem decodificada, que não é exibível imediatamente significa que ela precisa ser exibida mais tarde (por exemplo, B5 mostrado na figura 1). Quando a imagem é exibível imediatamente, a operação está terminada, caso contrário, vai para a Etapa 12.
Na Etapa 12, a unidade de controle de imagem de referência
RefPicCtrl obtém uma área capaz de armazenar uma imagem na memória
Ml de imagens PicMem2 e instrui para armazenar a imagem decodificada na área obtida na memória de imagens PicMem2 usando um comando de controle de memória MMCO, na Etapa 13.
Dessa maneira, a imagem que não é exibida imediatamente é armazenada na memória de imagens PicMem2 e pode sair para exposição da memória de imagens PicMem2, quando chegou o momento de sua exibição. Isso não requer uma memória de imagens desnecessária atribuída para uma imagem para exposição e uma imagem que necessita ser armazenada para exposição pode ser armazenada na memória de imagens atribuída para uma imagem para referência.
A memória de imagens PicMem2 inclui uma área para referência em que uma imagem de referência é armazenada para gerar uma imagem de predição e uma área para exibição em que uma imagem para exibição é armazenada.
Enquanto isso, um tamanho de imagem pode ser modificado para cada GOP (Group of Picture) antes mencionado. A modificação do tamanho de imagem ocorre apenas quando uma área total para referência na memória armazenando uma imagem de referência desnecessária é liberada (faz o estado ma memória reutilizável).
Contudo, quando a modificação do tamanho de imagem ocorre como descrito acima, a imagem para exibição que ainda não é exibida é armazenada na área de memória e é necessário determinar explicitamente uma estratégia de como manipular essa imagem para exibição, mas ainda não exibida (quer para apagá-la, quer para armazená-la até que ela seja exibida).
Aqui, um estado de armazenamento de imagens na memória, quando a mudança do tamanho de imagem ocorre, é explicado em estágios.
As figuras 5A, 5B e 5C são diagramas de estado mostrando o estado de armazenamento das imagens na memória em estágios. Em 5A, as imagens 200a, 200b e 200c são as imagens para referência (as imagens a serem usadas para referência a fim de gerar uma imagem de predição), enquanto as imagens 201a, 201b, 201c, 201 d e 201 e são as imagens para ex35 posição (imagens a serem exibidas e não exibidas ainda).
As imagens 201a, 201b, 201c, 201 d e 201 e será exibidas na ordem numérica, conforme mostrado na figura 5A.
A figura 5A ilustra o estado em que todas as áreas de memória atribuídas para as imagens de referência 200a, 200b e 200c são liberadas para a reutilização.
A figura 5B mostra que o tamanho da imagem é modificado seguindo o estado mostrado na figura 5A. Uma imagem de referência 202a sendo modificada para um tamanho maior é armazenada na área de memória em que a imagem de referência 200a foi armazenada. Além disso, a imagem para exibição 201a é emitida para exibição e sua área de memória é liberada.
A figura 5C mostra um estado em que a área de memória armazenando a imagem para exibição 201b é liberada após o estado mostrado na figura 5B. Uma imagem de referência 202b sendo modificada para um tamanho maior é armazenada na área de memória em que as imagens para exibição 201a e 201b foram armazenadas e uma pequena área de memória 203 é deixada. Ainda que a área de memória armazenando a imagem para exposição 201c seja liberada, a imagem de referência (cujo tamanho de imagem é ampliado) não pode ser armazenada recentemente.
Desse modo, quando o tamanho de imagem é modificado, as imagens de tamanhos diferentes de imagem são misturadas na memória (as imagens de referência cujos tamanhos de imagem são ampliados e as imagens para exposição que ainda não são expostas e cujos tamanhos não são modificados).
Conseqüentemente, a memória é usada fragmentariamente, o que produz uma pequena área de memória que não pode ser usada e a capacidade de uso é, assim, deteriorada. Quando os dados na memória são reposicionados de modo que a pequena área de memória causada pela modificação do tamanho de imagem desaparece, o acesso à memória aumenta grandemente e, assim, é difícil realizar operações de codificação e decodificação em tempo real.
• · · · · «··· · · · · • · ·· · ·· ······ · · • · · ·· · · · · ····· · · • ··· ·· ·· ·· ·· · *· ····
Quando ο tamanho da imagem é modificado, dois métodos são concebíveis. O primeiro método é liberar a área para exibição em que as imagens para exposição que não são ainda exibidas são armazenadas e a área para referência em que as imagens de referência são armazenadas (como um estado reutilizável) e abandona a exibição das imagens para exposição que, todavia, não são expostas. Isso pode impedir o uso fragmentário da memória causado pela mistura das imagens de tamanhos diferentes e, assim, a deterioração na capacidade de uso da memória pode ser reduzida.
A modificação no tamanho da imagem descrito acima ocorre conforme descrito a seguir. A unidade de modificação de tamanho de imagem PicSize mostrado na figura 3 recebe o tipo de codificação (imagem-l, imagem-P e imagem-B) de cada imagem determinada pela unidade de determinação de estrutura de imagem PicStruct e o tamanho de imagem para a modificação introduzida do lado de fora e sai para a unidade de controle de imagem de referência RefPicCtrl uma instrução para modificar o tamanho de imagem com a sincronização para começar a codificação da imagem-l. A imagem-l é uma imagem-l especial (imagem de IDR (Restauração de Decodificação Instantânea)) a ser inserida, por exemplo, no começo do GOP.
O segundo método é comutar um método para liberar toda a área da memória e descartar as imagens para exposição que, todavia, não são exibidas e um método para liberar apenas a área para referência em que as imagens de referência são armazenadas e exibir as imagens para exibição que, contudo, não são exibidas antes que a modificação de tamanho ocorra com um julgamento feito por um aparelho de decodificação de imagens (decodificador) para decodificação de um sinal (fluxo) codificado, que é referido mais tarde, de modo que a exibição das imagens para exposição que não são exibidas ainda não é obrigatória. Nesse caso, o aparelho de decodificação de imagens mostra as imagens exibíveis, por exemplo, as imagens não danificadas de acordo com a ordem de exposição.
Para operação dessa comutação, informação de instrução (flag), indicando um dos seguintes métodos: o método para liberar toda a área da memória; e o método para liberar apenas a área para referência em que a imagem de referência é armazenada ou outra informação identificável está contida no fluxo Str emitido do aparelho de codificação de imagens 100.
No lado do aparelho de decodificação de imagens, o processamento é operado com base na informação de instrução colocada no fluxo.
Os exemplos a seguir são concebíveis para os critérios de julgamento a fim de comutar os dois métodos indicados pela informação de instrução: um criador de conteúdo pode decidir o método de acordo com uma aplicação: apenas a área para referência é liberada, mas não a área para exposição armazenando uma imagem para exposição que não é, con10 tudo, exibida (não liberando toda a área da memória), quando a memória pode proporcionar o espaço.
Com a construção acima, o aparelho de codificação de imagens pode ser realizado para resolver os problemas existentes.
Segunda Concretização
O seguinte descreve uma segunda concretização da presente invenção.
Na presente concretização, a unidade de controle de imagem de exposição DispPicCtrl mostrada na figura 3 instrui a memória de imagens PicMem2 para não armazenar uma imagem recentemente na área que ar20 mazena a imagem que ainda não é exibida, quando uma imagem é armazenada na área de memória liberada. Normalmente, ainda que uma área para imagem seja liberada, uma imagem armazenada direito antes pode ser reproduzida desde que uma imagem não seja armazenada recentemente (sobrescrita) na área. Mesmo se uma área de memória em que a imagem que ainda não é exibida é liberada, a imagem que não é ainda exibida e é liberada no momento de exposição, mas é deixada sem ser sobrescrita, pode ser exibida através de armazenamento de uma imagem recentemente não na área de memória, mas na área onde a imagem que já está exibida é armazenada. A imagem na área de imagem liberada da memória de imagens é chamada imagem para exibição. Já exibida aqui é praticamente sinônimo de já saída para um dispositivo de exibição.
A figura 6 é um fluxograma mostrando uma operação do aparelho de codifi-
Figure BRPI0305432B1_D0014
cação de imagens 100 da presente concretização. A presente concretização se caracteriza na determinação do armazenamento da imagem pelo julgamento se a imagem armazenada na área liberada na memória já está exibida ou não.
Primeiramente, na Etapa 20, o aparelho de codificação de imagens 100 julga se a imagem decodificada deve ou não ser armazenada na memória de imagens PicMem2 com base nas instruções indicadas no comando de controle de memória MMCO.
No caso de armazenamento da imagem decodificada na memó10 ria de imagens, a área de imagem liberada é obtida (Etapa 21) e se uma imagem armazenada na área de imagem liberada já é exibida ou não é verificado (Etapa 22). Quando ela não está visualizada, a operação volta para a Etapa 21 e o processamento continua até que a área liberada em que a imagem já exibida foi armazenada é verificada.
Quando essa área liberada é verificada, a imagem decodificada é armazenada na área (Etapa 23).
Desse modo, quando a imagem a ser visualizada é exibida, a imagem que ainda não é mostrada é armazenada na memória, sem ser sobrescrita até o momento de sua exibição uma vez que a área que armazena a imagem exibida seja reutilizada.
Se uma imagem armazenada na memória já está exibida ou não pode ser julgado pela unidade de controle de imagem de exposição DispPicCtrl que gerencia a informação se a imagem está ou não exibida.
Se uma área de imagem é uma área liberada ou não pode ser 25 avaliada através de referência à informação sobre se cada área de imagem é ou não liberada, por exemplo, usada (utilizável como uma imagem de referência) ou não usada (não mais usada como uma imagem de referência) armazenada na memória de imagens PicMem2 de acordo com o comando de controle de memória MMCO.
Com a estrutura acima, o aparelho de codificação de imagens da presente invenção pode ser realizado de modo a vencer os problemas existentes.
Figure BRPI0305432B1_D0015
Desse modo, a sobrescrição de uma imagem recentemente na imagem que ainda não está exibida pode ser impedida de modo que a última imagem pode sair para exibição da área que já está liberada, mas não sobrescrita no momento de exibição. A imagem que precisa ser armazenada para visualização pode ser armazenada sem requerer uma memória desnecessária.
Como a operação no caso que requer a modificação no tamanho da imagem é a mesma que na primeira concretização, a explanação é abreviada.
Terceira Concretização
O seguinte descreve uma terceira concretização da presente invenção.
A figura 7 é um fluxograma de uma operação do aparelho de codificação de imagens 100 da terceira concretização da presente invenção. A presente concretização se caracteriza na determinação do armazenamento da imagem de acordo com o momento em que a memória é liberada.
Primeiramente, na Etapa 30, o aparelho de codificação de imagens 100 julga se a imagem decodificada deve ou não ser armazenada na memória de imagens PicMem2 com base na instrução indicada no comando de controle de memória MMCO.
No caso de armazenamento da imagem decodificada na memória de imagens, a área liberada de memória de imagens cujo momento de exibição é mais cedo dentro da área liberada é obtida (Etapa 31) e a imagem decodificada é armazenada na área obtida (Etapa 32).
A área de memória em que a imagem é decodificada e armazenada no momento mais cedo em lugar da área de memória liberada no momento mais cedo para exibição pode ser alocada como uma área para armazenar a imagem. Pois há uma alta possibilidade de que as imagens armazenadas nessas áreas de memória já estejam exibidas.
Esses momentos mais cedo não estão baseados, necessariamente, no tempo e podem ser os momentos iniciais de acordo com uma ordem, por exemplo, pode ser o momento inicial de acordo com uma ordem de
Figure BRPI0305432B1_D0016
exposição. Por exemplo, é altamente possível que uma imagem cuja ordem de exposição é a inicial já esteja exibida e uma área de memória armazenando essa imagem pode ser reutilizada, por sua vez, como uma área de armazenamento na memória, independente de se ela já está exibida ou não.
Normalmente, os intervalos de exibição de imagem é regular, portanto, a ordem de exibição pode ser considerada como o momento de exibição.
Desse modo, a sobrescrição de uma imagem recentemente na imagem que ainda não está exibida pode ser impedida de modo que a última imagem pode sair para exibição da área que já está liberada, mas não so10 brescrita no momento da exibição. A imagem que precisa ser armazenada para exibição pode ser armazenada sem requerer uma memória desnecessária. O processamento de armazenamento da imagem que precisa ser armazenada para exibição pode ser realizado independente de se a imagem armazenada na memória de imagens PicMem2 já está exibida ou não.
Quando o tempo inicial indica o momento mais cedo na hora de exibição, se a imagem está ou não armazenada no tempo inicial pode ser julgado pela unidade de controle de imagem de exposição DispPicCtrl que gerencia a informação quanto a se a imagem está ou não exibida.
Como uma operação em um caso em que uma modificação de um tamanho de imagem é requerida é a mesma que aquela descrita na primeira concretização, a explanação é abreviada.
Quarta Concretização
O seguinte ilustra uma quarta concretização da presente invenção.
A figura 8 é um fluxograma mostrando uma operação do aparelho de codificação de imagens 100 de acordo com a quarta concretização da presente invenção. A presente concretização se caracteriza na determinação de um armazenamento da imagem de acordo com uma ordem de liberação da memória.
Primeiramente, na Etapa 40, o aparelho de codificação de imagens 100 julga se a imagem decodificada deve ser ou não armazenada na memória de imagens PicMem2 com base na instrução indicada no comando
Μ
Figure BRPI0305432B1_D0017
de controle de memória MMCO.
No caso de armazenamento da imagem decodificada na memória de imagens, a área de memória de imagens liberada no tempo inicial dentro da área liberada é obtida (Etapa 41) e a imagem decodificada é ar5 mazenada na área obtida (Etapa 42).
Uma vez que é um sistema que gerencia a informação sobre o momento de exibição, é difícil obter o momento de exibição dependendo de um método para fabricar um aparelho de decodificação de vídeo. É altamente possível que a imagem com o momento de exibição inicial seja arma10 zenada na área primeiramente liberada do que na área liberada no momento posterior. A saber, é uma alta possibilidade que a imagem primeiramente liberada já esteja exibida. Portanto, há uma alta possibilidade de que a imagem que ainda não está exibida não seja sobrescrita quando a imagem decodificada está armazenada na área de imagem primeiramente liberada.
Se a área de imagem é uma área liberada ou não pode ser julgado através de referência à informação sobre se cada área de imagem está ou não liberada, por exemplo, usada (utilizável como uma imagem de referência) ou não-utilizada (não mais usada como uma imagem de referência) que é armazenada na memória de imagens PicMem2 de acordo com o comando de controle de memória MMCO. Ou, o uso da área de imagem pode ser fixado de antemão até um procedimento predeterminado a fim de julgar se a área de imagem é aquela que é primeiramente liberada de acordo com o procedimento. Por exemplo, isso pode ser julgado pela memória de imagens PicMem2 funcionando como uma memória usando um método de primeiro a entrar primeiro a sair (FIFO) pelo qual os conteúdos de registro que registram que a imagem deve ser armazenada recentemente são descartados seqüencialmente, por vez, e as últimas imagens de um número fixo de quadros (ou número de imagens) são sempre armazenadas. Desse modo, a sobrescrição de uma imagem recentemente em uma imagem que ainda não está exibida pode ser impedida de modo que a última imagem pode sair para exibição da área que já está liberada, mas não sobrescrita no momento de exibição.
Figure BRPI0305432B1_D0018
Como uma operação no caso em que a modificação do tamanho de imagem é requerida é a mesma que aquela descrita na primeira concretização, a explanação é abreviada.
Quinta Concretização
O seguinte ilustra uma quinta concretização da presente invenção.
A figura 9 é um diagrama em blocos de um aparelho de decodificação de imagens para realizar o método de decodificação de imagens da presente invenção. Os mesmos numerais de referência são colocados para os dispositivos que operam da mesma maneira que um aparelho de codificação de imagens para realizar o método de codificação de imagens de acordo com a presente invenção, mostrado no diagrama em blocos da figura 3 e um aparelho de decodificação de imagens para realizar o método de decodificação de imagens convencional mostrado no diagrama em blocos da figura 28 e a explanação é, assim, abreviada.
A diferença entre o aparelho de decodificação de imagens 150 mostrado na figura 9 e o exemplo de aparelho convencional mostrado na figura 28 é que uma unidade de detecção de modificação de tamanho de imagem PicSizeDet e uma unidade de controle de imagem de exposição
DispPicCtrl são ajustadas recentemente. A unidade de detecção de modificação de tamanho de imagem PicSizDet sai um comando para modificar o tamanho de imagem na sincronização de codificação inicial de uma imagemI especial (imagem de IDR) com base no tamanho de imagem para a modificação obtida de fora e o comando de controle de memória MMCO obtido da unidade de decodificação de comprimento variável VLD.
A unidade de controle de imagem de exposição DispPicCtrl instrui a memória de imagens PicMem2 para não armazenar uma imagem recentemente na área para a imagem que ainda está exibida, quando do armazenamento da nova imagem na área liberada. Normalmente, mesmo que uma área para uma imagem seja liberada, os dados de uma imagem que é armazenada direito antes são deixados na memória e podem ser reproduzidos desde que uma imagem não seja armazenada (sobrescrita) recente-
Figure BRPI0305432B1_D0019
mente na área. A imagem que é liberada no momento da exibição, mas deixada sem ser sobrescrita pode ser exibida através do armazenamento de uma imagem recentemente na área onde a imagem que já está visualizada é armazenada, mesmo se a área de memória em que a imagem que ainda não está exibida é liberada. Já exibida aqui é praticamente sinônimo de já saída para um dispositivo de exibição.
Desse modo, quando a imagem a ser exibida é mostrada, a imagem que não está exibida ainda é armazenada na memória, sem ser sobrescrita seu momento de sua exibição uma vez que a área que armazena a imagem exibida é reutilizada.
Com a estrutura acima, o aparelho de decodificação de imagens da presente invenção pode ser realizado a fim de vencer os problemas existentes. O aparelho de decodificação de imagens 150 pode decodificar um sinal codificado que é codificado pelo aparelho de codificação de ima15 gens 100 mostrado nas terceira e quarta concretizações. Nesse caso, a operação para uso da memória de imagens é a mesma que aquela descrita para o aparelho de codificação de imagens mostrado nas terceira e quarta concretizações. A saber, para a capacidade de reutilização da área de imagem que é liberada (não mais usada para referência) na memória de imagens, o método para decidir a área para a imagem a ser armazenada recentemente, descrito nas primeira a terceira concretizações pode ser empregado.
O seguinte descreve métodos de armazenamento da imagem na memória quando da decodificação do sinal codificado, codificado pelo aparelho de codificação de imagens mostrado nas terceira e quarta concretiza25 ções.
Primeiramente, o método de armazenamento da imagem na memória no momento de decodificar o sinal codificado pelo aparelho de codificação de imagens mostrado na terceira concretização é explicado.
O aparelho de decodificação de imagens 150 julga se a imagem 30 decodificada saída da unidade de adição Add no aparelho de decodificação de imagens 150 deve ser ou não armazenada na memória de imagens PicMem2 com base na instrução indicada no comando de controle de memória
Figure BRPI0305432B1_D0020
MMCO.
Quando do armazenamento da imagem decodificada na memória de imagens, a área de memória de imagens primeiramente liberada é obtida e a imagem decodificada é armazenada na área obtida.
Aqui, a área de memória em que a imagem é decodificada e armazenada no momento inicial ou a área de memória em que a imagem com o tempo de exibição inicial é armazenada em lugar da área de memória que é liberada no momento inicial pode ser alocada como uma área para armazenar a imagem. Pois há uma alta possibilidade de que as imagens armaze10 nadas nessas áreas de memória já estejam exibidas.
Uma vez que é um sistema que gerencia a informação sobre o tempo de exposição, é difícil obter o tempo de exposição dependendo de um método para fabricar um aparelho de decodificação de imagens. É altamente possível que a imagem com o tempo de exposição anterior seja armazenada na área em que a imagem é armazenada no momento inicial do que a imagem seja armazenada no tempo posterior. É com alta possibilidade que a imagem armazenada no tempo anterior já esta exibida, uma vez que é natural que a imagem com tempo de exposição cedo já esteja exibida. Portanto, há uma alta possibilidade de que a imagem que não está exibida ainda não seja sobrescrita, quando a imagem decodificada é armazenada na área em que a imagem armazenada no tempo inicial foi armazenada. Quando o tempo inicial corresponde ao tempo inicial em que a imagem é codificada, se a imagem é codificada no tempo inicial, por exemplo, pode ser julgado pela estrutura de predição e a ordem de decodificação da imagem.
Esses tempos iniciais não são, necessariamente, baseados no tempo e podem ser o tempo inicial de acordo com uma ordem, por exemplo, pode o tempo inicial de acordo com uma ordem de exposição. Por exemplo, é altamente possível que uma imagem cuja ordem de exposição é a primeira já esteja exibida e uma área de memória armazenando essa imagem pode ser reutilizada por sua vez como uma área de armazenamento na memória, independente de se ela já está exibida ou não. Normalmente, os intervalos de exibição de imagens são regulares, portanto, a ordem de exibição de • »·· ···· · • ♦ · · · · *····· · · *· « · · ·· · ··»·« · · ·*· ·· ·· ·· ·· · ·· ·*·· imagens pode ser considerada como o tempo de exposição.
Desse modo, a sobrescrição de uma imagem recentemente na imagem que ainda não está exibida pode ser impedida, de modo que a última imagem pode sair para exibição da área que já está liberada, mas não sobrescrita no tempo de exibição. Também, a imagem que precisa ser armazenada para exibição pode ser armazenada sem requerer uma memória desnecessária.
O processamento de armazenamento da imagem que precisa ser armazenada para exibição pode ser realizado independente de se a imagem armazenada na memória de imagens PicMem2 já está exibida ou não. Quando o tempo anterior indica o tempo anterior no tempo de exposição, se a imagem está ou não armazenada no tempo anterior pode ser julgado pela unidade de controle de imagem de exposição DispPicCtrl que gerencia a informação sobre se a imagem está ou não exibida.
O seguinte descreve um método de armazenamento de uma imagem na memória quando da decodificação do sinal codificado pelo aparelho de codificação de imagens mostrado na quarta concretização.
O aparelho de decodificação de imagens 150 julga se a imagem decodificada saída da unidade de adição Add mencionada acima do método de decodificação de imagens 150 deve ser armazenada ou não na memória de imagens PicMem2 baseado na instrução indicada no comando de controle de memória MMCO.
No caso de armazenamento da imagem decodificada na memória de imagens, a memória de imagens primeiramente liberada é obtida e a imagem decodificada é armazenada na área obtida.
Uma vez que é um sistema que gerencia a informação sobre o tempo de exposição, é difícil obter o tempo de exposição dependendo de um método para fabricar um aparelho de decodificação de vídeo. É altamente possível que a imagem com o tempo de exposição anterior seja armazenada na área primeiramente liberada do que na área liberada no momento posterior. A saber, é provável que a imagem primeiramente liberada já esteja exibida. Portanto, há uma alta possibilidade de que a imagem que ainda não *>2>
♦ · ··· ·· ···· ♦· *«··· «··· ·· ···· «··· · · · · • · · « ·« ······ · · ·· 4 · * ·· 4 ··«·· · ·
444 «· *4 *4 ·· 4 ·· ···· está exibida não seja sobrescrita pelo armazenamento da imagem decodificada na área de imagem liberada primeiramente.
Se uma área de imagem é uma área de imagem liberada primeiramente ou não pode ser julgado através de referência à informação sobre se cada área de imagem está liberada ou não, por exemplo, usada (utilizável como uma imagem de referência) ou não usada (não mais usada como uma imagem de referência), isto é, armazenada na memória de imagens PicMem2 de acordo com o comando de controle de memória MMCO, incluindo a ordem de liberação das imagens. Ou, o uso da área de imagem pode ser fixado de antemão em um procedimento predeterminado a fim de julgar se a área de imagem é uma que é primeiramente liberada de acordo com o procedimento. Por exemplo, isso pode ser julgado pela memória de imagens PicMem2 funcionando como uma memória usando um método de primeira a entrar primeira a sair (FIFO) pelo qual os conteúdos de registro com tempo de registro antigo são descartados seqüencialmente, quando os novos dados são registrados, de modo que as últimas imagens de um número fixo de quadros (ou número de imagens) são sempre armazenadas.
Desse modo, a sobrescrição de uma imagem recentemente em uma imagem que não está ainda exibida pode ser impedida e a imagem pode sair para exibição da área que já está liberada, mas não sobrescrita no momento da exibição.
A unidade de exposição Disp pode ser instalada no exterior do aparelho de decodificação de imagens 150 em lugar de ser incluída no mesmo, de modo que o aparelho de decodificação de imagens 150 pode enviar apenas os dados necessários para exibição de uma imagem na unidade de exposição Disp.
Aqui, uma operação do aparelho de decodificação de imagens 150 quando o tamanho é modificado, como já explicado na segunda concretização, está ilustrada. Contudo, a operação é como aquela descrita nas ter30 ceira e quarta concretizações, portanto, a explanação é abreviada.
Um método correspondente ao primeiro método no caso em que o tamanho de imagem é modificado mostrado na segunda concretização é o ·· ··· «· ···· ·· ···· · ·*·· ·· ···· · · · · · ··· • # · · «· ······ · · ·· · · * ·· · ····· · · ··· »· ♦· »· ·· · *» ···· όΜ que o aparelho de decodificação de imagens 150 libera toda a área na memória, incluindo a área para referência, em que a imagem de referência é armazenada, e a área para exibição, em que a imagem para exibição é armazenada e realiza a inicialização, quando do recebimento de um comando para modificar o tamanho da imagem.
A figura 10 é um fluxograma mostrando uma operação do aparelho de codificação de imagens 150.
O aparelho de codificação de imagens 150 julga se um sinal emitido da unidade de detecção de modificação de tamanho de imagem Pi10 cSizeDet indica uma modificação de um tamanho da imagem (Etapa 100). Quando o faz (Sim, na Etapa 100), o aparelho de codificação de imagens 150 libera toda a área de memória da memória de imagens PicMem2 (como um estado reutilizável), inicializa a mesma (Etapa 102) e termina o processamento.
Quando o tamanho da imagem não é modificado (Não, na Etapa
100), o aparelho de decodificação de imagens 150 julga se o comando de controle de memória MMCO emitido da unidade de decodificação de comprimento variável VLD indica ou não a liberação (inicialização) de toda a área de memória na memória de imagens PicMem2 (Etapa 101) e, se o faz (Sim, na Etapa 101), libera toda a área de memória (Etapa 102), se não (Não, na Etapa 101), libera apenas a área para referência em que a imagem de referência está armazenada (Etapa 103) e termina o processamento.
Desse modo, a liberação de toda a área da memória impede o uso fragmentário da memória causado pela mistura das imagens de tama25 nhos diferentes e, assim, a deterioração na capacidade de uso da memória pode ser reduzida.
A seguir, uma operação do aparelho de decodificação de imagens 150 correspondente ao segundo método no caso da modificação do tamanho da imagem mostrado na segunda concretização é explicada.
No caso de modificação do tamanho da imagem, os métodos são comutados de um para o outro: um método de liberação de toda a área da memória ou um método de liberação apenas da área para referência em
Figure BRPI0305432B1_D0021
• ·· ···· ··»· ·· • tf · que a imagem de referência é armazenada e mostrando a imagem exibível fora das imagens que ainda não estão exibidas com o julgamento feito pelo aparelho de decodificação de imagens 150.
Como descrito na segunda concretização, a informação de ins5 trução (flag) indicando para liberar toda a área de memória ou apenas a área para referência está contida no comando de controle de memória MMCO no fluxo Str emitido do aparelho de codificação de imagens 100.
O aparelho de decodificação de imagens 150 determina um dos dois métodos descritos acima com base na informação de instrução contida no comando de controle de memória MMCO.
A figura 11 é um fluxograma mostrando uma operação de determinação.
Primeiramente, o aparelho de decodificação de imagens 150 julga se a informação de instrução (flag) indica ou não a inicialização de toda a área de memória (Etapa 150). Quando ela indica a inicialização de toda a área (Sim, na Etapa 150), o aparelho de decodificação de imagens 150 libera toda a área, para inicialização, incluindo a área para exibição armazenando a imagem para exibição que ainda não está exibida (Etapa 151), caso contrário (Não, na Etapa 150), libera apenas a área para referência para ini20 cialização (Etapa 152).
Quando a informação de instrução (flag) não indica a inicialização de toda a área, o aparelho de decodificação de imagens 150 libera apenas a área para referência. Como para a imagem que não está exibida ainda e armazenada em uma outra área que não a área para referência, o apare25 Iho de decodificação de imagens 150 julga a imagem e mostra a exibível.
O seguinte descreve a operação do aparelho de decodificação de imagens 150 no caso de inicialização apenas da área para referência, com referência a um fluxograma.
A figura 12 é um fluxograma mostrando uma operação do apa30 relho de decodificação de imagens 150 (decodificador).
O aparelho de decodificação de imagens 150 julga se o sinal emitido da unidade de detecção de modificação de tamanho de imagem Pi49 cSizeDet indica ou não uma modificação de um tamanho da imagem (Etapa 200). A menos que ele indique a modificação do tamanho da imagem (Não, na Etapa 200), o aparelho de decodificação de imagens 150 mostra a imagem a ser visualizada que ainda não está exibida armazenada na área para exibição (Etapa 203).
Enquanto isso, quando o sinal indica a modificação do tamanho da imagem (Sim, na Etapa 200), o aparelho de decodificação de imagens 150 determina se a imagem para exibição armazenada na área para exposição é ou não uma antes que a modificação do tamanho ocorra (Etapa 201).
Quando não é o caso (Não, na Etapa 201), o aparelho de decodificação de imagens 150 mostra a imagem a ser visualizada que ainda não está exibida (Etapa 203). Quando é o caso (Sim, na Etapa 201), o aparelho de decodificação de imagens 150 julga se a imagem para exibição é ou não exibível e exibe a mesma com base no julgamento (Etapa 202).
O seguinte descreve uma operação do aparelho de decodificação de imagens 150 para um julgamento sobre se a imagem pode ser exibida ou não.
A figura 13 é um fluxograma mostrando a operação do aparelho de decodificação de imagens 150 com relação a uma exibição da imagem.
Na figura 13, as mesmas marcas são colocadas para o mesmo processamento como descrito na figura 12.
O aparelho de decodificação de imagens 150 julga se a imagem para exibição armazenada na área para exibição é ou não aquela antes que a modificação do tamanho ocorra (Etapa 201). Quando a imagem não é aquela antes que a modificação ocorra (Não, na Etapa 201), o aparelho de decodificação de imagens 150 mostra a imagem. Por outro lado, quando a imagem é aquela antes que a modificação ocorra (Sim, na Etapa 201), o aparelho de decodificação de imagens 150 determina se a imagem a ser exibida está danificada ou não (Etapa 211). Quando a imagem não está da30 nificada (Não, na Etapa 211), a imagem é considerada como exibível e, assim, exibida (Etapa 210). Quando ela está danificada (Sim, na Etapa 211), a imagem precedente, por exemplo, é exibida em seu lugar. Aqui, não estando
Figure BRPI0305432B1_D0022
όΥ danificada significa que a imagem a ser exibida não está sobrescrita de modo que um novo dado de imagem é armazenado, mesmo que a imagem seja uma parte de uma imagem que está sendo armazenada. Dessa maneira, o aparelho de decodificação de imagens 150 julga se a imagem a ser exibida está ou não danificada, determina a imagem não danificada como exibível e exibe-a.
Desse modo, como explicado nos fluxogramas das figuras 11, 12 e 13, o aparelho de decodificação de imagens 150 mostra a imagem que não está exibida ainda de acordo com a informação de instrução (flag), indi10 cando se inicializar ou não toda a área da memória, quando a modificação do tamanho da imagem ocorrer.
Devido ao método de decodificação de imagens do aparelho de decodificação de imagens 150 como descrito acima, uma decodificação apropriada é realizada através da comutação para inicializar toda a área da memória ou inicializar apenas a área para referência e mostrar a imagem para exibição que ainda não está exibida, mesmo quando a modificação do tamanho da imagem é realizada. A saber, quando a área livre na memória é pequena, por exemplo, toda a área na memória é inicializada para reutilização, ao passo que, quando ela é grande, o caso pode ser manipulado flexi20 velmente permitindo-se a exibição da imagem que ainda não está exibida após a inicialização apenas da área para referência.
Sexta Concretização
Os seguintes termos são usados em uma sexta concretização. A saber, um armazenamento temporário de imagem de referência é uma área combinando uma área para referência e a uma para exibição na memória de imagens PicMem2 em um aparelho de codificação de imagens. Um armazenamento temporário virtual de retardo de exposição é um armazenamento temporário virtual para cada imagem para exibição ser armazenada na área para exibição que é mantida na memória de imagens PicMem2 no aparelho de codificação de imagens e armazena números de referência temporal das imagens para exibição (números de imagens ou semelhantes). Um armazenamento temporário de referência é uma área para referência na memória
Figure BRPI0305432B1_D0023
de imagens PicMem2 em um aparelho de decodificação de imagens. Um armazenamento temporário do pós-decodificador é uma área para exibição na memória de imagens PicMem2 no aparelho de decodificação de imagens. Os números de referência temporal são os números que são atribuídos para as imagens de acordo com a ordem de tempo de exposição e podem ser um equivalente do tempo de imagem Time.
Primeiramente, a explanação começa com o aparelho de decodificação de imagens. O armazenamento temporário virtual de retardo de exposição é usado para limitar o número máximo das imagens de referência usadas para codificação de predição realizada pelo aparelho de codificação de imagens.
A figura 14 mostra o processamento de determinação de uma relação entre o armazenamento temporário virtual de retardo de exposição e o número máximo das imagens de referência de retorno. Cada módulo na figura 14 apresenta um bloco de função ou uma etapa de processamento de uma unidade de determinação de estrutura de imagem PicStruct, uma unidade de controle de imagem de referência RefPicCtrl e uma unidade de controle de imagem de exposição DispPicCtrl. Conforme mostrado no diagrama, o número máximo de imagens de referência permitidas, NR para este perfil e nível é determinado no módulo 401. Esse valor é definido para cada perfil e nível e, assim, o codificador codifica o valor de perfil/ nível, um equivalente de Nr, como informação em um fluxo e um decodificador obtém Nr de acordo com o valor de perfil/ nível no fluxo. O aparelho de codificação de imagens, então, ajusta o número máximo de imagens de referência de retor25 no, Nb, ótimo para codificação de uma seqüência de vídeo no módulo 402. O tamanho do armazenamento temporário virtual de retardo de exposição pode ser determinado com base nesse valor de Nb. Quando o Nb é menor do que 2, o armazenamento temporário virtual de retardo de exposição não é requerido. Contudo, quando Nb é menor do que 2, o armazenamento tempo30 rário virtual de retardo de exposição não é requerido. Contudo, quando Nb é maior do que ou igual a 2, um armazenamento temporário virtual de retardo de exposição, que pode armazenar NB-1 número de imagens é criado no
Figure BRPI0305432B1_D0024
módulo 404. A informação sobre a imagem armazenada no armazenamento temporário virtual de retardo de exposição é retida na memória ou em qualquer registro. Esse armazenamento temporário virtual de retardo de exposição não requer um grande espaço de memória física no aparelho de codifi5 cação de imagens. Isso é porque apenas as descrições das imagens de referência (números de imagens ou semelhantes) para identificação não de toda uma parte da imagem reconstruída (decodificada), mas que imagem reconstruída está armazenada no armazenamento temporário virtual de retardo de exposição uma vez que o julgamento para ver que imagem está armazenada no armazenamento temporário virtual de retardo de exposição para sua exibição a menos que a imagem decodificada pelo aparelho de decodificação de imagens precise ser exibida (saída). Além do armazenamento temporário virtual de retardo de exposição, um contador de exibições é criado no módulo 405 e o valor é retido na memória ou em qualquer registro. O contador de exposições é usado para avaliar se remover uma imagem desnecessária do armazenamento temporário virtual de retardo de exposição. O aparelho de codificação de imagens, então, gera um tamanho da imagem para Nr número de imagens de referência no espaço de memória baseado na definição de perfil e de nível.
Tamanho máximo de armazenamento temporário virtual de retardo de exposição = Nb-1 (1), onde Nb < Nr
A figura 15 mostra o processamento de pós-codificação no aparelho de codificação de imagens, isto é, um processamento de armazena25 mento de uma imagem decodificada após ser codificada (referida como uma imagem codificada ou simplesmente uma imagem) no armazenamento temporário de memória de referência. O módulo no diagrama apresente um bloco de função ou uma etapa de processamento na unidade de controle de imagem de referência RefPicCtrl e na unidade de controle de imagem de exposição DisPicCtrl. Após uma única imagem ser codificada no módulo
501, se a imagem deve ou não ser usada como uma imagem de referência é determinado no módulo 502. Quando a imagem é uma imagem de referên53 to
4 4 4 4 4 4 4 4 4 1 4 4 Ί Λ 4 4 * >11’ 1* «4 « 4 , 4 4 . 4 f 4 τ
4 «4 4 <4 « · 1 Ί Λ · ' *
44 «4 4 ♦ 4 » 4
444 44 14 4« 1 t f 1 ’ 1*1
Figure BRPI0305432B1_D0025
Figure BRPI0305432B1_D0026
cia, o número máximo das imagens de referência possíveis é calculado com base na equação (2).
Nmax = Nr - Fv (2)
Aqui, Nmax apresenta o número máximo das imagens de refe5 rência possíveis, ao passo que NR apresenta o número máximo das imagens de referência permitidas na definição de perfil e nível. Fv apresenta uma totalidade de armazenamento temporário virtual de retardo de exposição, isto é, o número presentemente usado fora do tamanho do armazenamento temporário virtual de retardo de exposição (NB -1).
Quando o número das imagens de referência no armazenamento temporário de imagem de referência é menor do que Nmax, a imagem codificada é reconstruída (decodificada) no módulo 506 e armazenada no armazenamento temporário de imagem de referência no módulo 507. Quando não há espaço suficiente, o aparelho de codificação de imagens retém uma área necessária no armazenamento temporário de imagem de referência através da remoção de certas imagens de referência nãoutilizadas (não mais usadas como imagens de referência) do armazenamento temporário, conforme mostrado não módulo 504. Quando não há imagens de referência não-utilizadas para serem removidas do armazena20 mento temporário, a imagem codificada não é usada como uma imagem de referência. Quando a imagem codificada não é uma imagem de referência, o número de referência temporal da imagem codificada é comparado com aquele indicado no contador de exposições no módulo 505. Quando o número de referência temporal da imagem de não referência é menor do que aquele indicado no contador de exposições, o armazenamento temporário virtual de retardo de exposição é atualizado no módulo 508. No módulo 508, o armazenamento temporário virtual de retardo de exposição remove a imagem tendo o número de referência temporal igual ou antes daquele indicado no contador de exposições e adiciona o número de referência temporal da imagem de não referência corrente no armazenamento temporário. O número das imagens no armazenamento temporário virtual tendo o número de referência temporal menor do que aquele indicado no contador de exposi54 él
Figure BRPI0305432B1_D0027
• · · · · ····· · · ções se torna a totalidade do armazenamento temporário. O contador de exposições começa apenas a operação de atualização com iniciativa quando o número da imagem codificada iguala a NB ou quando o contador de exposições virtual está cheio, não importa que possa ser antes. Após o que, o contador de exposições é atualizado para cada imagem que seja codificada no módulo 509.
A figura 16 mostra o processamento de pós-decodificação no aparelho de decodificação de imagens, isto é, o processamento de armazenamento de uma imagem decodificada pelo aparelho de decodificação de imagens (referido como uma imagem decodificada ou simplesmente uma imagem) no armazenamento temporário de imagem de referência. Os módulos no diagrama mostram os blocos de funções ou as etapas de processamento na unidade de controle de imagem de exposição DispPicCtrl. Uma imagem é decodificada no módulo 601. No módulo 602, o aparelho de deco15 dificação de imagens determina se a imagem precisa ou não ser armazenada como uma imagem de referência. Se a imagem decodificada tiver que ser armazenada como uma imagem de referência, ela é armazenada no armazenamento temporário de imagem de referência no módulo 606, caso contrário, o aparelho de decodificação de imagens examina se é o momento de exibir (sair) essa imagem no módulo 603. Se ainda não tiver chegado o momento para a imagem ser exibida (saída), a imagem é armazenada no armazenamento temporário do pós-decodificador no módulo 604 até o momento de sua exibição. O armazenamento temporário do pós-decodificador e o armazenamento temporário de imagem de referência compartilham fisi25 camente a mesma área da memória. Em outras palavras, cada área da mesma memória pode ser usada como um armazenamento temporário de imagem de referência para algumas ocasiões e como um armazenamento temporário do pós-decodificador para outras ocasiões.
No módulo 605, o aparelho de decodificação de imagens, então, determina uma imagem a ser exibida (saída) do armazenamento temporário de imagem de referência ou do armazenamento temporário do pósdecodificador com base na sincronização de exibição. Uma vez que uma
Figure BRPI0305432B1_D0028
Figure BRPI0305432B1_D0029
imagem do armazenamento temporário do pós-decodificador seja exibida (saída), ela é removida do armazenamento temporário. Por outro lado, uma imagem de referência é para ser removida apenas do armazenamento temporário de imagem de referência ou deslocada para o armazenamento tem5 porário do pós-decodificador, quando o fluxo indica que a imagem de referência não é mais usada para referência.
A figura 17 é um exemplo de um método usando um armazenamento temporário virtual de retardo de exposição para determinar o número máximo de imagens de referência em cada intervalor de imagem. Neste exemplo, o número máximo de imagens de referência permitidas, Nr, será 4. O aparelho de codificação de imagens estabelece o número máximo de imagens de referência, Nb, como sendo 3. Desse modo, o armazenamento temporário virtual de retardo de exposição em que duas imagens são armazenáveis é gerado (a área é mantida). O contador de exposições é usado para armazenamento e atualização do número de referência temporal da imagem a ser exibida (saída) virtualmente. No armazenamento temporário de memória de referência mostrado no diagrama, a área vazia mostra que a área está vazia, a área descrita com seu tipo de imagem e o número mostra que a imagem para referência está armazenada e a área hachurada mostra que a imagem para exibição está armazenada. Também, no armazenamento temporário virtual de retardo de exposição, a área vazia mostra que a área está vazia, a área descrita com seu tipo de imagem e o número mostra que o número de referência temporal da imagem para exibição no armazenamento temporário de memória de referência está armazenada e a área ha25 churada mostra que o armazenamento temporário de memória de referência não tem uma área de armazenamento para a imagem para exibição. O armazenamento temporário virtual de retardo de exposição, cujo número corresponde ao número da área hachurada no armazenamento temporário de memória de referência armazena os números de referência temporal das imagens para exibição.
Conforme mostrado no diagrama, as imagens B2 e B3 são usadas como imagens de referência e, assim, elas são armazenadas no arma56 (cã>
zenamento temporário de memória de referência junto com IO e P4 e o contador de exposições começa a atualização após a imagem B3 ser codificada. No tempo T6, B5 não é usado como uma imagem de referência, porém, isso é porque o número de referência temporal é maior do que aquele indicado no contador de exposições e precisa ser atualizado pelo armazenamento temporário virtual de retardo de exposição. Portanto, a totalidade do armazenamento temporário virtual de retardo de exposição Fv naquele tempo é 1 e o número máximo de imagens de referência possíveis Nmax é 3.
Similarmente, no tempo T7, a imagem B6 precisa ser atualizada pelo armazenamento temporário virtual de retardo de exposição enquanto B5 não pode ser removida ainda devido ao seu número de referência temporal maior do que aquele indicado no contador de exposições. Desse modo, Nmax naquele momento indica 2. A imagem de referência IO tem que ser removida do armazenamento temporário de memória de referência devido à memória insuficiente. B7 naquele momento pode, então, ser predito apenas com o uso de P4 e P8.
A figura 18 mostra um exemplo em que o contador de exposições é primeiramente incrementado usando o armazenamento temporário virtual de retardo de exposição. NR será 5 no exemplo. O aparelho de codifi20 cação de imagens estabelece o número de múltiplas imagens de referência de retorno NB como sendo 3. Desse modo, um armazenamento temporário virtual de retardo de exposição em que duas imagens são armazenáveis é gerado.
Conforme mostrado no diagrama, B1, B2, B3 e B4 não são usa25 das para imagens de referência, ao passo que B7 e B8 são. B1 e B2, portanto, são armazenadas no armazenamento temporário virtual de retardo de exposição no tempo T3 a fim de esperar pela exibição. Uma vez que o armazenamento temporário virtual de retardo de exposição está cheio no tempo T3, o contador de exposições começa a atualização no tempo T3. A ra30 zão pela qual o contador de exposições precisa esperar pelo menos até que o armazenamento temporário virtual de retardo de exposição se torne cheio antes que ele possa iniciar a atualização é que ele precisa lidar com a reor57 • » · · · · ······ · · • · · · · · ····· · · ·· ·· ·· · ·· ···· denação das imagens-B que é provável ocorrer no aparelho de decodificação de imagens.
Conforme mostrado na figura 17, o aparelho de decodificação de imagens algumas vezes usa uma parte do armazenamento temporário de imagem de referência como um armazenamento temporário do pósdecodificador. O aparelho de decodificação de imagens, portanto, opera o armazenamento temporário de imagem de referência com base em um tamanho fixo de memória física do armazenamento temporário de imagem de referência, de modo que partes do armazenamento temporário de imagem de referência são usadas para imagens de referência e o resto é usado como o armazenamento temporário do pós-decodificador. Por exemplo, no tempo T3, todo o armazenamento temporário de imagem de referência é usado para armazenar imagens de referência, ao passo que no tempo T7 apenas duas áreas do armazenamento temporário de imagem de referência são usadas para armazenar as imagens de referência de P4 e P8. O resto é usado para armazenar imagens de pós-decodificador B5 e B6.
O número máximo das imagens de referência a serem usadas no lado do aparelho de decodificação de imagens é definido na definição de perfil e nível para o aparelho de codificação de imagens. O aparelho de co20 dificação de imagens, portanto, pode usar até o número máximo das imagens de referência definidas pelo perfil e pelo nível. Desse modo, é requerido que o aparelho de codificação de imagens controle as imagens de referência e realize a codificação de modo que a mesma operação possa ser realizada (o número de imagens de referência não ultrapassa o valor prede25 terminado) quando o aparelho de decodificação de imagens opera baseado nas condições de restrição.
Similarmente, o aparelho de decodificação de imagens tem o mesmo número de imagens de referência que o aparelho de codificação de imagens. Além disso, espaço de memória adicional é necessário para o ar30 mazenamento temporário do pós-decodificador. O número máximo de imagens do pós-decodificador é definido pela equação (3).
NP = NR -2 (3)
Figure BRPI0305432B1_D0030
Aqui, Np mostra o número máximo de imagens de pós-decodificador enquanto NR mostra o número máximo das imagens de referência definidas pela definição de perfil e nível.
O número máximo de imagens de pós-decodificador será consi5 derado, portanto, no projeto do aparelho de decodificação de imagens de modo que o aparelho de decodificação de imagens está de acordo com a definição de perfil e de nível. O número máximo das imagens de pósdecodificador pode ser calculado com o uso da equação (3) ou especificado na definição de perfil e de nível. Uma vez que o número máximo de imagens de pós-decodificador é especificado na definição de perfil e de nível, o número máximo de imagens de predição de retorno pode ser calculado baseado na equação (4).
Nb = Np + 1 (4)
Aqui Nb apresenta o número máximo de imagens de predição de retorno no armazenamento temporário de imagem de referência.
Na presente concretização, NB mostra as exigências mínimas de memória requeridas pelo aparelho de decodificação de imagens de modo a decodificar um fluxo de acordo com a definição de perfil e de nível.
É possível limitar o número de imagens usadas para predição de retorno a fim de reduzir o número das imagens adicionais do pósdecodificador adicionadas ao armazenamento temporário de imagem de referência pelo lado do aparelho de decodificação de imagens. Por exemplo, quando o número máximo das imagens usadas para predição de retorno está limitado a 2, apenas uma imagem adicional de pós-decodificador preci25 sa ser adicionada ao armazenamento temporário de imagem de referência, que pode impedir a alocação de espaço de memória física desnecessário para as imagens do pós-decodificador no lado do aparelho de decodificação de imagens.
Sétima Concretização
Além disso, é possível realizar facilmente o processamento mostrado nas concretizações acima em um sistema de computação independente através do registro de um programa para realização do método de • · · · · · • · · · ·· ·· ·· codificação de imagens e do método de decodificação de imagens mostrado nas concretizações mencionadas acima no meio de armazenamento, tal como um disco flexível.
A figura 19 é uma ilustração para realização do método de codi5 ficação/ decodificação de imagem das concretizações acima, usando um programa registrado em um meio de armazenamento como um disco flexível.
A figura 19B mostra uma aparência total de um disco flexível, sua estrutura em corte transversal e o próprio disco flexível, ao passo que a figura 19A mostra um exemplo de um formato físico do disco flexível como um corpo principal de um meio de armazenamento. Um disco flexível FD1 está contido em uma caixa F, uma pluralidade de trilhas Tr são formadas concentricamente da periferia para o interior na superfície do disco e cada trilha é dividida em 16 setores Se na direção angular. Portanto, como para o disco flexível que armazena o programa mencionado acima, dados como o programa antes mencionado são armazenados em uma área atribuída para os mesmos no disco flexível FD1.
A figura 19C mostra uma estrutura para registrar e ler o programa no disco flexível FD1. Quando o programa é gravado no disco flexível FD1, o sistema de computação Cs escreve dados como o programa através de um mecanismo de disco flexível FDD. Quando o método de decodificação de imagens e o método de decodificação de imagens para realização do método de codificação de imagens e o método de decodificação de imagens como o programa no disco flexível são construídos no sistema de computação, o programa é lido do disco flexível pelo mecanismo de disco flexível
FDD e, então, transferido para o sistema de computação Cs.
A explanação acima é feita na suposição de que um meio de armazenamento é um disco flexível, mas o mesmo processamento também pode ser realizado usando um disco ótico. Além disso, o meio de armazenamento não está limitado a um disco flexível e um disco ótico, mas qual30 quer outro meio, tal como um cartão de Cl e um cassete ROM, capaz de registrar um programa pode ser usado.
Figure BRPI0305432B1_D0031
(οΎ ·· ···· ·· ····· • · · · · · · • · ·· ······ • * · · · ····· ··· ·· «· ·· ·· «
Oitava Concretização
O seguinte é uma explanação das aplicações do método de codificação de imagens bem como do método de decodificação de imagens, conforme mostrado nas concretizações mencionadas acima, e um sistema usando os mesmos.
A figura 20 é um diagrama em blocos mostrando uma configuração global de um sistema de abastecimento de conteúdo ex100 para realizar o serviço de distribuição de conteúdo. A área para fornecimento de serviço de comunicação é dividida em células do tamanho desejado e sites celulares ex107 ~ ex110, que são estações sem fio fixas, são colocados em respectivas células.
Esse sistema de abastecimento de conteúdo ex100 é conectado a dispositivos, tais como Internet ex101, um provedor de serviços da Internet ex102, uma rede telefônica ex104, bem como um computador ex111, um
PDA (Assistente Pessoal Digital) ex112, uma câmera ex113, um telefone celular ex114 e um telefone celular com uma câmera ex115 através dos sites celulares ex107 ~ex110.
Contudo, o sistema de abastecimento de conteúdo ex100 não está limitado à configuração conforme mostrado na figura 20 e pode ser co20 nectado a uma combinação de qualquer um deles. Também, cada dispositivo pode ser conectado diretamente à rede telefônica ex104, não através dos locais das células ex107 ~ ex110.
A câmera ex113 é um dispositivo capaz de filmar vídeo, tal como uma câmera de vídeo digital. O telefone celular ex114 pode ser um telefone celular de qualquer um dos seguintes sistemas: um sistema PDC (Personal Digital Communications - Comunicações Pessoais Digitais), um sistema CDMA (Code Division Multiple Acess - Acesso Múltiplo por Divisão de Código), um sistema W-CDMA (Wideband-Code Division Multiple Access - Acesso Múltiplo por Divisão de Código de Banda Larga) ou um sistema GSM (Global System for Mobile Communications - Sistema Global para Comunicações Móveis), um PHS (Personal Handyphone System - Sistema Pessoal de Telefone Portátil) ou semelhantes.
Figure BRPI0305432B1_D0032
Figure BRPI0305432B1_D0033
Um servidor de streaming ex103 é conectado à câmera ex113 através da rede telefônica ex104 e também e do site celular ex109, que realiza uma distribuição ao vivo ou semelhante usando a câmera ex113 com base nos dados codificados transmitidos do usuário. Ou a câmera ex113 ou o servidor que transmite os dados podem codificar os dados. Também, os dados de imagem enviados por uma câmera ex116 podem ser transmitidos para o servidor de streaming ex103 através do computador ex111. Nesse caso, a câmera ex116 ou o computador ex111 podem codificar os dados de imagem. Uma LSI ex117 incluída no computador ex111 ou a câmera ex116 realizam, realmente, o processamento de codificação. O software para codificação e decodificação de imagens pode ser integrado em qualquer tipo de meio de armazenamento (tal como um CD-ROM, um disco flexível e um disco rígido) que é um meio de registro que é legível pelo computador ex111 ou semelhantes. Além disso, um telefone celular com uma câmera ex115 pode transmitir os dados de imagem. Esses dados de imagem são os dados codificados pela LSI incluída no telefone celular ex115.
O sistema de abastecimento de conteúdo ex100 codifica os conteúdos (tais como um vídeo de música ao vivo) filmado por um usuário utilizando a câmera ex113, a câmera ex116 ou semelhante da mesma ma20 neira como mostrado nas concretizações mencionadas acima e os transmite para o servidor de streaming ex103, ao mesmo tempo em que o servidor de streaming ex103 faz a distribuição de fluxo dos dados de conteúdos para os clientes a seu pedido. Os clientes incluem o computador ex111, o PDA ex112, a câmera ex113, o telefone celular ex114 e assim por diante, capa25 zes de decodificar os dados codificados mencionados acima. No sistema de abastecimento de conteúdo ex100, os clientes podem, assim, receber e reproduzir os dados codificados e podem ainda receber, decodificar e reproduzir os dados em tempo real de modo a realizar difusão pessoal.
Quando cada dispositivo nesse sistema realiza a codificação ou a decodificação, o método de codificação de imagens ou o método de decodificação de imagens mostrados nas concretizações mencionadas acima podem ser usados.
Um telefone celular será explicado como um exemplo do dispositivo.
A figura 21 é um diagrama mostrando o telefone celular ex115 usando o método de codificação de imagem e o método de decodificação de imagem explicado nas concretizações acima mencionadas. O telefone celular ex115 tem uma antena ex201 para comunicação com o site celular ex110 através de ondas de rádio, uma unidade de câmera ex203, tal como uma câmera CCD capaz de filmar imagens em movimento e fixas, uma unidade de exposição ex202, tal como um visor de cristal líquido, para exposição dos dados, como imagens decodificadas e semelhantes, filmadas pela unidade de câmera ex203 ou recebidas pela antena ex201, uma unidade de corpo incluindo um conjunto de teclas de operação ex204, uma umidade de saída de audio ex208 tal como um alto falante para saída de som, uma unidade de entrada de áudio ex205, tal como um microfone para entrada de áudio, um meio de armazenamento ex207 para armazenamento de dados codificados ou decodificados, tais como dados de imagens em movimento ou fixas feitas pela câmera, dados de e-mails recebidos e os de imagens em movimento ou fixas e uma unidade de slot ex206 para anexação do meio de armazenamento ex207 ao telefone celular ex115. O meio de armazenamento ex207 armazena em si um elemento de memória flash, uma espécie de EEPROM (Electrically Erasable and Programmable Read Only Memory - Memória de Leitura Somente Eletricamente Apagável e Programável) que é uma memória não volátil eletricamente apagável e possível de ser reescrita em uma caixa plástica, tal como um cartão SD ou semelhante.
A seguir, o telefone celular ex115 será explicado com referência à figura 22. No telefone celular ex115, uma unidade de controle principal ex311, projetada a fim de controlar globalmente cada unidade do corpo principal, que contém a unidade de exposição ex202 bem como as teclas de operação ex204, é conectada mutuamente a uma unidade de circuito de abastecimento de energia ex310, uma unidade de controle de entrada de operação ex304, uma unidade de codificação de imagens ex312, uma unidade de interface de câmera ex303, uma unidade de controle de LCD (Liquid
Ο
Figure BRPI0305432B1_D0034
··· ·· ·· ·· ·· · ·· ····
Crystal Display - Visor de Cristal Líquido) ex302, uma unidade de decodificação de imagens ex309, uma unidade de multiplexação/ demultiplexação ex308, uma unidade de leitura/escrita ex307, uma unidade de circuito de modem ex306 e uma unidade de processamento de áudio ex305 através de um barramento síncrono ex313.
Quando uma tecla de fim de chamada ou uma tecla de acionamento é LIGADA por uma operação do usuário, a unidade de circuito de abastecimento de energia ex310 dota as respectivas unidades de energia de uma bateria de reserva de modo a ativar a câmera anexada ao telefone ce10 lular digital ex115 como um estado de pronto.
No telefone celular ex115, a unidade de processamento de áudio ex305 converte os sinais de áudio recebidos pela unidade de entrada de áudio ex205 no modo de conversão em dados de áudio digitais sob o controle da unidade de controle principal ex311, incluindo uma CPU, ROM e RAM, a unidade de circuito de modem ex306 realiza processamento de espectro de dispersão dos dados de áudio digitais e a unidade de circuito de comunicação ex301 realiza conversão de digital para analógico e transformação de freqüência dos dados, de modo a transmiti-los através da antena ex201. Também, no telefone celular ex115, a unidade de circuito de comunicação ex301 amplifica os dados recebidos pela antena ex201 no modo de conversação e realiza transformação de freqüência e conversão de analógico para digital nos dados, a unidade de compensação de movimento MC ex306 realiza processamento inverso de espectro de dispersão dos dados e a unidade de processamento de áudio ex305 converte-os em dados de áudio analógi25 cos, de modo a fazê-los sair através da unidade de saída de áudio ex208.
Além disso, quando da transmissão de um e-mail no modo de comunicação de dados, os dados de texto do e-mail introduzido pela operação das teclas de operação ex204 do corpo principal são enviados para a unidade de controle principal ex311 através da unidade de controle de en30 trada de operação ex306 realiza processamento de espectro de dispersão dos dados de texto e a unidade de circuito de comunicação ex301 realiza a conversão de digital para analógico e transformação de freqüência para os
7ΐ
Figure BRPI0305432B1_D0035
·«· ·« ·· ·· ·· dados de texto, os dados são transmitidos para o site celular ex110 através da antena ex201.
Quando os dados de imagem são transmitidos no modo de comunicação de dados, os dados de imagem feitos pela unidade de câmera ex203 são fornecidos para a unidade de codificação de imagens ex312 através da unidade de interface de câmera ex303. Quando não são transmitidos, também é possível exibir os dados de imagem feitos pela unidade de câmera ex203 diretamente na unidade de exposição ex202 através da unidade de interface de câmera ex303 e da unidade de controle de LCD ex302.
A unidade de codificação de imagens ex312, que inclui o aparelho de codificação de imagens, como explicado na presente invenção, comprime e codifica os dados de imagem fornecidos da unidade de câmera ex203 pelo método de codificação usado para o aparelho de codificação de imagens, conforme mostrado na primeira concretização mencionada acima, de modo a transformá-los em dados de imagem codificados e os envia para a unidade de multiplexação/ demultiplexação ex308. Nesse momento, o telefone celular ex115 envia o áudio recebido pela unidade de entrada de áudio ex205, durante a filmagem com a unidade de câmera ex203, para a unidade de multiplexação/ demultiplexação ex308 como dados de áudio digitais através da unidade de processamento de áudio ex305.
A unidade de multiplexação/ demultiplexação ex308 multiplexa os dados de imagem codificada fornecidos da unidade de codificação de imagens ex312 e os dados de áudio fornecidos da unidade de processamento de áudio ex305, usando um método predeterminado, então, a unida25 de de circuito de modem ex306 realiza o processamento de espectro de dispersão dos dados multiplexados obtidos como um resultado da multiplexação e, finalmente, a unidade de circuito de comunicação ex301 realiza conversão de digital para analógico e transformação de freqüência dos dados para a transmissão através da antena ex201.
Como para o recebimento de dados de um arquivo de imagens em movimento, que é ligado a uma página da Web ou semelhante, no modo de comunicação de dados, a unidade de circuito de modem ex306 realiza
Figure BRPI0305432B1_D0036
processamento inverso de espectro de dispersão dos dados recebidos do site celular ex110 através da antena ex201 e envia os dados multiplexados obtidos como um resultado do processamento inverso de espectro de dispersão.
A fim de decodificar os dados multiplexados recebidos através da antena ex201, a unidade de multiplexação/ demultiplexação ex308 separa os dados multiplexados em um fluxo codificado de dados de imagem e aqueles dos dados de áudio e fornece os dados de imagem codificados para a unidade de decodificação de imagens ex309 e os dados de áudio para a unidade de processamento de áudio ex305 respectivamente através do barramento síncrono ex313.
A seguir, a unidade de decodificação de imagens ex309, incluindo o aparelho de decodificação de imagens como explicado na invenção mencionada acima, decodifica o fluxo codificado de dados de imagem usan15 do o método de decodificação correspondente ao método de codificação, conforme mostrado nas concretizações mencionadas acima para gerar dados de imagem em movimento reproduzidos e fornece esses dados para a unidade de exposição ex202 através da unidade de controle de LCD ex302 e, desse modo, os dados de imagem incluídos no arquivo de imagens em movimento ligado a uma página da Web, por exemplo, são exibidos. Ao mesmo tempo, a unidade de processamento de áudio ex305 converte os dados de áudio em dados de áudio analógicos e fornece esses dados à unidade de saída de áudio ex208 e, desse modo, os dados de áudio incluídos no arquivo de imagens em movimento ligado a uma página da Web, por exemplo, são reproduzidos.
A presente invenção não está limitada ao sistema mencionado acima, como tal, a difusão digital por satélite ou baseada em terra tem estado nos noticiários ultimamente e pelo menos o aparelho de codificação de imagens ou o aparelho de decodificação de imagens descritos nas concreti30 zações mencionadas acima podem ser incorporados em um sistema de difusão digital, conforme mostrado na figura 23. Mais especificamente, um fluxo codificado de informação de vídeo é transmitido de uma estação de difusão
Figure BRPI0305432B1_D0037
Figure BRPI0305432B1_D0038
Ύ3 ex409 para ou comunicado com um satélite de difusão ex410 através de ondas de rádio. Com o recebimento do mesmo, o satélite de difusão ex410 transmite ondas de rádio para difusão. Então, uma antena de uso doméstico ex406 com uma função de recepção de difusão por satélite recebe as ondas de rádio e uma televisão (receptor) ex401 ou uma set top box” (STB) ex407 decodifica o fluxo codificado para reprodução. O aparelho de decodificação de imagens conforme mostrado na concretização mencionada acima pode ser implementado em um aparelho de reprodução ex403 para leitura e decodificação do fluxo codificado registrado em um meio de armazenamento ex402 que é um meio de registro, tal como CD e DVD. Nesse caso, os sinais de vídeo reproduzidos são exibidos em um monitor ex404. Também é concebível implementar o aparelho de decodificação de imagens na set top box ex407 conectada a um cabo ex405 para uma televisão a cabo ou à antena ex406 para difusão por satélite e/ ou baseada em terra, de modo a reproduzi-los em um monitor ex408 da televisão ex401. O aparelho de decodificação de imagens pode ser incorporado na televisão, não na set top box. Também, um carro ex412 tendo uma antena ex411 pode receber sinais do satélite ex410 ou o site celular ex107 para reprodução de imagens em movimento em um dispositivo de exibição, tal como um sistema de na20 vegação em carro ex413 colocado no carro ex412.
Além disso, o aparelho de codificação de imagens, conforme mostrado nas concretizações mencionadas acima, pode codificar sinais de imagem e gravá-los em um meio de registro. Como um exemplo concreto, um gravador ex420 tal como um gravador de DVD para gravar sinais de imagem em um disco de DVD ex421, um gravador de disco para gravá-los em um disco rígido ou semelhantes podem ser citados. Eles podem ser gravados em um cartão de SD ex422. Se o gravador ex420 inclui o aparelho de decodificação de imagens, conforme mostrado nas concretizações mencionadas acima, os sinais de imagem gravados no disco de DVD ex421 ou no cartão de SD ex422 podem ser reproduzidos para exibição no monitor ex408.
Como para a estrutura do sistema de navegação em carro
Figure BRPI0305432B1_D0039
ex413, a estrutura sem a unidade de câmera ex203, a unidade de interface de câmera ex303 e a unidade de codificação de imagens ex312, fora dos componentes mostrados na figura 22, por exemplo, é concebível. O mesmo se aplica para o computador ex111, a televisão (receptor) ex401 e outros.
Além disso, três tipos de implementações podem ser concebidos para um terminal, tal como o telefone celular mencionado acima ex114; um terminal de envio/ recebimento implementado com um codificador e um decodificador, um terminal de envio, implementado com um codificador apenas, e um terminal de recebimento implementado com um decodificador apenas.
Como descrito acima, é possível usar o método de codificação de imagens ou o método de decodificação de imagens descritos nas concretizações mencionadas acima para qualquer um dos dispositivos e sistemas mencionados acima e, assim fazendo, os efeitos descritos nas concretiza15 ções mencionadas acima podem ser obtidos. Também, a presente invenção não está limitada às concretizações mencionadas acima e uma ampla faixa de variações ou modificações dentro do escopo das reivindicações a seguir são possíveis.
Na presente concretização, o termo exibir significa sair após reordenar a ordem das imagens em uma ordem de exposição. A saber, um processo para sair uma imagem decodificada para um dispositivo de exibição é descrito como exibição. Uma operação de saída da imagem decodificada a fim de gravá-la em outro dispositivo de registro, por exemplo, se aplica a esse uso especial de exibição. Quando o dispositivo de exibição tem uma memória de imagens, é possível transmitir a imagem decodificada para o dispositivo de exibição antes do momento real de exibição. Aplicabilidade Industrial
A presente invenção é usada para um aparelho de codificação de imagens para codificar uma imagem através de uma codificação de pre30 dição com referência a uma imagem decodificada armazenada em um armazenamento temporário de imagem decodificada, decodificação da imagem codificada e armazenamento da imagem decodificada no armazena>6 «; ft »
Β I» © t r »'·© β
© · © · *v O O «- ♦ » ©©«·©» «««« ··>
neo «»«t« © «t»« ft ο η o © ftttnoftt t* o nn o ©© · © « e c © « * n · ©o «o © · © ©» © © «» ©.· *» v* v> © © »· © © © © mento temporário de imagem decodificada e um aparelho de codificação de imagens para decodificação da imagem codificada por codificação de predição com referência a uma imagem decodificada armazenada em um armazenamento temporário de imagem decodificada e armazenamento da ima5 gem decodificada no armazenamento temporário de imagem decodificada.

Claims (10)

  1. REIVINDICAÇÕES
    1. Método de decodificação para decodificar um sinal de imagem codificado preditivamente de um sinal de imagem em movimento composto por uma pluralidade de imagens, o dito sinal de imagem codificado incluindo
    5 uma imagem codificada que é referida na codificação preditiva por uma imagem anterior em uma ordem de exibição predeterminada para exibir as imagens decodificadas, o método compreendendo as etapas de:
    decodificar o sinal de imagem codificada para obter uma imagem decodificada;
    10 determinar (602) se a imagem decodificada é uma imagem de referência ou uma imagem de não referência, com base no sinal de imagem codificado, uma imagem de referência sendo uma imagem que é referida na codificação preditiva por outra imagem, e uma imagem de não referência sendo uma imagem que não é referida na codificação preditiva por outra
    15 imagem; e armazenar (606), no caso onde a imagem decodificada é uma imagem de referência, a imagem decodificada em um armazenador temporário;
    caracterizado pelo fato de que compreende ainda:
    20 julgar (603), no caso em que a imagem decodificada é uma imagem de não referência, se a imagem de não referência decodificada pode ou não ser exibida, de acordo com a dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamento temporário, e
    25 armazenar (604), no caso de a imagem de não referência decodificada não poder ser exibida, de acordo com a dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamento temporário, a imagem de não referência decodificada no armazenamento temporário sem gerar como saída a imagem de
    30 não referência decodificada.
  2. 2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que quando o armazenamento temporário não possui um espaço
    Petição 870170055927, de 04/08/2017, pág. 7/42 vazio para a imagem de não referência decodificada, a imagem de não referência decodificada é armazenada no armazenamento temporário depois de obter um espaço vazio removendo a imagem decodificada armazenada no armazenamento temporário com a primeira ordem de exibição e não é para
    5 ser usada como referência após a decodificação da imagem de não referência decodificada.
  3. 3. Método de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que compreende ainda fornecer para exibição um dentre:
    (i) a imagem de não referência decodificada no caso em que a
    10 imagem de não referência decodificada pode ser exibida, de acordo com a dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamento temporário; e (ii) pelo menos uma outra imagem decodificada armazenada no armazenamento temporário no caso em que a imagem de não referência
    15 decodificada não poder ser exibida, de acordo com a dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamento temporário.
  4. 4. Método de acordo com qualquer uma das reivindicações 1 a
    3, caracterizado pelo fato de que compreende ainda gerar como saída pelo
    20 menos uma outra imagem decodificada armazenada no armazenamento temporário no caso em que a imagem decodificada é uma imagem de referência.
  5. 5. Método, de acordo com qualquer uma das reivindicações 1 a
    4, caracterizado pelo fato de que a imagem de não referência decodificada é
    25 uma imagem decodificada usando a imagem de referência armazenada armazenamento temporário.
  6. 6. Aparelho de decodificação configurado para decodificar um sinal de imagem codificado de forma preditiva de um sinal de imagem em movimento composto por uma pluralidade de imagens, o dito sinal de ima30 gem codificado incluindo uma imagem codificada referida na codificação preditiva por uma imagem anterior em uma ordem de exibição predeterminada para exibir as imagens decodificadas, compreendendo:
    Petição 870170055927, de 04/08/2017, pág. 8/42 uma unidade de decodificação (VLD) operável para decodificar o sinal de imagem codificado para obter uma imagem decodificada;
    uma unidade de decisão (DispPicCtrl) operável para decidir se a imagem decodificada é uma imagem de referência ou uma imagem de não
    5 referência com base no sinal de imagem codificada, uma imagem de referência sendo uma imagem que é referida na codificação preditiva por outra imagem e uma imagem de não referência sendo uma imagem que não é referida na codificação preditiva por outra imagem;
    um armazenamento temporário (PicMem2) operável para arma10 zenar a imagem decodificada;
    uma unidade de armazenamento (PicMem2) operável para armazenar, no caso de a imagem decodificada ser uma imagem de referência, a imagem decodificada no armazenamento temporário;
    caracterizado pelo fato de que compreende ainda:
    15 uma unidade de julgamento (DispPicCtrl) operável para julgar, no caso em que a imagem decodificada ser uma imagem de não referência, independentemente de a imagem de não referência decodificada poder ser exibida, de acordo com a dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamen20 to temporário; e a unidade de armazenamento (PicMem2) sendo ainda operável para armazenar, no caso em que a imagem de não referência decodificada não pode ser exibida, de acordo com a dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no
    25 armazenamento temporário, a imagem de não referência decodificada no armazenamento temporário sem gerar como saída a imagem de não referência decodificada.
  7. 7. Aparelho de acordo com a reivindicação 6, caracterizado pelo fato de que no caso do armazenamento temporário não ter um espaço vazio
    30 para a imagem de não referência decodificada, a imagem de não referência decodificada é armazenada no armazenamento temporário depois de obter um espaço vazio removendo a imagem decodificada armazenada no armaPetição 870170055927, de 04/08/2017, pág. 9/42 zenamento temporário com a primeira ordem de exibição e não deve ser usada para referência após a decodificação da imagem de não referência decodificada.
  8. 8. Aparelho de decodificação de acordo com a reivindicação 6 5 ou 7, caracterizado pelo fato de que compreende ainda:
    uma unidade de saída (Sel) operável para gerar como saída para exibição um dentre:
    (i) a imagem de não referência decodificada no caso em que a imagem de não referência decodificada poder ser exibida, de acordo com a
    10 dita ordem de exibição predeterminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamento temporário, e (ii) pelo menos uma imagem decodificada armazenada no armazenamento temporário no caso em que a imagem de não referência decodificada não poder ser exibida, de acordo com a dita ordem de exibição prede15 terminada, antes de todas as imagens decodificadas atualmente armazenadas no armazenamento temporário.
  9. 9. Aparelho de decodificação de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo fato de que compreende ainda uma unidade de saída (Sel) operável para produzir pelo menos uma imagem de20 codificada armazenada no armazenamento temporário no caso de a imagem decodificada ser uma imagem de referência.
  10. 10. Aparelho de decodificação de acordo com qualquer uma das reivindicações 6 a 9, caracterizado pelo fato de que a imagem de não referência decodificada é uma imagem decodificada usando a imagem de refe25 rência armazenada no armazenamento temporário.
    Petição 870170055927, de 04/08/2017, pág. 10/42
    1/28
    Petição 870180006225, de 24/01/2018, pág. 5/35
    2/28
    Petição 870180006225, de 24/01/2018, pág. 6/35
    3/28
    Tamanho da imagem PÍCSlZG
    Petição 870180006225, de 24/01/2018, pág. 7/35
    4/28
BRPI0305432-2A 2002-07-11 2003-07-07 “Método e aparelho de decodificação para decodificar um sinal de imagem codificado preditivamente” BRPI0305432B1 (pt)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2002202781 2002-07-11
JP2002-202781 2002-07-11
JP2002207681 2002-07-17
JP2002-207681 2002-07-17
JP2003006198 2003-01-14
JP2003-006198 2003-01-14
PCT/JP2003/008576 WO2004008774A1 (ja) 2002-07-11 2003-07-07 画像符号化方法及び画像復号化方法

Publications (1)

Publication Number Publication Date
BRPI0305432B1 true BRPI0305432B1 (pt) 2018-07-03

Family

ID=30118918

Family Applications (2)

Application Number Title Priority Date Filing Date
BRPI0305432-2A BRPI0305432B1 (pt) 2002-07-11 2003-07-07 “Método e aparelho de decodificação para decodificar um sinal de imagem codificado preditivamente”
BR0305432A BR0305432A (pt) 2002-07-11 2003-07-07 Método de codificação de imagem e método de decodificação de imagem

Family Applications After (1)

Application Number Title Priority Date Filing Date
BR0305432A BR0305432A (pt) 2002-07-11 2003-07-07 Método de codificação de imagem e método de decodificação de imagem

Country Status (18)

Country Link
US (12) US7206347B2 (pt)
EP (5) EP1406451B1 (pt)
JP (8) JP4651685B2 (pt)
KR (3) KR100959969B1 (pt)
CN (2) CN100361535C (pt)
AT (4) ATE413067T1 (pt)
AU (1) AU2003281129B2 (pt)
BR (2) BRPI0305432B1 (pt)
CA (1) CA2460471C (pt)
DE (3) DE60329427D1 (pt)
DK (3) DK2278816T3 (pt)
ES (4) ES2330555T3 (pt)
MX (1) MXPA04001979A (pt)
MY (1) MY135048A (pt)
PT (2) PT1742479E (pt)
SI (2) SI1406451T1 (pt)
TW (10) TWI379595B (pt)
WO (1) WO2004008774A1 (pt)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339955B2 (en) * 2000-09-25 2008-03-04 Pulse-Link, Inc. TDMA communication method and apparatus using cyclic spreading codes
KR100951485B1 (ko) 2001-11-06 2010-04-07 파나소닉 주식회사 동화상 부호화 방법 및 장치와 동화상 복호화 방법 및 장치
ATE413067T1 (de) * 2002-07-11 2008-11-15 Matsushita Electric Ind Co Ltd Virtuelles anzeigepufferverfahren zur decodierung von h.264 prediktion bildern.
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
TWI289997B (en) * 2004-12-02 2007-11-11 Sony Corp Encoding device, method, and program
BRPI0606627A2 (pt) * 2005-01-19 2009-07-07 Thomson Licensing método e aparelho para codificação paralela em tempo real
US8498340B2 (en) * 2006-04-04 2013-07-30 Himax Technologies Limited Method and device for decoding and displaying video frames
US7949054B2 (en) * 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
US8559510B2 (en) * 2006-08-10 2013-10-15 Canon Kabushiki Kaisha Image decoding apparatus
JP2008124772A (ja) * 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN102118537B (zh) * 2009-12-31 2015-04-15 深圳富泰宏精密工业有限公司 图片错误隐藏系统及方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9491483B2 (en) * 2010-04-16 2016-11-08 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP5919564B2 (ja) * 2011-03-10 2016-05-18 パナソニックＩｐマネジメント株式会社 映像処理装置及びそれを用いた映像表示装置、並びに同期信号出力方法
RU2595562C2 (ru) 2011-06-30 2016-08-27 Телефонактиеболагет Л М Эрикссон (Пабл) Сигнализация опорных изображений
DK2755389T3 (en) * 2011-09-09 2019-04-01 Lg Electronics Inc Method of inter prediction and arrangement thereof
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10200708B2 (en) 2011-11-30 2019-02-05 Qualcomm Incorporated Sequence level information for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9565432B2 (en) 2012-04-23 2017-02-07 Lg Electronics Inc. Video-encoding method, video-decoding method, and apparatus implementing same
CN103389879B (zh) * 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
JP6182718B2 (ja) 2012-06-29 2017-08-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 復号装置および復号方法
US20160041996A1 (en) 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
WO2015180139A1 (zh) * 2014-05-30 2015-12-03 富士通株式会社 图像编码方法、装置以及图像处理设备
KR102015522B1 (ko) * 2015-08-25 2019-08-28 카와사키 주코교 카부시키 카이샤 로봇시스템과 그 운전방법
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6230376A (ja) 1985-07-31 1987-02-09 Fujitsu Ltd 薄膜トランジスタの製造方法
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
JP3189257B2 (ja) * 1992-05-21 2001-07-16 ソニー株式会社 画像符号器
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5892882A (en) 1994-03-23 1999-04-06 Pioneer Electronic Corporation Moving picture decoding device having a compressed picture data memory
US6009231A (en) * 1994-09-05 1999-12-28 Sony Corporation Reproduction of information using a ring buffer with read and write pointers separated from each other by substantially half of the total ring buffer capacity
TW330263B (en) * 1994-10-12 1998-04-21 Winbond Electronics Corp Digital video decoding system and method
JP3694912B2 (ja) 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
TW257848B (en) * 1995-04-19 1995-09-21 Silicon Integrated Sys Corp Adaptive display memory management system and method thereof
WO1997004598A1 (en) * 1995-07-21 1997-02-06 Hitachi, Ltd. Device for decoding encoded video signal and storing and decoding device using it
KR970707686A (ko) 1995-09-20 1997-12-01 요트. 게. 아. 롤페즈 부호화된 디지털 비디오 신호 디코딩 방법 및 장치(Method and device for decoding coded video signals)
US5764921A (en) * 1995-10-26 1998-06-09 Motorola Method, device and microprocessor for selectively compressing video frames of a motion compensated prediction-based video codec
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
AU1041097A (en) * 1996-03-19 1997-10-10 Mitsubishi Denki Kabushiki Kaisha Encoder, decoder and methods used therefor
JPH1013841A (ja) * 1996-06-20 1998-01-16 Oki Electric Ind Co Ltd 画像復号方法および画像復号装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6104752A (en) 1996-10-01 2000-08-15 Victor Company Of Japan, Ltd. Apparatus and method of decoding high efficiency coded picture data with picture size resizing
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6002438A (en) * 1996-10-25 1999-12-14 Texas Instruments Incorporated Method and apparatus for storing decoded video information
JP3599942B2 (ja) * 1997-02-13 2004-12-08 三洋電機株式会社 動画像符号化方法、及び動画像符号化装置
JPH10257499A (ja) 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 動画像符号化装置および方法
JPH10322643A (ja) 1997-03-19 1998-12-04 Fujitsu Ltd 画像データ処理方法及び装置
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
DE19727542A1 (de) * 1997-06-28 1999-01-07 Thomson Brandt Gmbh Verfahren zur Regenerierung der Originaldaten eines digital codierten Videofilms und Vorrichtung zur Durchführung des Verfahrens
JPH1141605A (ja) 1997-07-17 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像復号装置
JP4010024B2 (ja) * 1997-09-02 2007-11-21 ソニー株式会社 圧縮動画像信号のデコード装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6959045B2 (en) * 1997-12-30 2005-10-25 Mediatek, Inc. Reduced cost decoder using bitstream editing for image cropping
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
KR100284696B1 (ko) * 1998-06-29 2001-03-15 윤종용 Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치
JP2000050272A (ja) * 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
JP2000059794A (ja) 1998-08-14 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化データ作成方法，そのプログラム記憶媒体，画像符号化データ作成装置，画像通信方法および画像通信システム
US6243140B1 (en) 1998-08-24 2001-06-05 Hitachi America, Ltd Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US6490324B1 (en) * 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
JP2000232649A (ja) 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
JP2000324484A (ja) 1999-05-13 2000-11-24 Hitachi Ltd 画像データ処理装置
JP2001094941A (ja) * 1999-09-27 2001-04-06 Matsushita Electric Ind Co Ltd 圧縮画像処理装置及び圧縮画像処理方法
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
JP2001223987A (ja) * 1999-11-11 2001-08-17 Matsushita Electric Ind Co Ltd メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
US6697426B1 (en) 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
EP1156674A1 (en) * 2000-05-19 2001-11-21 THOMSON multimedia Method and device for decoding a video data stream in special reproduction modes
US20030012284A1 (en) 2000-12-20 2003-01-16 Masahiro Kazayama Method and apparatus for decoding motion video game
US6680973B2 (en) * 2001-03-29 2004-01-20 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder with selective motion compensation
JP2003274412A (ja) * 2002-03-14 2003-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
ATE413067T1 (de) * 2002-07-11 2008-11-15 Matsushita Electric Ind Co Ltd Virtuelles anzeigepufferverfahren zur decodierung von h.264 prediktion bildern.
EP1422946A4 (en) * 2002-07-26 2008-04-02 Matsushita Electric Ind Co Ltd MOVING IMAGE PROCEDURE, MOVABLE IMAGE DECODING METHOD AND RECORD MEDIUM
JP3554729B2 (ja) * 2002-07-30 2004-08-18 沖電気工業株式会社 画像処理装置
KR100543453B1 (ko) * 2003-04-24 2006-01-23 삼성전자주식회사 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP4281720B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP5328329B2 (ja) 2008-12-10 2013-10-30 キヤノン株式会社 インクジェット記録装置

Also Published As

Publication number Publication date
KR100961036B1 (ko) 2010-06-01
DE60310842T2 (de) 2007-10-11
TW200401568A (en) 2004-01-16
US9088782B2 (en) 2015-07-21
ES2330555T3 (es) 2009-12-11
JP5602294B2 (ja) 2014-10-08
US20140133561A1 (en) 2014-05-15
US7995658B2 (en) 2011-08-09
TWI379595B (en) 2012-12-11
JP5037657B2 (ja) 2012-10-03
EP2278816A3 (en) 2011-09-21
KR20080073781A (ko) 2008-08-11
EP1742480A3 (en) 2007-02-28
DK1406451T3 (da) 2007-02-05
JP2009153175A (ja) 2009-07-09
US8660192B2 (en) 2014-02-25
EP2053863A1 (en) 2009-04-29
CA2460471A1 (en) 2004-01-22
US9088783B2 (en) 2015-07-21
ATE548856T1 (de) 2012-03-15
EP1742479A2 (en) 2007-01-10
DE60310842D1 (de) 2007-02-15
US20050058206A1 (en) 2005-03-17
TWI573446B (zh) 2017-03-01
PT2278816E (pt) 2013-05-10
US20150262324A1 (en) 2015-09-17
US20080056379A1 (en) 2008-03-06
MXPA04001979A (es) 2004-08-02
TWI638565B (zh) 2018-10-11
KR20080073367A (ko) 2008-08-08
DE60324480D1 (de) 2008-12-11
KR100959969B1 (ko) 2010-05-27
TWI575946B (zh) 2017-03-21
MY135048A (en) 2008-01-31
US9088781B2 (en) 2015-07-21
BR0305432A (pt) 2004-09-28
TWI492636B (zh) 2015-07-11
EP1406451B1 (en) 2007-01-03
EP2053863B1 (en) 2012-03-07
US7206347B2 (en) 2007-04-17
JP2012124949A (ja) 2012-06-28
US20120213287A1 (en) 2012-08-23
KR20050018795A (ko) 2005-02-28
EP1742479B1 (en) 2009-09-23
US8073059B2 (en) 2011-12-06
TW200723890A (en) 2007-06-16
TW201720167A (zh) 2017-06-01
EP2278816B1 (en) 2013-04-24
US20140133578A1 (en) 2014-05-15
DE60329427D1 (de) 2009-11-05
CN101179733A (zh) 2008-05-14
TWI573447B (zh) 2017-03-01
CN100361535C (zh) 2008-01-09
PT1742479E (pt) 2009-11-17
EP1742480B1 (en) 2008-10-29
ATE350861T1 (de) 2007-01-15
US20070076801A1 (en) 2007-04-05
JP2010283878A (ja) 2010-12-16
KR100961037B1 (ko) 2010-06-01
JP2008172821A (ja) 2008-07-24
US9390512B2 (en) 2016-07-12
DK2278816T3 (da) 2013-05-21
JP2014014144A (ja) 2014-01-23
JP2014014142A (ja) 2014-01-23
CN1557097A (zh) 2004-12-22
AU2003281129B2 (en) 2007-12-06
TWI414187B (zh) 2013-11-01
JP2010283880A (ja) 2010-12-16
EP1406451A1 (en) 2004-04-07
EP1406451A4 (en) 2004-07-07
US20150262377A1 (en) 2015-09-17
US20080056380A1 (en) 2008-03-06
TW200723891A (en) 2007-06-16
US9412177B2 (en) 2016-08-09
JP5647719B2 (ja) 2015-01-07
US20080056378A1 (en) 2008-03-06
TWI280058B (en) 2007-04-21
JP5412538B2 (ja) 2014-02-12
JP4651685B2 (ja) 2011-03-16
JP2014014143A (ja) 2014-01-23
SI1406451T1 (sl) 2007-04-30
TW201404181A (zh) 2014-01-16
WO2004008774A1 (ja) 2004-01-22
TW201534110A (zh) 2015-09-01
US20140133577A1 (en) 2014-05-15
JP4914459B2 (ja) 2012-04-11
DK1742479T3 (da) 2009-12-14
TW201534111A (zh) 2015-09-01
US8155206B2 (en) 2012-04-10
US20140133572A1 (en) 2014-05-15
TWI320664B (en) 2010-02-11
CN101179733B (zh) 2011-11-02
US8189680B2 (en) 2012-05-29
AU2003281129A1 (en) 2004-02-02
SI1742479T1 (sl) 2009-12-31
EP1742480A2 (en) 2007-01-10
ES2420583T3 (es) 2013-08-26
EP2278816A2 (en) 2011-01-26
EP1742479A3 (en) 2007-03-14
ATE443972T1 (de) 2009-10-15
JP5647718B2 (ja) 2015-01-07
TWI573442B (zh) 2017-03-01
ATE413067T1 (de) 2008-11-15
CA2460471C (en) 2012-02-07
JP4914515B2 (ja) 2012-04-11
US9094666B2 (en) 2015-07-28
TW201534112A (zh) 2015-09-01
ES2277092T3 (es) 2007-07-01
ES2317444T3 (es) 2009-04-16
TW201536033A (zh) 2015-09-16
TW201105146A (en) 2011-02-01

Similar Documents

Publication Publication Date Title
BRPI0305432B1 (pt) “Método e aparelho de decodificação para decodificar um sinal de imagem codificado preditivamente”
BRPI0216048B1 (pt) método e aparelho de codificação de figuras móveis
JP4562999B2 (ja) 画像復号化方法および画像復号化装置
CA2507825A1 (en) Picture coding method and picture decoding method