BRPI0304528B1

BRPI0304528B1 - Method and apparatus for image coding and Method and apparatus for image decoding

Info

Publication number: BRPI0304528B1
Authority: BR
Publication date: 2017-07-11

Description

Relatório Descritivo da Patente de Invenção para "WIÉTODO E APARELHO DE CODIFICAÇÃO DE IMAGEM E MÉTODO E APARELHO DE DECODIFICAÇÃO DE IMAGEM".Report of the Invention Patent for "WIOD AND IMAGE DECODING APPARATUS AND IMAGE DECODING METHOD AND APPARATUS".

Campo Técnico A presente invenção refere-se a um método de codificação de imagem para de forma eficiente compactar sinais de imagem em movimento utilizando a correlação entre as imagens, a um método de decodificação de imagem para decodificar os sinais corretamente e um meio de gravação com um programa para executar estes métodos utilizando software. Técnica Anterior Recentemente, surgiu a era da multimídia, na qual som, imagens e outros valores de pixel são integrados em um meio, e o meio de informação convencional como as ferramentas de comunicação como jornais, revistas, TV, rádio e telefone são considerados como alvos da multimídia. Geralmente, a multimídia é uma forma de representação simultânea não somente de caracteres mas também de gráficos, som e especialmente imagens. De modo a manipular o meio de informação convencional mencionado acima como multimídia, é um requisito representar a informação de forma digital.Technical Field The present invention relates to an image coding method for efficiently compressing moving image signals using correlation between the images, an image decoding method for correctly decoding the signals and a recording medium with a program for performing these methods using software. Previous Art The era of multimedia has recently emerged, in which sound, images, and other pixel values are integrated into one medium, and conventional information medium such as communication tools such as newspapers, magazines, TV, radio, and telephone are regarded as multimedia targets. Multimedia is often a form of simultaneous representation not only of characters but also of graphics, sound and especially images. In order to manipulate the conventional information medium mentioned above as multimedia, it is a requirement to represent information digitally.

Entretanto, é irreal diretamente processar uma gigantesca quantidade de informação de forma digital utilizando o meio de informação convencional mencionado acima porque, quando calculando-se a quantidade de dados de cada meio de informação mencionado acima como quantidade de dados digitais, a quantidade de dados por caracter é 1 até 2 bytes enquanto que a do som por segundo não é menor do que 64 kbits (qualidade de fala do telefone) e que as imagens em movimento por segundo não é menor do que 100 Mbits (qualidade de recepção de TV atual). Por exemplo, um telefone TV já tornou-se comercialmente prático graças à Rede Digital de Serviço Integrado (ISDN) com uma velocidade de transmissão de 64 kbps até 1,5 Mbps, mas é impossível transmitir imagens de uma câmara de TV à medida que elas estão utilizando a ISDN.However, it is unrealistic to directly process a gigantic amount of information digitally using the conventional information medium mentioned above because, when calculating the amount of data from each information medium mentioned above as the amount of digital data, the amount of data per character is 1 to 2 bytes while sound per second is not less than 64 kbits (phone speech quality) and motion pictures per second is not less than 100 Mbits (current TV reception quality) . For example, a TV phone has become commercially practical thanks to the Integrated Service Digital Network (ISDN) with a transmission rate of 64 kbps up to 1.5 Mbps, but it is impossible to transmit images from a TV camera as they are using ISDN.

Isto é porque a técnica de compactação de informação é ne- cessária. Por exemplo, a tecnologia de compactação de imagem em movimento do padrão H.261 ou H.263 internacionalmente padronizado pela International Telecommunication Union Telecommunication Standardization Sector (ITU-T) é utilizada para telefones TV. Além disso, é possível armazenar informação de imagem com informação de som nos discos compactos (CDs) de mísica comum utilizando a técnica de compactação de informação do padrão MPEG-1.This is because the technique of information compression is necessary. For example, internationally standardized H.261 or H.263 standard motion picture compression technology by the International Telecommunication Union Standardization Sector (ITU-T) is used for TV phones. In addition, it is possible to store image information with sound information on standard physics compact discs (CDs) using the MPEG-1 standard information compression technique.

Aqui, o Moving Picture Experts Group (MPEG) é um padrão internacional para de forma digital compactar sinais de imagem em movimento e o MPEG-1 é o padrão para compactar sinais de imagem em movimento para 1,5 Mbps, ou seja, compactar informação de sinal de TV para cerca de um centésimo. Além disso, a qualidade que satisfaz o padrão MPEG-1 é nível médio que pode ser realizado em uma taxa de transmissão de cerca de 1,5 Mbps. O MPEG-2 é assim padronizado de modo a satisfazer a necessidade por qualidade mais elevada da imagem, e ele compacta os sinais de imagem em movimento para 2 até 15 Mbps.Here, Moving Picture Experts Group (MPEG) is an international standard for digitally compressing motion picture signals and MPEG-1 is the standard for compressing motion picture signals to 1.5 Mbps, ie compressing information. TV signal to about one hundredth. In addition, the quality that meets the MPEG-1 standard is medium level that can be realized at a transmission rate of about 1.5 Mbps. MPEG-2 is thus standardized to meet the need for higher image quality, and it compresses moving image signals to 2 to 15 Mbps.

Atualmente, o grupo de trabalho (ISO/IECJTC1/SC29/WG11) que padronizou o MPEG-1 e o MPEG-2, tem padronizado o MPEG-4 com uma taxa de compactação mais elevada. O MPEG-4 introduziu não somente a codificação eficiente em uma baixa taxa de bits, mas também uma tecnologia poderosa de resistência a erro que minimiza a deterioração subjetiva da imagem no caso de um erro de transmissão ocorrer. Além disso, como um sistema de codificação de imagem para as próximas gerações, ISO/IEC e ITU-T estão juntamente trabalhando para a padronização do Joint Video Team (JVT). Atualmente, o padrão chamado Joint model 2 (JM2) é a versão mais recente. A imagem para a codificação por intropredição sem qualquer imagem de referência é chamada de Imagem Intracodifiçada (Imagem I). Além disso, a imagem para a codificação por interpredição com uma imagem de referência é chamada de Imagem Intercodificado (Imagem P). Além disso, a imagem para a codificação por interpredição na qual duas imagens de referência são referidas simultaneamente é chamada Imagem Codificada por Bipredição (Imagem B). ' "Imagem" utilizada aqui é um termo representando uma imagem.Currently, the working group (ISO / IECJTC1 / SC29 / WG11) that standardized MPEG-1 and MPEG-2 has standardized MPEG-4 with a higher compression ratio. MPEG-4 has introduced not only efficient low bitrate encoding, but also powerful error resistance technology that minimizes subjective image deterioration in the event of a transmission error. In addition, as an image coding system for future generations, ISO / IEC and ITU-T are working together to standardize the Joint Video Team (JVT). Currently, the pattern called Joint model 2 (JM2) is the latest version. The image for intro-encoding coding without any reference image is called Intracoded Image (Image I). In addition, the image for encoding by interpretation with a reference image is called the Intercoded Image (P Image). In addition, the image for inter-coding coding in which two reference images are referred to simultaneously is called Biprediction Coded Image (Image B). '' Image 'used here is a term representing an image.

Em uma imagem progressiva, uma imagem significa um quadro, mas em uma imagem entrelaçada, ela significa um quadro ou um campo. Uma "imagem entrelaçada" mencionada aqui significa um quadro composto de dois campos com um ligeiro atraso de tempo. Nos processos de codificação e de decodificação de imagens entrelaçadas, é possível processar um quadro como ele é, como dois campos, ou por cada bloco no quadro em uma estrutura quadro por quadro ou em uma estrutura campo por campo.In a progressive image, an image means a frame, but in an interlaced image, it means a frame or a field. An "interlaced image" mentioned here means a frame composed of two fields with a slight time delay. In the encoding and decoding processes of interlaced images, it is possible to process a frame as it is, as two fields, either by each block in the frame in a frame by frame or field by field structure.

No JVT, é possível escolher uma imagem arbitrária como uma imagem de referência à frente a partir de uma pluralidade de imagens, diferente da codificação de imagem em movimento convencional. Além disso, um sistema para trocar os fluxos de bits codificados em imagens específicas, ou seja, Imagens Codificadas por Troca (Imagens S) foi introduzido. (Existem imagens SI e imagens SP nas imagens S e estas são as imagens para a codificação por intropredição ou para a codificação por interpredição, respectivamente). O sistema de imagem S é para garantir que os fluxos após as Imagens S possam ser decodificados corretamente no caso de troca do fluxo para o fluxo logo antes das imagens S. Além disso, é possível trocar fluxos em um servidor, tal como um servidor de distribuição de imagem em movimento de acordo com a capacidade de comunicação dos terminais de recepção ou com a preferência dos receptores.In JVT, it is possible to choose an arbitrary image as a forward reference image from a plurality of images, different from conventional moving image encoding. In addition, a system for exchanging encoded bit streams in specific images, ie Swap Encoded Images (S Images) has been introduced. (There are SI images and SP images in the S images and these are the images for intropredition coding or for interprediction coding, respectively). The S-imaging system is to ensure that streams after S-images can be decoded correctly in case of changing from stream to stream just before S-images. In addition, it is possible to exchange streams on a server, such as a streaming server. moving image distribution according to the communication capability of the receiving terminals or the preference of the receivers.

No método de codificação de imagem ou no método de decodificação de imagem convencional, as imagens S são introduzidas de modo que (1) elas possam escolher uma imagem arbitrária como uma imagem de referência à frente a partir de uma pluralidade de imagens e (2) elas também podem trocar imagens em imagens específicas. A despeito da introdução destas duas técnicas, lamentavelmente, os problemas que ocorrem quando estas duas técnicas são combinadas ainda não foram bem considerados. Na realidade, é difícil utilizar ambas técnicas juntas por causa dos problemas apresentados abaixo. A Figura 1 é uma ilustração apresentando as relações entre as imagens e os números de imagem (PN) quando codificando-se um sinal de imagem de entrada (VIN). O mesmo sinal de imagem é codificado em taxas de imagem diferentes (o número de imagens por segundo) para formar os Fluxos 1, 2 e 3. O números de imagem (PN) são números para identificar as imagens codificadas. No JM2, as imagens a serem referidas como imagens de referência na codificação seguinte são designadas com números incrementados de 1. Para simplificar a explicação, o exemplo da figura 1 apresenta somente o caso em que todas as imagens em cada fluxo são referidas como imagens de referência na codificação seguinte e os números de imagem são sempre incrementandos de 1. As imagens que não são referidas na codificação seguinte não estão relacionadas com o aumento ou diminuição nos números de imagem e não são armazenadas em uma memória. Portanto, a explicação em relação às imagens que não são referidas na codificação seguinte é omitida porque as imagens não estão relacionadas com a explicação seguinte das operações.In the image coding method or conventional image decoding method, the S images are introduced so that (1) they can choose an arbitrary image as a forward reference image from a plurality of images and (2) they can also swap images on specific images. Despite the introduction of these two techniques, unfortunately, the problems that occur when these two techniques are combined have not yet been well considered. In fact, it is difficult to use both techniques together because of the problems presented below. Figure 1 is an illustration showing the relationships between images and image numbers (PN) when encoding an input image signal (VIN). The same image signal is encoded at different image rates (the number of images per second) to form Streams 1, 2 and 3. Image numbers (PN) are numbers to identify the encoded images. In JM2, the images to be referred to as reference images in the following coding are designated with incremented numbers of 1. To simplify the explanation, the example in Figure 1 only shows the case where all images in each stream are referred to as image images. reference in the next coding and the image numbers are always increments of 1. Images not referenced in the next coding are not related to the increase or decrease in the image numbers and are not stored in a memory. Therefore, the explanation regarding images that are not referenced in the following encoding is omitted because the images are not related to the following explanation of operations.

Como apresentado na figura 1, no momento t3, as imagens diagonalmente sombreadas são codificadas como imagens S. A figura 2 é um diagrama apresentando os números de imagem (PN) das imagens a serem armazenadas na memória de imagem de referência quando codificando-se ou decodificando-se imagens S. A figura 2 apresenta imagens armazenadas na memória de imagem de referência (Mem) e suas posições. Na memória de imagem de referência (Mem), as imagens na posição esquerda são mais recentes no tempo do que as imagens na posição direita. Na hora da codificação por predição, as mesmas imagens devem ser referidas ao se codificar e decodificar. Quando é possível escolher cada imagem de referência a partir de uma pluralidade de imagens de referência como no JM2, é necessário especificar que imagens são referidas.As shown in Figure 1, at time t3, diagonally shaded images are encoded as S images. Figure 2 is a diagram showing the image numbers (PN) of the images to be stored in the reference image memory when coding or decoding images S. Figure 2 shows images stored in the reference image memory (Mem) and their positions. In reference image memory (Mem), images in the left position are newer in time than images in the right position. At the time of prediction coding, the same images should be referred to when coding and decoding. When it is possible to choose each reference image from a plurality of reference images as in JM2, it is necessary to specify which images are referred to.

Existem dois métodos seguintes para apresentar as imagens de referência e o JM2 utiliza os dois métodos de forma apropriada de acordo com os propósitos. 1) Claramente expressar quantas imagens existem antes de uma imagem mais recente, 2) Claramente expressar uma imagem de referência por um número de imagem (PN).There are two following methods for displaying reference images, and JM2 uses both methods appropriately for their purposes. 1) Clearly expressing how many images there are before a newer image, 2) Clearly expressing a reference image by an image number (PN).

De modo a corretamente codificar as imagens S e as imagens seguintes e para decodificar estas imagens corretamente na hora da deco-dificação quando trocando os fluxos nas imagens S, o conteúdo da memória de imagem de referência (Mem) deve ser o mesmo em cada caso de troca de fluxos nas imagens S.In order to correctly encode the S images and the following images and to decode these images correctly at the time of deco-diffusion when switching streams in the S images, the reference image memory (Mem) content must be the same in each case. of exchange of flows in the images S.

Entretanto, como apresentado na ilustração da figura 2 apresentando os números de imagem (PN) de imagens a serem armazenadas na memória de imagem de referência (Mem), o conteúdo da memória de imagem de referência (Mem) não é o mesmo no início da codificação ou da de-codificação de uma imagem S em cada fluxo. A não ser que tal método convencional seja aperfeiçoado, é impossível utilizar o método de codificação para escolher imagens de referência a partir da memória de imagem de referência (Mem) em combinação com o sistema de imagem S para trocar fluxos. A presente invenção visa resolver todos os problemas mencionados acima, tornando o sistema de imagem S utilizável em combinação com outro método de codificação para escolher imagens de referência na memória de imagem de referência (Mem) e assim proporcionando métodos de codificação e de decodificação de imagem que aperfeiçoam as taxas de compactação no método de codificação combinado mencionado acima utilizando imagens S.However, as shown in the illustration of figure 2 showing the image numbers (PN) of images to be stored in the reference image memory (Mem), the content of the reference image memory (Mem) is not the same at the beginning of the image. encoding or decoding an S image in each stream. Unless such a conventional method is improved, it is impossible to use the encoding method to choose reference images from reference image memory (Mem) in combination with the S image system to exchange streams. The present invention aims to solve all the problems mentioned above by making the S-imaging system usable in combination with another encoding method for choosing reference images in the reference image memory (Mem) and thus providing image encoding and decoding methods. that optimize compression ratios in the above-mentioned combined encoding method using S images.

Descrição da Invenção De modo a resolver este problema, a primeira invenção é um método de codificação de imagem para especificar uma imagem de referência armazenada em uma memória utilizando um número de imagem para referência e gerar um fluxo codificado de imagens em movimento, o método de codificação de imagem compreendendo uma etapa de codificação de número de imagem para codificar núme- ros de imagem correspondendo às imagens correntes, uma etapa de codificação para codificar as imagens correntes, uma etapa de tornar todas as imagens armazenadas na memória, exceto as imagens correntes liberadas para referência após a etapa de codificação de imagem, uma etapa de inicialização de número de imagem para inicializar os números de imagem das imagens correntes na memória e uma etapa de codificação de informação de liberação de todas as imagens para codificar todas as informações de liberação de imagem para instruir um aparelho de decodificação de imagem para liberar todas as imagens que já foram armazenadas na memória, exceto as imagens correntes. A segunda invenção é um método de decodificação de imagem para especificar uma imagem de referência armazenada em uma memória utilizando um número de imagem para referência e decodificar o fluxo codificado de imagens em movimento, o método de decodificação de imagem compreendendo uma etapa de decodificação da informação de liberação de todas as imagens para verificar e decodificar uma informação de liberação de todas as imagens significando liberar todas as imagens em um fluxo codificado armazenado em uma memória, exceto as imagens correntes a serem decodificadas, uma etapa de decodificação para decodificar as imagens correntes no fluxo codificado, uma etapa para liberar todas as imagens armazenadas na memória, exceto as imagens correntes de acordo com a informação de liberação de todas as imagens decodificadas após a etapa de decodificação e uma etapa de inicialização de número de imagem para designar um número de imagem inicializado para a imagem corrente na memória. A terceira invenção é um método de codificação de imagem para codificar uma pluralidade de sinais de imagem e gerar sinais codificados correspondendo às respectivas imagens, onde uma imagem de troca capaz de trocar uma pluralidade de sinais codificados e as imagens seguintes da imagem de troca podem referir-se à somente um grupo de imagens do mesmo tempo nos sinais codificados. A quarta invenção é um método de decodificação de imagem para decodificar um sinal codificado, onde a informação em relação às imagens liberadas para referência antes de uma imagem de troca que pode ser trocada é decodificada, as imagens decodificadas em uma memória de imagem de referência são liberadas baseado no resultado da decodificação e após a imagem de troca, um sinal codificado é decodificado referindo-se a uma imagem de referência que não está liberada. A quinta invenção é um método de codificação de imagem para codificar uma pluralidade de sinais de imagem e gerar sinais codificados correspondendo às respectivas imagens, onde o método de codificação de imagem possui uma etapa de alterar um número de imagem de uma imagem de troca capaz de trocar uma pluralidade de sinais codificados para o mesmo valor no respectivo sinal dos sinais codificados. A sexta invenção é um método de decodificação de imagem para decodificar um sinal codificado compreendendo, uma etapa para alterar um número de imagem de uma imagem de referência para o mesmo valor em um sinal codificado que pode ser trocado no momento de trocar os sinais codificados em uma imagem de troca que pode ser trocada.Description of the Invention In order to solve this problem, the first invention is an image coding method for specifying a reference image stored in a memory using an image number for reference and generating a coded stream of moving images, the method of image encoding comprising an image number encoding step for encoding image numbers corresponding to the current images, a coding step for encoding the current images, a step of making all images stored in memory except the released current images for reference after the image coding step, an image number initialization step for initializing the image numbers of the current images in memory, and a coding information release step for all images to encode all image release information. image to instruct a decoder o to release all images that have already been stored in memory except the current images. The second invention is an image decoding method for specifying a reference image stored in a memory using an image number for reference and decoding the encoded stream of moving images, the image decoding method comprising an information decoding step. release all images to verify and decode release information of all images meaning to release all images in an encoded stream stored in a memory except the current images to be decoded, a decoding step to decode the current images in the encoded stream, a step for releasing all images stored in memory except current images according to the release information of all decoded images after the decoding step, and an image number initialization step for designating an image number. initialized to the image current in memory. The third invention is an image encoding method for encoding a plurality of image signals and generating encoded signals corresponding to the respective images, wherein an exchange image capable of exchanging a plurality of encoded signals and subsequent images of the exchange image may refer to only one group of images of the same time in the encoded signals. The fourth invention is an image decoding method for decoding an encoded signal, where information regarding images released for reference before a swappable swap image is decoded, images decoded into a reference image memory are decoded. released based on the decoding result and after the swap image, a coded signal is decoded referring to a reference image that is not released. The fifth invention is an image coding method for encoding a plurality of image signals and generating coded signals corresponding to the respective images, wherein the image coding method has a step of altering an image number of an exchange image capable of exchanging a plurality of encoded signals to the same value in the respective signal of the encoded signals. The sixth invention is an image decoding method for decoding an encoded signal comprising, a step for changing an image number of a reference image to the same value on an encoded signal that can be exchanged at the time of exchanging the encoded signals in a swap image that can be swapped.

Como mencionado acima, com o método de codificação de imagem e com o método de decodificação de imagem na presente invenção, é possível utilizar o aspecto das imagens S e um método de codificação para escolher uma imagem de referência em uma memória de imagem de referência em combinação, o que torna possível proporcionar um método de codificação de imagem e um método de decodificação de imagem para aperfeiçoar as taxas de compactação mesmo quando utilizando-se imagens S no método de codificação e assim estes métodos são altamente práticos. Breve Descrição dos Desenhos A figura 1 é uma ilustração das relações entre as imagens e os números de imagem (PN) quando codificando um sinal de imagem de entrada (Vin). A figura 2 é uma diagrama apresentando os números de imagem (PN) de imagens a serem armazenadas em uma memória de imagem de referência (Mem) quando codificando e decodificando imagens S. A figura 3 é uma ilustração de números de imagem (PN) de imagens a serem armazenadas na memória de imagem de referência (Mem).As mentioned above, with the image coding method and the image decoding method in the present invention, it is possible to use the appearance of the S images and a coding method to choose a reference image from a reference image memory in combination, which makes it possible to provide an image coding method and an image decoding method to improve compression ratios even when using S images in the encoding method and thus these methods are highly practical. Brief Description of the Drawings Figure 1 is an illustration of relationships between images and image numbers (PN) when encoding an input image signal (Vin). Figure 2 is a diagram showing the image numbers (PN) of images to be stored in a reference image memory (Mem) when encoding and decoding S images. Figure 3 is an illustration of image numbers (PN) of images to be stored in reference image memory (Mem).

As figuras 4A, 4B e 4C são fluxogramas de como codificar e decodificar informação ao se controlar as imagens a serem armazenadas na memória de imagem de referência (Mem) no método de codificação de imagem e no método de decodificação de imagem da presente invenção.Figures 4A, 4B and 4C are flowcharts of how to encode and decode information by controlling images to be stored in reference image memory (Mem) in the image encoding method and the image decoding method of the present invention.

As figuras 5A e 5B são ilustrações de números de imagem (PN) das imagens a serem armazenadas na memória de imagem de referência (Mem).Figures 5A and 5B are illustrations of image numbers (PN) of images to be stored in reference image memory (Mem).

As figuras 6A, 6B e 6C são fluxogramas de como codificar e decodificar informação em relação a controlar as imagens a serem armazenadas na memória de imagem de referência (Mem) no método de codificação de imagem e no método de decodificação de imagem da presente invenção. A figura 7 é uma ilustração da relação entre as imagens e os números de imagem (PN) quando codificando o sinal de imagem de entrada (Vin) da presente invenção.Figures 6A, 6B and 6C are flowcharts of how to encode and decode information with respect to controlling images to be stored in reference image memory (Mem) in the image encoding method and the image decoding method of the present invention. Figure 7 is an illustration of the relationship between images and image numbers (PN) when encoding the input image signal (Vin) of the present invention.

As figuras 8A e 8B são fluxogramas de como decodificar informação ao se controlar as imagens a serem armazenadas na memória de imagem de referência (Mem) no método de decodificação de imagem da presente invenção. A figura 9 é um diagrama de blocos apresentando a estrutura do aparelho de codificação de imagem da presente invenção.Figures 8A and 8B are flowcharts of how to decode information by controlling images to be stored in reference image memory (Mem) in the image decoding method of the present invention. Figure 9 is a block diagram showing the structure of the image coding apparatus of the present invention.

As figuras 10A, 10B, 10C e 10D são diagramas apresentando os exemplos de estruturas de dados de sinais codificados, Str da presente invenção. A figura 11 é um diagrama de blocos apresentando a estrutura de uma aparelho de decodificação de imagem da presente invenção. A figura 12 é uma ilustração da relação entre as imagens e os números de imagem (PN) para codificar um sinal de imagem de entrada (Vin) da presente invenção. A figura 13 é um fluxograma apresentando um método de codificação por fornecer um número de imagem para cada imagem de cada fluxo na presente invenção. A figura 14 é um fluxograma apresentando um método de deco-dificação em uma sétima modalidade. A figura 15 é um diagrama apresentando uma estrutura de memória na sétima modalidade.Figures 10A, 10B, 10C and 10D are diagrams showing the examples of encoded signal data structures Str of the present invention. Figure 11 is a block diagram showing the structure of an image decoding apparatus of the present invention. Figure 12 is an illustration of the relationship between images and image numbers (PN) for encoding an input image signal (Vin) of the present invention. Figure 13 is a flow chart showing a coding method for providing an image number for each image of each stream in the present invention. Figure 14 is a flowchart showing a deco-diffusion method in a seventh embodiment. Figure 15 is a diagram showing a memory structure in the seventh embodiment.

As figuras 16A e 16B são fluxogramas apresentando um método de codificação na sétima modalidade.Figures 16A and 16B are flow charts showing a coding method in the seventh embodiment.

As figuras 17A e 17B são fluxogramas apresentando outro método de codificação na sétima modalidade. A figura 18 é um fluxograma apresentando outro método de codificação na sétima modalidade. A figura 19 é um diagrama de blocos apresentando uma estrutura de um aparelho de codificação em uma oitava modalidade. A figura 20 é um diagrama de blocos apresentando uma estrutura de outro aparelho de codificação na oitava modalidade.Figures 17A and 17B are flowcharts showing another coding method in the seventh embodiment. Figure 18 is a flow chart showing another coding method in the seventh embodiment. Figure 19 is a block diagram showing a structure of a coding apparatus in an eighth embodiment. Figure 20 is a block diagram showing a structure of another coding apparatus in the eighth embodiment.

As figuras 21A e 21B são fluxogramas apresentando um método de decodificação em uma décima modalidade. A figura 22 é um diagrama de blocos apresentando uma estrutura de um aparelho de decodificação em uma décima primeira modalidade.Figures 21A and 21B are flow charts showing a decoding method in a tenth embodiment. Figure 22 is a block diagram showing a structure of a decoding apparatus in an eleventh embodiment.

As figuras 23A e 23B são fluxogramas apresentando o processamento para formar os sinais codificados e decodificar os sinais codificados. A figura 24 é um diagrama de blocos apresentando uma estrutura de um aparelho de codificação de imagem realizando um método de codificação em uma décima segunda modalidade. A figura 25 é um diagrama de blocos apresentando uma estrutura de um aparelho de decodificação de imagem realizando o método de decodificação na décima segunda modalidade. A figura 26 é uma ilustração em relação a um meio de gravação armazenando um programa para realizar os métodos de codificação de imagem e os métodos de decodificação de imagem na primeira até a décima segunda modalidades utilizando um sistema de computador. A figura 27 é um diagrama de blocos apresentando a estrutura como um todo de um sistema de suprimento de conteúdo realizando um serviço de distribuição de conteúdo com respeito à presente invenção. A figura 28 é um diagrama apresentando um exemplo de telefones celulares relacionados com a presente invenção. A figura 29 é um diagrama de bloco apresentando a estrutura dos mesmos telefones celulares, e A figura 30 é um diagrama apresentando a estrutura de um sistema de difusão digital com respeito à presente invenção.Figures 23A and 23B are flow charts showing the processing for forming the encoded signals and decoding the encoded signals. Fig. 24 is a block diagram showing a structure of an image coding apparatus performing a coding method in a twelfth embodiment. Figure 25 is a block diagram showing a structure of an image decoding apparatus performing the decoding method in the twelfth embodiment. Figure 26 is an illustration of a recording medium storing a program for performing image coding methods and image decoding methods in the first through twelfth embodiments using a computer system. Fig. 27 is a block diagram showing the overall structure of a content delivery system performing a content delivery service with respect to the present invention. Figure 28 is a diagram showing an example of cell phones related to the present invention. Fig. 29 is a block diagram showing the structure of the same mobile phones, and Fig. 30 is a diagram showing the structure of a digital broadcasting system with respect to the present invention.

Melhor Modo para Realizar a Invenção As presentes modalidades da presente invenção serão explicadas abaixo com referência aos desenhos 3 até 30. (Primeira Modalidade) A figura 3 é uma ilustração apresentando os números de imagem (PN) das imagens a serem armazenadas na memória de imagem de referência (Mem). A diferença entre a mesma figura e a figura 2 apresentando os números de imagem (PN) de imagens a serem armazenadas na memória de imagem de referência (Mem) será explicada abaixo. Já foi explicado que, após trocar os sinais codificados quando codificando e decodificando imagens S, o conteúdo da memória de imagem de referência (Mem) não é o mesmo. Portanto, nos métodos de codificação e de decodificação da presente invenção na figura 1 apresentando as relações de imagens e de seus números de imagem (PN) quando codificando o sinal de imagem de entrada (Vin), somente imagens nos tempos tO, t1 e t2 que são exatamente as mesmas respectivamente em todos os fluxos são armazenadas na memória de imagem de referência (Mem), enquanto as outras imagens são apagadas na memória de imagem de referência (Mem) antes da codificação e da decodificação de imagens S. A figura 3 apresenta o resultado deste processamento como uma ilustração apresentando os números de imagem (PN) das imagens a serem armazenadas na memória de imagem de referência (Mem).Best Mode for Carrying Out the Invention The present embodiments of the present invention will be explained below with reference to drawings 3 to 30. (First Mode) Figure 3 is an illustration showing the image numbers (PN) of the images to be stored in the image memory. reference point (Mem). The difference between the same figure and figure 2 showing the image numbers (PN) of images to be stored in the reference image memory (Mem) will be explained below. It has already been explained that after switching the encoded signals when encoding and decoding S images, the contents of the reference image memory (Mem) are not the same. Therefore, in the encoding and decoding methods of the present invention in Figure 1 showing the image ratios and their image numbers (PN) when encoding the input image signal (Vin), only images at times tO, t1 and t2 which are exactly the same respectively in all streams are stored in the reference image memory (Mem), while the other images are erased in the reference image memory (Mem) before encoding and decoding S images. Figure 3 presents the result of this processing as an illustration showing the image numbers (PN) of the images to be stored in the reference image memory (Mem).

Como apresentado na figura 3 explicando os números de ima- gem de imagens a serem armazenadas na memória de imagem de referência (Mem), quando o método de "Claramente expressar quantas imagens existem antes de uma imagem mais recente" é empregado para especificar as imagens de referência na codificação e na decodificação, é possível codificar e decodificar as imagens corretamente porque exatamente as mesmas imagens do mesmo tempo são referidas em qualquer caso do fluxo 1,2 ou 3. A figura 4 é um fluxograma apresentando os métodos de codificação e de decodificação de informação com respeito ao controle de imagem de imagens a serem armazenadas na memória de imagem de referência (Mem) nos métodos de codificação e de decodificação de imagem da presente invenção. A figura 4A é um fluxograma do método de codificação que apresenta como realizar o método da operação explicado na figura 3, e os métodos de codificação e de decodificação da informação necessária para realizar a operação.As shown in figure 3 explaining the image numbers of images to be stored in reference image memory (Mem), when the method of "Clearly expressing how many images exist before a newer image" is employed to specify the images In coding and decoding, it is possible to encode and decode the images correctly because exactly the same images at the same time are referred to in either case 1,2 or 3. Figure 4 is a flowchart showing the coding and decoding methods information decoding with respect to image control of images to be stored in reference image memory (Mem) in the image encoding and decoding methods of the present invention. Fig. 4A is a flowchart of the coding method showing how to perform the method of operation explained in Fig. 3, and the methods of coding and decoding the information required to perform the operation.

Na Etapa 0, as imagens nos mesmos pontos de tempo em uma pluralidade de informação de codificação (fluxos) são escolhidas. Na Etapa 1, é possível codificar a informação de apagar apresentando a deleção das outras imagens que não são escolhidas na Etapa 0. Na Etapa 2, as imagens que não são escolhidas na Etapa 0 são apagadas da memória de imagem de referência (Mem). Até este ponto, como apresentado na figura 3, é possível perceber a condição de armazenamento na memória de imagem de referência (Mem) para perceber os fluxos que podem ser decodificados mesmo após trocar os sinais codificados.In Step 0, images at the same time points in a plurality of encoding information (streams) are chosen. In Step 1, you can encode the delete information by displaying the deletion of other images that are not chosen in Step 0. In Step 2, images that are not chosen in Step 0 are deleted from the reference image memory (Mem). Up to this point, as shown in figure 3, it is possible to understand the storage condition in the reference image memory (Mem) to understand the streams that can be decoded even after exchanging the encoded signals.

Além disso, é possível alterar a ordem das Etapas 1 e 2, e se ela for alterada, o fluxograma do método de codificação de imagem apresentado na figura 4B é utilizado.In addition, it is possible to change the order of Steps 1 and 2, and if it is changed, the flowchart of the image coding method shown in Figure 4B is used.

Decodificar a informação de deleção codificada de acordo com o método de codificação apresentado como o fluxograma na figura 4A utilizando o método de decodificação apresentado como o fluxograma na figura 4C torna possível perceber uma condição de armazenamento da memória de imagem de referência (Mem) para perceber os fluxos que podem ser decodificados utilizando o método de decodificação de imagem mesmo após trocar os sinais codificados como apresentado na figura 3.Decoding the encoded deletion information according to the encoding method shown as the flowchart in figure 4A using the decoding method shown as the flowchart in figure 4C makes it possible to perceive a reference image memory (Mem) storage condition to realize the streams that can be decoded using the image decoding method even after exchanging the encoded signals as shown in figure 3.

Por decodificar a informação de deleção na Etapa 5, é possível apresentar imagens que não são imagens do mesmo tempo em uma pluralidade de informação de codificação (fluxos). Estas imagens são o resto das imagens escolhidas na Etapa 0 da figura 4A como imagens do mesmo tempo. A seguir, na Etapa 6, as imagens escolhidas na Etapa 5 são apagadas na memória de imagem de referência (Mem). Especificamente, quando imagens armazenadas na memória de imagem de referência (Mem) são deleta-das (ou apagadas), imagens a serem deletadas são designadas com IDs (informação de identificação) tal como "liberação" proibindo de utilizar imagens com respeito às imagens de referência. Para este propósito, a unidade de decodificação de imagem (PicDec) e a unidade de codificação de imagem (PicEnc) sempre verificam se os IDs de "liberação" estão designados ou não, cada vez que estas unidades referem-se às imagens armazenadas na memória de imagem de referência (Mem). Somente imagens que não são designadas com os IDs de "liberação" são referidas por estas unidades enquanto as imagens designadas com os IDs de "liberação" não são referidas por estas unidades. Da mesma forma, as imagens na memória de imagem de referência (Mem) são deletadas (ou apagadas) nas modalidades seguintes. Obviamente, a medida que este método de deleção é um exemplo, não é necessário dizer que é possível deletar os dados de imagem mencionados acima na memória de imagem de referência (Mem) por realmente deletar ou apagar estes dados. Até este ponto, é possível perceber a condição de armazenamento na memória de imagem de referência (Mem) para perceber os fluxos que podem ser decodificados mesmo após a troca dos sinais codificados como apresentado na figura 3. (Segunda Modalidade) A figura 5A é uma ilustração apresentando os números de imagem (PN) de imagens a serem armazenadas na memória de imagem de referência (Mem). A diferença entre as figuras 5A e 3 apresentando os núme- ros de imagem (PN) das imagens a serem armazenadas na memória de imagem de referência (Mem) é se os números de imagem (PN) na memória de imagem de referência (Mem) são os mesmos ou não.By decoding the deletion information in Step 5, it is possible to display non-image images at the same time in a plurality of encoding information (streams). These images are the rest of the images chosen in Step 0 of Figure 4A as images of the same time. Then, in Step 6, the images chosen in Step 5 are deleted in the reference image memory (Mem). Specifically, when images stored in the reference image memory (Mem) are deleted (or deleted), images to be deleted are designated with IDs such as "release" prohibiting the use of images with respect to images of reference. For this purpose, the image decoding unit (PicDec) and the image encoding unit (PicEnc) always check whether "release" IDs are assigned or not, each time these units refer to images stored in memory. reference image memory (Mem). Only images that are not designated with "release" IDs are referred to by these units while images designated with "release" IDs are not referred to by these units. Similarly, images in the reference image memory (Mem) are deleted (or deleted) in the following modes. Obviously, as this deletion method is an example, it goes without saying that it is possible to delete the image data mentioned above in the reference image memory (Mem) by actually deleting or deleting this data. Up to this point, it is possible to understand the storage condition in the reference image memory (Mem) to realize the streams that can be decoded even after exchanging the encoded signals as shown in figure 3. (Second Mode) Figure 5A is a illustration showing the image numbers (PN) of images to be stored in reference image memory (Mem). The difference between figures 5A and 3 showing the image numbers (PN) of the images to be stored in the reference image memory (Mem) is whether the image numbers (PN) in the reference image memory (Mem) are the same or not.

Como não somente os tempos das imagens armazenadas na memória de imagem de referência (Mem),mas também os números de imagem (PN) em cada fluxo na memória de imagem de referência (Mem) são os mesmos no quadro de tempo, é possível utilizar o método de "Claramente expressar as imagens de referência pelos números de imagem (PN)" quando especificando as imagens de referência na codificação e na decodifica-ção e assim torna-se possível codificar e decodificar as imagens corretamente porque exatamente as mesmas imagens do mesmo tempo são referidas em qualquer caso do fluxo 1, 2 ou 3. É possível perceber isto quando substituindo os números de imagem das imagens armazenadas na memória de imagem de referência (Mem) com um novo mesmo número de imagem e codificar e decodificar a informação para substituir os números de imagem antigos pelo novo número de imagem antes de codificar e decodificar as imagens S.Since not only the times of the images stored in the reference image memory (Mem), but also the image numbers (PN) in each stream in the reference image memory (Mem) are the same in the time frame, it is possible to use the method of "Clearly expressing reference images by image numbers (PN)" when specifying reference images in encoding and decoding so that it becomes possible to encode and decode images correctly because exactly the same images of the same Time is referred to in either case of stream 1, 2 or 3. This can be realized by replacing the image numbers of the images stored in the reference image memory (Mem) with a new same image number and encoding and decoding the information to replace the old image numbers with the new image number before encoding and decoding the S images.

Em adição, existe uma necessidade de associar os números de imagem (PN) de imagens sem qualquer um dos fluxos porque o mesmo número de imagem (PN) deve ser utilizado quando armazenando imagens S na próxima vez. A figura 6 é um fluxograma apresentando os métodos de codificação e de decodificação de informação para controlar as imagens a serem armazenadas na memória de imagem de referência (Mem) de acordo com os métodos de codificação e de decodificação de imagem da presente invenção e apresenta os métodos de realização da operação explicada na figura 5A e os métodos de codificação e de decodificação de informação necessária para a realização.In addition, there is a need to associate image numbers (PN) of images without any of the streams because the same image number (PN) must be used when storing S images next time. Figure 6 is a flowchart showing the information encoding and decoding methods for controlling the images to be stored in reference image memory (Mem) according to the image encoding and decoding methods of the present invention and showing the methods of performing the operation explained in Figure 5A; and the methods of encoding and decoding information required for carrying out.

Na Etapa 10, o valor máximo dos números de imagem (PN) ("8" no exemplo da figura 5A) de imagens nos sinais codificados para serem trocadas na memória de referência (Mem) é detectado. Na Etapa 12, a informação para designar de novo números de imagem (PN) de cada imagem armazenada na memória de imagem de referência (Mem) é codificada com referência ao valor máximo dos números de referência (PN). Além disso, a medida que surge necessidade, os números de imagem (PN) a serem designados para as próximas imagens S são codificados. A medida que o fluxo 3 na figura 5A é o mesmo que o fluxo 3 na figura 3, não existe necessidade de designar novamente os números de imagem, das imagens no fluxo 3. Portanto, os números de imagem são novamente designados somente para as imagens necessárias, somente informação sobre a designação necessária precisa ser codificada na Etapa 11. Finalmente, os números de imagem apresentados pela informação codificada na Etapa 11 são novamente designados na Etapa 12. Até este ponto, como apresentado na figura 5, a condição de armazenamento na memória de referência (Mem) para perceber os fluxos que podem ser decodificados mesmo após trocar os sinais codificados, é percebida.In Step 10, the maximum value of the image (PN) numbers ("8" in the example of Figure 5A) of images in the signals encoded to be exchanged in the reference memory (Mem) is detected. In Step 12, the information to reassign image numbers (PN) of each image stored in the reference image memory (Mem) is encoded with reference to the maximum value of the reference numbers (PN). In addition, as the need arises, the image numbers (PN) to be assigned to the next images S are encoded. As stream 3 in figure 5A is the same as stream 3 in figure 3, there is no need to reassign the image numbers of the images in stream 3. Therefore, the image numbers are reassigned only to the images. If necessary, only information about the required designation needs to be coded in Step 11. Finally, the image numbers presented by the information coded in Step 11 are reassigned in Step 12. Up to this point, as shown in Figure 5, the storage condition in the Reference memory (Mem) to realize the streams that can be decoded even after exchanging the encoded signals is realized.

Além disso, como o número de imagem (PN) de imagens S é 12, de modo a tornar os números de imagem (PN) contínuos após a codificação e decodificação destas imagens S, é possível utilizar o número de imagem 11, que é o número de imagem (PN) imediatamente antes de uma imagem S (imediatamente antes de uma imagem S do fluxo 1 na figura 1) como apresentado na figura 5B. Neste caso, os números de imagem (PN) sempre aumentam no processo de codificação e de decodificação à medida que o número de imagem (PN) da imagem S é 12, o que é mais eficaz porque a função de verificação de erro para considerar a diminuição nos números de imagem (PN) como um erro, também é realizada. A figura 7 é uma ilustração apresentando as relações das imagens e dos números de imagem (PN) quando codificando um sinal de imagem de entrada (Vin) da presente invenção. A figura 7 é um exemplo de nova designação de números de imagem (PN) utilizando o método explicado na figura 5B, todos os números de imagem, de imagens S, são 12. Portanto, é claro que todas as imagens após as imagens S podem ser corretamente decodificadas mesmos após trocar os fluxos nas imagens S porque as imagens na memória de referência (Mem) são idênticas independente dos fluxos quando codificando e decodificando as imagens S. Além disso, é possível alterar a ordem operacional das Etapas 11 e 12 e neste caso, um fluxograma do método de codificação de imagem apresentado na figura 6B é utilizado. A decodificação da informação de deleção codificada na figura 6A apresentada no fluxograma do método de codificação utilizando o método de decodificação apresentado no fluxograma da figura 6C do método de decodificação torna possível perceber a condição de armazenamento da memória de imagem de referência (Mem) para perceber os fluxos que podem ser decodificados utilizando o método de decodificação de imagem mesmo após os sinais codificados serem trocados como apresentado na figura 5A.In addition, since the image number (PN) of images S is 12, in order to make the image numbers (PN) continuous after coding and decoding these S images, it is possible to use image number 11, which is the image number (PN) immediately before an S image (immediately before an S image of stream 1 in Figure 1) as shown in Figure 5B. In this case, the image numbers (PN) always increase in the encoding and decoding process as the image number (PN) of the image S is 12, which is more effective because the error checking function to consider the decrease in image numbers (PN) as an error is also performed. Figure 7 is an illustration showing the relationships of images and image numbers (PN) when encoding an input image signal (Vin) of the present invention. Fig. 7 is an example of re-naming image numbers (PN) using the method explained in Fig. 5B, all image numbers of S images are 12. Therefore, it is clear that all images after S images can be be correctly decoded even after changing the streams in the S images because the images in the reference memory (Mem) are identical regardless of the streams when encoding and decoding the S images. In addition, it is possible to change the operational order of Steps 11 and 12 and in this In this case, a flowchart of the image coding method shown in Figure 6B is used. The decoding of the deletion information encoded in figure 6A shown in the coding method flowchart using the decoding method shown in the decoding method flowchart of figure 6C makes it possible to understand the storage condition of the reference image memory (Mem) to understand the streams that can be decoded using the image decoding method even after the encoded signals have been exchanged as shown in figure 5A.

Decodificar a informação em relação a nova designação de números de imagem (PN) na Etapa 15 torna possível especificar as imagens necessárias para a nova designação de números de imagem (PN) e o método. A seguir, na Etapa 16, os números de imagem (PN) das imagens na memória de imagem de referência (Mem) são novamente designados baseado nas imagens decodificadas na Etapa 15 e também requerem a nova designação de números de imagem (PN) e o método de nova designação. Até este ponto é possível perceber a condição de armazenamento na memória de imagem de referência (Mem) para perceber os fluxos que podem ser decodificados mesmo após trocar os sinais codificados como apresentado na figura 5.Decoding the information with respect to the new image number (PN) designation in Step 15 makes it possible to specify the images required for the new image number (PN) designation and the method. Next, in Step 16, the image numbers (PN) of the images in the reference image memory (Mem) are reassigned based on the images decoded in Step 15 and also require the new designation of image numbers (PN) and new designation method. Up to this point it is possible to understand the storage condition in the reference image memory (Mem) to realize the streams that can be decoded even after exchanging the encoded signals as shown in figure 5.

Enquanto esta segunda modalidade explica a eficácia na combinação com a primeira modalidade, à medida que a segunda modalidade somente pode realizar o mérito de codificar e decodificar corretamente no caso de "Claramente expressar as imagens de referência por números de imagem (PN)", é possível utilizar somente a segunda modalidade, ao invés da segunda modalidade em combinação com a primeira modalidade se o efeito da segunda modalidade for de forma suficientemente eficaz. (Terceira Modalidade) A figura 8 é outra modalidade de modo a realizar uma ilustração dos números de imagem (PN) de imagens a serem armazenadas na memória de imagem de referência (Mem) na figura 5.While this second mode explains the effectiveness in combination with the first mode, as the second mode can only merit coding and decoding correctly in the case of "Clearly expressing reference images by image numbers (PN)", it is It is possible to use only the second mode rather than the second mode in combination with the first mode if the effect of the second mode is sufficiently effective. (Third Mode) Figure 8 is another embodiment for illustrating the image numbers (PN) of images to be stored in the reference image memory (Mem) in Figure 5.

Os tipos de imagem são identificados pela informação de tipo de imagem (PicType). Portanto, quando uma imagem é identificada como uma imagem S que pode alterar fluxos pela informação de tipo de imagem (PicType), fazer uma regra para novamente designar os números de imagem (PN) das imagens na memória de imagem de referência (Mem) para coincidir com os números de imagem (PN) de imagens S torna possível omitir a codificação e a decodificação da informação em relação ao método de nova designação para cada número de imagem (PN), de imagens na memória de imagem de referência (Mem). A operação apresentada na figura 8A será explicada abaixo. Na Etapa 20, os números de imagem (PN) de imagens são obtidos pela decodificação dos sinais codificados. A informação de tipo de imagem (PicType) das imagens, é obtida na Etapa 21. Quando a informação de tipo de imagem (PicType) é revelada como sendo imagens S, os números de imagem (PN) das imagens na memória de imagem de referência (Mem) de um modo que eles coincidem com os números de imagem (PN) de imagens S são novamente designados baseado em um método especificado na Etapa 22. Até este ponto, como apresentado na figura 5, é possível perceber a condição de armazenamento na memória de imagem de referência (Mem) que percebe os fluxos que podem ser decodificados mesmo após a troca dos sinais codificados.Image types are identified by image type information (PicType). Therefore, when an image is identified as an S image that can change streams by the image type information (PicType), make a rule to re-designate the image numbers (PN) of the images in the reference image memory (Mem) to Matching the image numbers (PN) of images S makes it possible to omit encoding and decoding the information with respect to the method of reassigning each image number (PN) of images in the reference image memory (Mem). The operation shown in figure 8A will be explained below. In Step 20, the image numbers (PN) of images are obtained by decoding the encoded signals. The image type information (PicType) of the images is obtained in Step 21. When the image type information (PicType) is revealed to be S images, the image numbers (PN) of the images in the reference image memory (Mem) so that they match the image numbers (PN) of images S are reassigned based on a method specified in Step 22. Up to this point, as shown in Figure 5, it is possible to realize the storage condition in the reference image memory (Mem) which perceives the streams that can be decoded even after the exchange of the encoded signals.

Além disso, é possível alterar o ordem das Etapas 21 e 22 e se ela for alterada, o fluxograma do método de codificação de imagem apresentado na figura 8B é utilizado.In addition, it is possible to change the order of Steps 21 and 22 and if it is changed, the flowchart of the image coding method shown in figure 8B is used.

Além disso, é possível codificar e decodificar somente parte da informação de nova designação de números de imagem (PN) (os quais não podem ser representados pela regra para nova designação dos números de imagem (PN) na memória de imagem de referência (Mem) de um modo que eles coincidam com os números de imagem (PN) de imagens S) na Etapas 11 e 15 na figura 6 por combinar a ilustração das figuras 8 e 6 com respeito aos números de imagem (PN), de imagens a serem armazenadas na memória de imagem de referência (Mem) na figura 5 (Quarta Modalidade) A figura 9 é um diagrama de blocos apresentando a estrutura do aparelho de codificação de imagem da presente invenção. A figura 9 como um diagrama de blocos com respeito ao aparelho de codificação de imagem da presente invenção é um exemplo para realizar o método de codificação de imagem na primeira modalidade e na segunda modalidade. A unidade de geração de número de imagem (PNGen) gera números de imagem (PN). Os números de imagem (PN) são IDs para identificar as imagens armazenadas na memória de imagem de referência (Mem), cada imagem armazenada na memória de imagem de referência (Mem) é designada com um número de imagem (PN) exclusivo. Normalmente, os números de imagem (PN) são incrementados de 1 cada vez que uma imagem é armazenada na memória de imagem de referência (Mem). Quando um número de imagem (PN) recebido por um aparelho de decodificação de imagem é incrementado de 2 ou mais, o aparelho de decodificação de imagem pode descobrir se uma imagem a ser armazenada está ausente por causa de erro na linha de transmissão, e pode corrigir o erro e tornar o erro menos evidente. A unidade de verificação de número de imagem máximo (MaxPN) compara outros números de imagem de sinal codificado (OtherPN) e os números de imagem (PN) gerados na unidade de geração de número de imagem (PNGen), detecta o.valor máximo dos números de imagem (PN), notifica a unidade de comprimento variável (VLC) e a unidade de geração de número de imagem (PNGen) do valor máximo dos números de imagem (PN) e inicializa os números de imagem (PN) a serem gerados na unidade de geração de número de imagem (PNGen), utilizando o valor máximo dos números de imagem (PN). Outros números de imagem de sinal codificado (OtherPN) são números de imagem de imagens em um fluxo diferente, em paralelo com as imagens a serem codificadas. Por conseqüência, após isto, a unidade de geração de número de imagem (PNGen) começa a emitir os números de imagem (PN) maiores do que o valor máximo dos números de imagem (PN). A unidade de comparação de tempo de imagem codificada (Ti-meCmp) compara o tempo do quadro de cada imagem no sinal de imagem de entrada (Vin) codificado até agora e o tempo do quadro de cada imagem codificada como outros sinais codificados (fluxos) e notifica a unidade de deleção de imagem (PicDel) da informação de imagem com respeito ao tempo do quadro codificado em todos os fluxos.In addition, it is possible to encode and decode only part of the new number designation (PN) information (which cannot be represented by the new number designation (PN) rule in the reference image memory (Mem)). such that they match the image numbers (PN) of images S) in Steps 11 and 15 in Figure 6 by combining the illustration of Figures 8 and 6 with respect to the image numbers (PN) of images to be stored. in reference image memory (Mem) in figure 5 (Fourth embodiment) Figure 9 is a block diagram showing the structure of the image coding apparatus of the present invention. Figure 9 as a block diagram with respect to the image coding apparatus of the present invention is an example for carrying out the image coding method in the first embodiment and the second embodiment. The image number generation unit (PNGen) generates image numbers (PN). Image Numbers (PN) are IDs to identify images stored in Reference Image Memory (Mem), each image stored in Reference Image Memory (Mem) is designated with a unique Image Number (PN). Normally, image numbers (PN) are incremented by 1 each time an image is stored in reference image memory (Mem). When an image number (PN) received by an image decoder is incremented by 2 or more, the image decoder may find out if an image to be stored is missing because of transmission line error, and may correct the error and make the error less obvious. The Maximum Image Number Verification Unit (MaxPN) compares other coded signal image numbers (OtherPN) and the image numbers (PN) generated in the Image Number Generation Unit (PNGen), detects the. image numbers (PN), notifies the variable length unit (VLC) and image number generation unit (PNGen) of the maximum image number (PN) value, and initializes the image numbers (PN) to be generated in the image number generation unit (PNGen) using the maximum image number (PN) value. Other encoded signal image numbers (OtherPN) are image numbers of images in a different stream in parallel with the images to be encoded. As a result, after this, the image number generation unit (PNGen) begins to output image numbers (PN) greater than the maximum image number (PN) value. The encoded image time comparison unit (Ti-meCmp) compares the frame time of each image on the encoded input image signal (Vin) so far and the frame time of each encoded image as other encoded signals (streams) and notifies the image deletion unit (PicDel) of the image information with respect to the encoded frame time in all streams.

Quando a informação de tipo de imagem (PicType) apresenta que a próxima imagem é uma imagem S, a unidade de deleção de imagem (PicDel) ordena a memória de imagem de referência (Mem) para deletar as imagens fora do quadro de tempo em todos os fluxos armazenados na memória de imagem de referência (Mem) baseado na informação notificada pela unidade de comparação de tempo da imagem codificada (TimeCmp) e notifica a unidade de codificação de comprimento variável (VLC) da mesma informação, ao mesmo tempo. A unidade de codificação de imagem (PicEnc) refere-se às imagens na memória de imagem de referência (Mem), codifica o sinal de imagem de entrada (Vin) incluindo a conversão de freqüência e a quantização como um tipo de imagem apresentado na informação de tipo de imagem (PicType), envia o resultado para a unidade de decodificação de imagem (PicDec) e para a unidade de codificação de comprimento variável (VLC). A unidade de decodificação de imagem (PicDec) executa a quantização inversa e a conversão de freqüência-da resultado da codificação na unidade de codificação de imagem (PicEnc) como os tipos de imagem apresentados na informação de tipo de imagem (PicType) e armazena os tipos de imagem como números de imagem (PN) na memória de imagem de referência (Mem) de modo a referir-se aos tipos de imagem no processo de codificação de imagem seguinte. A unidade de codificação de comprimento variável (VLC) transforma o resultado codificado na unidade de codificação de imagem (PicEnc) em códigos de comprimento variável de modo a formar um fluxo de bits, co- difica a informação necessária para a decodificação, que é a informação para deletar imagens armazenadas na memória de imagem de referência (Mem) notificadas pela unidade de deleção de imagem (PicDel), o valor máximo dos números de imagem (PN) e os números de imagem (PN) mencionados acima, de modo a emitir a informação como sinais codificados (Str). A unidade de codificação de comprimento variável (VLC) também codifica a informação notificada pela unidade de deleção de imagem (PicDel) e a informação para a nova designação de números de imagem (PN) das imagens armazenadas na memória de imagem de referência (Mem), baseado no método apresentado na segunda modalidade. A figura 10 apresenta um exemplo estrutural de sinais codificados (Str) na presente invenção. Cada dado na figura 10A será explicado abaixo.When the image type information (PicType) shows that the next image is an S image, the image deletion unit (PicDel) orders the reference image memory (Mem) to delete the out-of-time images at all. the streams stored in the reference image memory (Mem) based on the information notified by the encoded image time comparison unit (TimeCmp) and notify the variable length encoding unit (VLC) of the same information at the same time. The image encoding unit (PicEnc) refers to the images in the reference image memory (Mem), encodes the input image signal (Vin) including frequency conversion and quantization as an image type displayed in the information. PicType, sends the result to the image decoding unit (PicDec) and the variable length encoding unit (VLC). The image decoding unit (PicDec) performs inverse quantization and frequency conversion of the encoding result in the image encoding unit (PicEnc) as the image types presented in the image type information (PicType) and stores the image types as image numbers (PN) in the reference image memory (Mem) to refer to the image types in the following image encoding process. The variable length coding unit (VLC) transforms the coded result in the image coding unit (PicEnc) into variable length codes to form a bit stream, coding the information needed for decoding, which is the information for deleting images stored in the reference image memory (Mem) notified by the image deletion unit (PicDel), the maximum value of the image numbers (PN) and the image numbers (PN) mentioned above in order to output information as coded signals (Str). The variable length encoding unit (VLC) also encodes the information notified by the image deletion unit (PicDel) and the information for the new image number designation (PN) of the images stored in the reference image memory (Mem). , based on the method presented in the second embodiment. Figure 10 shows a structural example of encoded signals (Str) in the present invention. Each data in figure 10A will be explained below.

Primeiro, os números de imagem (PN) são codificados. A seguir, o número de imagem (PN) máximo a ser novamente designado, a informação para deletar as imagens armazenadas na memória de imagem de referência (Mem) e a informação para a nova designação dos números de imagem armazenados na memória de imagem de referência (Mem), são codificados. Após isto, a informação de tipo de imagem (PicType) e os dados codificados da imagem que são emitidos pela unidade de codificação de imagem (PicEnc) são localizados.First, the image numbers (PN) are coded. The following is the maximum image number (PN) to be reassigned, the information to delete the images stored in the reference image memory (Mem), and the information for the new designation of the image numbers stored in the reference image memory. (Mem), are encoded. After this, the image type information (PicType) and encoded image data that is output by the image encoding unit (PicEnc) is located.

Como a figura 10A é simplesmente um exemplo da localização dos dados, é possível alterar a ordem dos dados como apresentado na figura 10B, de modo a executar a codificação deimagem. É possível preparar o aparelho de codificação de imagem consistindo nas unidades mencionadas acima que realizam o método de codificação de imagem apresentado nas primeira e segunda modalidades. (Quinta Modalidade) A figura 11 é um diagrama de blocos apresentando a estrutura do aparelho de decodificação de imagem da presente invenção. A figura 11, como um diagrama de blocos com respeito ao aparelho de decodificação de imagem da presente invenção, é um exemplo de um aparelho de decodifica- ção de imagem que realiza as primeira, segunda e terceira modalidades. Sua função será explicada abaixo. A unidade de decodificação de comprimento variável (VLD) decodifica os sinais codificados (Str), emite várias informações (tal como uma ordem para deletar imagens armazenadas na memória de imagem de referência (Mem), a informação de tipo de imagem (PicType), os números de imagem (PN), a informação para a nova designação de números de imagem (PN) e os dados da imagem). A ordem para deletar imagens armazenadas na memória de imagem de referência (Mem) obtida na unidade de decodificação de comprimento variável (VLD) é primeiramente enviada para a unidade de deleção de imagem (PicDel). A unidade de deleção de imagem (PicDel) deleta as imagens especificadas, armazenadas na memória de imagem de referência (Mem). A informação de tipo de imagem (PicType) obtida na unidade de decodificação de comprimento variável (VLD) é enviada para a unidade de decodificação de imagem (PicDec) de modo a apresentar o método de decodificação.Since Figure 10A is simply an example of data location, it is possible to change the order of data as shown in Figure 10B to perform image encoding. It is possible to prepare the image coding apparatus consisting of the units mentioned above which perform the image coding method presented in the first and second embodiments. (Fifth embodiment) Figure 11 is a block diagram showing the structure of the picture decoding apparatus of the present invention. Figure 11, as a block diagram with respect to the picture decoding apparatus of the present invention, is an example of a picture decoding apparatus which performs the first, second and third embodiments. Its function will be explained below. The variable length decoding unit (VLD) decodes the encoded signals (Str), outputs various information (such as an order to delete images stored in reference image memory (Mem), image type information (PicType), image numbers (PN), information for the new designation of image numbers (PN) and image data). The order to delete images stored in reference image memory (Mem) obtained from the variable length decoding unit (VLD) is first sent to the image deletion unit (PicDel). The image deletion unit (PicDel) deletes the specified images stored in the reference image memory (Mem). The image type information (PicType) obtained from the variable length decoding unit (VLD) is sent to the image decoding unit (PicDec) to display the decoding method.

Os números de imagem (PN) obtidos na unidade de decodificação de comprimento variável (VLD) são enviados para a memória de imagem de referência (Mem) como números de imagem (PN) quando armazenando as imagens decodificadas na unidade de decodificação de imagem (PicDec). A informação para a nova-designação de-númere de- imagem (PN) das imagens armazenadas na memória de imagem de referência (Mem), obtida na unidade de decodificação de comprimento variável (VLD), é enviada para a unidade de alteração de número de imagem (PNchg). A unidade de alteração de número de imagem (PNchg) segue a instrução e faz a nova designação de números de imagem (PN) das imagens armazenadas na memória de imagem de referência (Mem). Para ser mais específico, a unidade de alteração de número de imagem (PNchg) lê os números de imagem (PN) das imagens armazenadas na memória de imagem de refe- rência (Mem), faz a nova designação dos valores de números de imagem (PN) lidos e então grava os novos números de imagem (PN) na memória de imagem de referência (Mem).The image numbers (PN) obtained from the variable length decoding unit (VLD) are sent to the reference image memory (Mem) as image numbers (PN) when storing the decoded images in the image decoding unit (PicDec). ). Information for the new image number (PN) reassignment of images stored in the reference image memory (Mem) obtained in the variable length decoding unit (VLD) is sent to the number change unit. (PNchg). The image number change unit (PNchg) follows the instruction and renames image numbers (PN) of the images stored in the reference image memory (Mem). To be more specific, the image number change unit (PNchg) reads the image numbers (PN) of the images stored in the reference image memory (Mem), renames the image number values ( PN) read and then save the new image numbers (PN) to the reference image memory (Mem).

Na unidade de decodificação de imagem (PicDec), os dados de ^ imagem obtidos na unidade de decodificação de comprimento variável (VLD) são decodificados em um método de decodificação adequado para o tipo de imagem especificado, apresentado na informação de tipo de imagem (PicType). Em outras palavras, as imagens I são decodificadas sem referir-se às imagens na memória de imagem de referência (Mem), enquanto as imagens P e as imagens B são decodificadas referindo-se às imagens na memória de imagem de referência (Mem). As imagens decodificadas obtidas deste modo são armazenadas na memória de imagem de referência (Mem) e emitidas como sinais de imagem decodificados (Vout).In the image decoding unit (PicDec), the image data obtained from the variable length decoding unit (VLD) is decoded in a decoding method suitable for the specified image type presented in the image type information (PicType). ). In other words, images I are decoded without referring to images in reference image memory (Mem), while images P and images B are decoded referring to images in reference image memory (Mem). The decoded images obtained in this way are stored in the reference image memory (Mem) and output as decoded image signals (Vout).

Até este ponto, é possível preparar o aparelho de decodificação de imagem consistindo nas unidades mencionadas acima que realizam o método de decodificação de imagem apresentado nas primeira, segunda e terceira modalidades. (Sexta Modalidade) No aparelho de codificação de imagem apresentado na primeira até a quinta modalidades quando trocando-se fluxos em imagens S, os números de imagem das imagens antes daquelas que podem ser trocadas, são trocados de modo a tornar os números de imagem contínuos com os números de imagem das imagens que podem ser trocadas. Nesta sexta modalidade, os números de imagem são trocados nas imagens que-podem ser trocadas.Up to this point, it is possible to prepare the image decoding apparatus consisting of the units mentioned above which perform the image decoding method presented in the first, second and third embodiments. (Sixth Mode) In the image coding apparatus shown in the first through fifth modes when exchanging streams in S images, the image numbers of the images before those that can be exchanged are changed so as to make the image numbers continuous. with the image numbers of the images that can be exchanged. In this sixth embodiment, the image numbers are swapped on switchable images.

Como codificar uma pluralidade de fluxos possuindo uma taxa de imagem ou uma taxa de bits diferente, ou uma estrutura diferente, aqui está um exemplo de um método de troca de fluxo que permite a codificação após trocar as imagens codificadas de uma imagem sob codificação em um fluxo, para uma imagem em outro fluxo. Por conveniência de explicação, a frase mais simples de "trocar fluxos" é utilizada abaixo.How to encode a plurality of streams having a different image rate or bitrate, or a different structure, here is an example of a flow exchange method that allows encoding after exchanging the encoded images of an image under encoding in a stream, to an image in another stream. For convenience of explanation, the simplest phrase "exchange streams" is used below.

Em adição, nesta sexta modalidade, se as imagens a serem co- dificadas devam ou não ser armazenadas na memória de referência, é julgado baseado no incremento no número de imagem, entre as imagens a serem codificadas e as imagens adjacentes à frente das imagens a serem codificadas (Simplesmente, "a imagem precedente" é utilizada abaixo) na ordem de codificação. Para ser específico, quando um incremento no número de imagem entre uma imagem precedente e uma imagem a ser codificada é 1, significa que a imagem a ser codificada está armazenada na memória de referência. Quando o número de imagem da imagem a ser codificada, é o mesmo que o número de imagem da imagem precedente, significa que a imagem corrente não está armazenada na memória de referência. O processamento para trocar os números de imagem, (PN) de imagens que podem ser trocadas, será explicado de forma concreta com referência à figura 12. A figura 12 é um diagrama apresentando um exemplo das relações entre imagens e números de imagem (PN) quando um número de imagem de entrada (Vin) é codificado. Um sinal de imagem idêntico é codificado em taxas de imagem diferentes para formar os fluxos 1,2 e 3. Na figura 12, as imagens estão localizadas de acordo com a ordem de codificação em cada fluxo.In addition, in this sixth embodiment, whether or not the images to be encoded should be stored in reference memory is judged based on the increment in the number of images between the images to be encoded and the adjacent images in front of the images to be encoded. encoded (Simply, "the preceding image" is used below) in the encoding order. To be specific, when an increment in the image number between a preceding image and an image to be encoded is 1, it means that the image to be encoded is stored in reference memory. When the image number of the image to be encoded is the same as the image number of the preceding image, it means that the current image is not stored in the reference memory. The processing for exchanging the image numbers (PN) of exchangeable images will be concretely explained with reference to Figure 12. Figure 12 is a diagram showing an example of the relationships between images and image numbers (PN) when an input image number (Vin) is encoded. An identical image signal is encoded at different image rates to form streams 1,2 and 3. In Figure 12, the images are located according to the encoding order in each stream.

No fluxo 1, os números de imagem (PN) são designados para cada imagem de modo que os números de imagem são incrementados de 1. Além disso, no fluxo 2, existem imagens designadas com os números de imagem (PN) incrementados de 1 e imagens designadas com os mesmos números de imagem (PN) que as imagens precedentes. Além disso, no fluxo 3, números de imagem (PN) são designados para cada imagem de modo que os números de imagem sejam incrementados de 1 como no fluxo 1.In flow 1, the image numbers (PN) are assigned to each image so that the image numbers are incremented by 1. In addition, in flow 2 there are images designated with the image numbers (PN) incremented by 1 and designated images with the same image numbers (PN) as the preceding images. In addition, in stream 3, picture numbers (PN) are assigned to each picture so that the picture numbers are incremented by 1 as in stream 1.

Portanto, à medida que os números de imagem são incrementados de 1 nos fluxos 1 e 3, as imagens a serem codificadas são armazenadas na memória de referência. No fluxo 2, as imagens designadas com os números de imagem (PN) de um modo no qual os números de imagem são incrementados de 1 são armazenadas na memória de referência e as imagens designadas com os mesmos números de imagem (PN) que as imagens precedentes não são armazenadas na memória de referência.Therefore, as the image numbers are incremented by 1 in streams 1 and 3, the images to be encoded are stored in reference memory. In stream 2, images designated with image numbers (PN) in a manner in which image numbers are incremented by 1 are stored in reference memory and images designated with the same image numbers (PN) as images precedents are not stored in reference memory.

Além disso, as imagens designadas com o número de imagem "0" nos fluxos 1,2 e 3 são imagens a serem exibidas no tempo tO. Da mesma forma, os grupos de imagens listadas abaixo são imagens a serem exibidas no mesmo tempo: A imagem F14 no fluxo 1, a imagem F22 no fluxo 2 e a imagem F31 no fluxo 3 são imagens a serem exibidas no tempo t1. A Imagem F18 no fluxo 1, a imagem F24 no fluxo 2 e a imagem F32 no fluxo 3 são imagens a serem exibidas no tempo t2. A imagem F112 no fluxo 1, a imagem F26 no fluxo 2 e a imagem F33 no fluxo 3 são imagens a serem exibidas no tempo t3. A imagem F117 no fluxo 1, a imagem F215 no fluxo 2 e a imagem F34 no fluxo 3 são imagens a serem exibidas no tempo t4. Observe que as imagens F112, F26 e F33 correspondem às imagens S na primeira e na segunda modalidades.In addition, images designated with image number "0" in streams 1,2 and 3 are images to be displayed at time tO. Similarly, the image groups listed below are images to be displayed at the same time: Image F14 in stream 1, image F22 in stream 2, and image F31 in stream 3 are images to be displayed at time t1. Image F18 in stream 1, image F24 in stream 2, and image F32 in stream 3 are images to be displayed at time t2. Image F112 in stream 1, image F26 in stream 2, and image F33 in stream 3 are images to be displayed at time t3. Image F117 in stream 1, image F215 in stream 2, and image F34 in stream 3 are images to be displayed at time t4. Note that images F112, F26 and F33 correspond to images S in the first and second modalities.

Na figura 12, os fluxos são trocados por meio da imagem BP1 e BP2 que existem entre a imagem antes da troca e a imagem após a troca e ambas BP1 e BP2 são imagens de troca a serem codificadas de um modo no qual elas possuam o mesmo tempo que as suas imagens precedentes nos respectivos fluxos de troca.In Figure 12, the streams are swapped through the image BP1 and BP2 that exist between the image before the trade and the image after the trade and both BP1 and BP2 are trade images to be encoded in a manner in which they have the same. their previous images in their respective exchange streams.

Por exemplo, no caso onde a imagem F026 no fluxo 2 (uma imagem no fluxo antes da troca) é trocada para a imagem F113 no fluxo 1 (uma imagem no fluxo após a troca), a imagem de troca BP1 que existe entre F26 e F113 é utilizada como uma imagem no tempo t3. Neste caso, o número de imagem da imagem de troca BP1, que é uma imagem de troca, é alterado para "12" para tornar o número contínuo com o número de imagem 13 da imagem F113 no fluxo após a troca.For example, in the case where image F026 in stream 2 (an image in stream before exchange) is exchanged for image F113 in stream 1 (an image in stream after exchange), the exchange image BP1 that exists between F26 and F113 is used as an image at time t3. In this case, the image number of the exchange image BP1, which is an exchange image, is changed to "12" to make the number continuous with the image number 13 of image F113 in the stream after the exchange.

Além disso, da mesma forma, no caso onde a imagem F32 no fluxo 3 (uma imagem no fluxo antes da troca) é trocada para a imagem F213 no fluxo 2 (uma imagem no fluxo após a troca), a imagem de troca BP2 que existe entre F32 e F213 é utilizada como uma imagem no tempo t3. Neste caso, o número de imagem da imagem de troca BP2, que é uma imagem de troca, é alterado para tornar o número contínuo com o número de imagem 13 da imagem F213 no fluxo após a troca.Also, in the case where the F32 image in stream 3 (an image in the stream before swapping) is swapped to the image F213 in stream 2 (an image in the stream after swapping), the swap image BP2 which exists between F32 and F213 is used as an image at time t3. In this case, the image number of the exchange image BP2, which is an exchange image, is changed to make the number continuous with the image number 13 of image F213 in the flow after the exchange.

Deste modo, por designar os números de imagem (PN) das imagens de troca para tornar os números contínuos com os números de imagem (PN) das imagens no fluxo após a troca, os números de imagem (PN) das imagens no fluxo após a troca são alterados para serem idênticos em qualquer caso de imagens codificadas dentro de cada fluxo ou dos fluxos de troca. A seguir, o processamento para designar os números de imagem (PN) no caso de fluxos de troca será explicado abaixo. A figura 13 é um fluxograma apresentando uma método de codificação após designar os números de imagem (PN) para as respectivas imagens nos fluxos da figura 12.Thus, by designating the image numbers (PN) of the swap images to make the numbers continuous with the image numbers (PN) of the images in the stream after swapping, the image numbers (PN) of the images in the stream after change are changed to be identical in any case for images encoded within each stream or exchange streams. Next, the processing for designating image numbers (PN) in the case of exchange streams will be explained below. Figure 13 is a flow chart showing a coding method after assigning the image numbers (PN) to the respective images in the flows of figure 12.

Na etapa 1401, é julgado se cada uma das imagens a ser codificada é uma imagem S ou não. Quando as imagens correntes são imagens S, os números de imagem (PN) das imagens correntes são alterados para os valores iniciais de M na etapa 1402. Quando as imagens correntes codificadas não são imagens S, os números de imagem (PN) das imagens correntes não são alterados.In step 1401, it is judged whether each of the images to be encoded is an S image or not. When the current images are S images, the image numbers (PN) of the current images are changed to the initial values of M in step 1402. When the encoded current images are not S images, the image numbers (PN) of the current images. do not change.

Na etapa 1403, é julgado se cada uma das imagens a ser codificada é ou não a próxima imagem das imagens S. Quando as imagens correntes são as próximas imagens das imagens S, é julgado se cada uma das imagens S é ou não armazenada na memória na etapa 1404. Quando as imagens correntes não são as imagens próximas das imagens S, é julgado se cada uma das imagens correntes é ou não armazenada na memória na etapa 1405.In step 1403, it is judged whether or not each of the images to be encoded is the next image of the S images. When the current images are the next images of the S images, it is judged whether or not each of the S images is stored in memory. at step 1404. When the current images are not images close to the S images, it is judged whether or not each of the current images is stored in memory at step 1405.

Quando as imagens S são julgadas como sendo armazenadas na memória na etapa 1404, o número de imagem "M" é incrementado de 1 para formar M+1 na etapa 1406, os números de imagem (PN) incrementados substituindo os números de imagem (PN) anteriores.When S images are judged to be stored in memory at step 1404, the image number "M" is incremented by 1 to form M + 1 at step 1406, the incremented (PN) image numbers overwriting the (PN) image numbers. ) previous.

Quando as imagens S não são julgadas como sendo armazenadas na memória na etapa 1404, os números de imagem (PN) são considerados como "M" na etapa 1407. Os números de imagem (PN) não são alterados. Na etapa 1405 é julgado se as imagens a serem codificadas são ou não armazenadas na memória. Quando as imagens correntes são julgadas como sendo armazenadas na memória, os números de imagem (PN) são incrementados de PN+1 na etapa 1408 e os números de imagem (PN) incrementados substituem os números de imagem (PN) anteriores.When S images are not judged to be stored in memory at step 1404, image numbers (PN) are considered to be "M" at step 1407. Image numbers (PN) are not changed. At step 1405 it is judged whether or not the images to be encoded are stored in memory. When current images are judged to be stored in memory, the image numbers (PN) are incremented from PN + 1 at step 1408 and the incremented image numbers (PN) overwrite the previous image numbers (PN).

Quando as imagens a serem codificadas são julgadas como não sendo armazenadas na memória, os números de imagem (PN) não são alterados.When the images to be encoded are judged not to be stored in memory, the image numbers (PN) are not changed.

Na etapa 1409, as imagens desejadas são codificadas. Na etapa 1410, é julgado se todas as imagens correntes foram ou não codificadas. Quando todas as imagens correntes não forem codificadas, a etapa 1401 deverá ser repetida. Quando todas as imagens correntes forem codificadas, a etapa 1410 terminará. O processamento apresentado na figura 13 torna possível produzir fluxos de dados codificados cujos números de imagem (PN) são contínuos nos fluxos após a troca das imagens codificadas.At step 1409, the desired images are encoded. At step 1410, it is judged whether or not all current images have been encoded. When all current images are not encoded, step 1401 should be repeated. When all current images are encoded, step 1410 will end. The processing shown in Fig. 13 makes it possible to produce encoded data streams whose image numbers (PN) are continuous in the streams after exchanging the encoded images.

Além disso, os sinais codificados (Str) produzidos deste modo podem ser decodificados baseado no método de decodificação pelo aparelho de decodificação de imagem na quinta modalidade. Deste modo, o aparelho de decodificação de imagem que decodifica os sinais de codificados na sexta modalidade é realizado.In addition, the encoded signals (Str) produced in this way may be decoded based on the decoding method by the image decoding apparatus in the fifth embodiment. Thus, the picture decoding apparatus which decodes the encoded signals in the sixth embodiment is realized.

Além disso, os métodos de codificação e de codificação apresentados na primeira até a sexta modalidades mencionadas acima podem ser implementados em instrumentos de comunicação móveis tal como telefones celulares e sistemas de navegação de carro e câmaras tal como câmaras de vídeo digitais ou câmaras de aço digitais pela utilização de semicondutores tal como o LSI. Além disso, existem 3 tipos de aparelhos adequados para a implementação: um terminal do tipo envio e recepção com ambos aparelhos de codificação e de decodificação, um terminal de envio somente com um aparelho de codificação e um terminal de recepção somente com um aparelho de decodificação. (Sétima Modalidade) Imagens que devem ser referidas pelas imagens a serem deco- díficadas são apresentadas em uma forma de números de imagem (PN). Além disso, erros de números de imagem (PN) podem ser detectados baseado no aumento e na diminuição nos números de imagem (PN). A figura 14 apresenta o processamento para verificar e corrigir erros de números de imagem (PN) baseado nos números de imagem (PN).In addition, the encoding and encoding methods presented in the first through sixth embodiments mentioned above may be implemented in mobile communication instruments such as mobile phones and car navigation systems and cameras such as digital video cameras or digital steel cameras. using semiconductors such as LSI. In addition there are 3 types of apparatus suitable for implementation: a send and receive terminal with both encoding and decoding apparatus, a sending terminal with an encoding device only and a receiving terminal with a decoding device only . (Seventh Modality) Images to be referred to by the images to be decoded are presented in a form of image numbers (PN). In addition, image number (PN) errors can be detected based on the increase and decrease in image number (PN). Figure 14 shows the processing for checking and correcting image number (PN) errors based on image numbers (PN).

Primeiro, os números de imagem (PN) são detectados na etapa 20. A seguir, os tipos de imagem (PicType) são detectados na etapa 21. Após isto, é julgado se os números de imagem (PN) detectados na etapa A2 são ou não contínuos. Quando os números de imagem (PN) são contínuos na etapa A2, o processamento de verificação e de correção de erro dos números de imagem (PN) está completado. Quando os números de imagem (PN) não são contínuos na etapa A2, os erros devem ser corrigidos na etapa A3. Observe que o processamento para verificar o PN máximo armazenado e designar novamente os "PN"s pode ser executado de um modo a somente ser feito após este processamento de verificação e correção de erro ou simultaneamente feito com este processamento de verificação e correção de erro. O primeiro método imaginável para o processamento de correção de erro na etapa A3 é requisitar o reenvio dos dados com respeito aos números de imagem com erros e a seguir o processamento de verificação de erro dos números de imagem (PN) novamente após receber os dados reenviados. Entretanto, a causa da descontinuação nos números de imagem (PN) das imagens S não é um erro de transmissão. Ou seja, à medida que o número de imagens em cada fluxo armazenado na memória antes das imagens S pode variar no caso onde a descontinuação nos números de imagem (PN) de imagens S é verificada, a imagem cujo número de imagem (PN) é requerido para ser reenviado pode não existir e assim é altamente improvável que uma imagem ausente possa ser enviada. Portanto, as requisições pelas imagens que não podem ser enviadas são feitas interminavelmente, o que pode ser um impedimento ao se exibir as imagens. Por esta razão, como uma medida contrária no caso de problema ao se exibir as imagens, será dada explicação adicional em uma décima modalidade abaixo.First, the image numbers (PN) are detected in step 20. Next, the image types (PicType) are detected in step 21. After this, it is judged whether the image numbers (PN) detected in step A2 are or not continuous. When image (PN) numbers are continuous in step A2, the image number (PN) error checking and error correction processing is completed. When image (PN) numbers are not continuous in step A2, errors should be corrected in step A3. Note that processing to verify the maximum stored PN and reassign the "PN" s can be performed in a manner only to be done after this error checking and correction processing or simultaneously with this error checking and correction processing. The first imaginable method for error correction processing in step A3 is to request the resubmission of the data with respect to the errored image numbers and then the image number (PN) error checking processing again after receiving the resubmitted data. . However, the cause of discontinuation in the image numbers (PN) of the S images is not a transmission error. That is, as the number of images in each stream stored in memory before the S-images may vary in the case where discontinuation in the S-image image (PN) numbers is verified, the image whose image number (PN) is required to be resubmitted may not exist and so it is highly unlikely that a missing image could be sent. Therefore, requests for images that cannot be sent are made endlessly, which can be an impediment when displaying images. For this reason, as a countermeasure in case of problem displaying images, further explanation will be given in a tenth mode below.

Além disso, se o número de imagens no fluxo após a troca na memória na hora de trocar os fluxos não for o mesmo que o de imagens no fluxo original, a exibição das imagens pode não ser feita de forma apropriada.Also, if the number of images in the stream after swapping in memory at the time of swapping flows is not the same as the number of images in the original stream, the images may not be displayed properly.

Primeiro, existem memórias de uma memória FIFO para armazenamento de curto prazo e uma memória para armazenamento de longo prazo que podem diretamente especificar os lugares de armazenamento sem empregar o "primeiro que entra, primeiro que sai" de modo a armazenar as imagens por mais tempo do que a memória mencionada acima para o armazenamento de curto prazo. Quando a memória para o armazenamento de curto prazo pode armazenar 7 imagens e a memória para armazenamento de longo prazo pode armazenar 4 imagens, a imagem de referência é especificada baseado na ordem calculada a partir da memória para armazenamento de curto prazo. Por exemplo, a LT2 utilizada pode ser especificada como a oitava imagem (Idx = 7) na memória para armazenamento de longo prazo. Deste modo, as imagens de referência são especificadas baseado nas posições relativas.First, there are memories of a short-term storage FIFO memory and a long-term storage memory that can directly specify storage locations without employing "first in, first out" so as to store images longer than the memory mentioned above for short term storage. When short-term storage memory can store 7 images and long-term storage memory can store 4 images, the reference image is specified based on the order calculated from short-term storage memory. For example, the LT2 used may be specified as the eighth image (Idx = 7) in memory for long term storage. In this way, reference images are specified based on relative positions.

Quando existem 3 fluxos como apresentado na figura 7, as localizações na memória para especificar imagens idênticas (tal como as imagens S apresentadas na figura 7) variam de fluxo para fluxo como apresentado na figura 2. E quando referindo-se às imagens em outro fluxo a partir das imagens S, as localizações na memória para especificar as imagens de referência variam de acordo com a memória em cada fluxo. Quando existe uma pluralidade de fluxos na hora de trocar os fluxos de um fluxo predeterminado para outro fluxo, as imagens S são aquelas imagens cujas imagens precedentes nos fluxos antes e após a troca são idênticas. Não somente as imagens S mas também as imagens I podem ser as imagens nas quais os fluxos são trocados quando as imagens decodificadas em uma pluralidade de fluxos na memória de referência são exatamente as mesmas e assim as imagens I podem ser utilizadas para o mesmo propósito como as imagens S (para fluxos de troca).When there are 3 streams as shown in figure 7, locations in memory for specifying identical images (such as the S images shown in figure 7) vary from flow to flow as shown in figure 2. And when referring to images in another stream From images S, locations in memory for specifying reference images vary according to the memory in each stream. When there is a plurality of streams at the time of exchanging streams from one predetermined stream to another stream, images S are those images whose images preceding the flows before and after switching are identical. Not only images S but also images I can be images in which streams are exchanged when images decoded into a plurality of streams in reference memory are exactly the same and thus images I can be used for the same purpose as S images (for exchange streams).

Considerando-se várias condições como esta, é difícil especifi- car as imagens de referência corretamente se o número de imagens varia de fluxo para fluxo e é altamente provável que surja qualquer erro mesmo quando as imagens de referência são especificadas.Given various conditions like this, it is difficult to specify reference images correctly if the number of images varies from flow to flow and it is highly likely that any error will arise even when reference images are specified.

Portanto, esta sétima modalidade irá apresentar os métodos de codificação e de decodificação de informação adicional utilizada para evitar um processo de verificação de erro interminável dos números de imagem (PN) ativado por problemas como a descontinuação dos números de imagem (PN) ou pela incongruência no conteúdo da memória. Esta informação adicional (toda a informação de deleção de imagem) é a ordem para apresentar que as imagens, exceto as imagens I e as imagens S a serem codificadas, devem ser deletadas da memória para referência na codificação e na decodificação de modo a impedir qualquer erro de ocorrer no processo de codificação das imagens após codificar imagens I capazes de codificação de intra-imagem e as imagens S mencionadas acima.Therefore, this seventh embodiment will feature the additional information encoding and decoding methods used to avoid an endless image number (PN) error checking process triggered by problems such as image number (PN) discontinuation or incongruity. in memory content. This additional information (all image deletion information) is the order to present that images, except images I and images S to be encoded, should be deleted from memory for reference in encoding and decoding to prevent any error occurs in the image encoding process after encoding images capable of intra-image encoding and the S-images mentioned above.

Este processo torna cada condição de memória idêntica em uma pluralidade de fluxos após trocar os fluxos de um fluxo predeterminado para outro fluxo e torna possível especificar imagens predeterminadas na memória corretamente mesmo quando as imagens de referência são necessárias para a codificação por intra-predição e assim por diante. Além disso, impedir a descontinuação nos números de imagem (PN) de ser detectada e corrigida como um erro resolve o problema de impedir a decodificação causado pelas requisições para reenvio de imagens não-existentes. O método de codificação será explicado abaixo na figura 16A. A figura 16A apresenta o processo de formação de sinais codificados nesta sétima modalidade.This process makes each memory condition identical in a plurality of streams after switching streams from one predetermined stream to another stream and makes it possible to specify predetermined images in memory correctly even when reference images are required for intraprediction coding and so on. on. Also, preventing image number (PN) discontinuation from being detected and corrected as an error solves the problem of preventing decoding caused by requests to resend non-existent images. The encoding method will be explained below in figure 16A. Figure 16A shows the process of forming signals encoded in this seventh embodiment.

Primeiro, os números de imagem (PN) são detectados na etapa 20. A seguir, os tipos de imagem (PicType) são detectados na etapa 21. É julgado se os tipos de imagem detectados são ou não imagens I na etapa A1. Quando os tipos de imagem detectados são imagens I, todas as imagens, exceto as imagens I a serem codificadas na memória, são deletadas na etapa A10. Na etapa A11 seguinte, toda a informação de deleção de imagem significando deletar todas as imagens na memória é codificada e este é o último procedimento da informação adicional de codificação.First, image numbers (PN) are detected in step 20. Next, image types (PicType) are detected in step 21. It is judged whether or not the detected image types are images I in step A1. When the detected image types are I images, all images except the I images to be encoded in memory are deleted in step A10. In the next step A11, all image deletion information meaning deleting all images in memory is encoded and this is the last procedure of the additional encoding information.

Além disso, a etapa A1 na figura 16A pode ser utilizada como uma etapa para julgar se os tipos de imagem são ou não imagens S no mesmo processamento de codificação como apresentado na figura 16B. Além disso, é possível combinar a etapa A1 com a etapa A2 e julgar se os tipos de imagem são imagens I ou imagens S após verificar os tipos de imagem na etapa 21.In addition, step A1 in figure 16A may be used as a step to judge whether or not image types are S images in the same encoding processing as shown in figure 16B. In addition, it is possible to combine step A1 with step A2 and judge whether the image types are I images or S images after checking the image types in step 21.

Como apresentado na figura 17A, quando os tipos de imagem a serem codificadas são revelados como sendo imagens I na etapa A1 na hora da verificação dos tipos de imagem na etapa 21 e quando os números de imagem (PN) são julgados como sendo descontínuos após o julgamento em relação a se os números de imagem são ou não contínuos como o julgamento feito na etapa A3, também é possível deletar todas as imagens, exceto as imagens I a serem codificadas na memória. Por outro lado, quando os números de imagem (PN) são contínuos na etapa A3, as imagens na memória não são deletadas. Quando verificando se as imagens S em relação ao tipos de imagem, a mesma explicação apresentada na figura 17A continua verdadeira. Além disso, é possível combinar a etapa A1 com a etapa A2 e julgar se os tipos de imagem são imagens I ou imagens S após verificar os tipos de imagem na etapa 21.As shown in Figure 17A, when the image types to be encoded are revealed to be images I in step A1 at the time of image type verification in step 21 and when the image numbers (PN) are judged to be discontinuous after Judging with respect to whether or not image numbers are continuous like the judgment made in step A3, it is also possible to delete all images except images I to be encoded in memory. On the other hand, when image numbers (PN) are continuous in step A3, images in memory are not deleted. When checking whether images are S relative to image types, the same explanation given in figure 17A remains true. In addition, it is possible to combine step A1 with step A2 and judge whether the image types are I images or S images after checking the image types in step 21.

Também é possível executar o processamento da etapa 30 julgando se os números de imagens armazenadas na memória são ou não os mesmos de modo a evitar a ocorrência de erros causados pela diferença no número de imagens armazenadas na memória como apresentado na figura 17B após o processamento da etapa A3 apresentado na figura 17A. É possível executar o processamento da etapa A30 antes de ir para o processamento da etapa A3 apresentado na figura 17. E é possível deletar todas as imagens após executar a Etapa A30 antes de executar a Etapa A3 na figura 17B quando os números de imagens variam de fluxo para fluxo e é possível deletar todas as imagens apresentadas na etapa A10 quando os números de imagens não variam de fluxo para fluxo e os números de imagem (PN) são descontínuos (figura 18).You can also perform the processing of step 30 by judging whether or not the numbers of images stored in memory are the same so as to avoid errors caused by the difference in the number of images stored in memory as shown in figure 17B after processing the memory. step A3 shown in figure 17A. You can perform step A30 processing before you go to step A3 processing shown in figure 17. And you can delete all images after performing step A30 before performing step A3 in figure 17B when the number of images varies by flow to flow and it is possible to delete all images shown in step A10 when the image numbers do not vary from flow to flow and the image numbers (PN) are discontinuous (figure 18).

Desse modo, o processamento da figura 17 torna possível manter o armazenamento das imagens que podem ser imagens de referência na memória tantas quantas possíveis e aperfeiçoar a capacidade de diminuição de erros de reprodução de imagens. Como para as imagens I ou imagens S, elas não precisam de correção de erro quando os números de imagens armazenadas na memória variam ou os números de imagem (PN) são descontínuos, o que simplifica o controle da memória no aparelho de codificação.Thus, the processing of Fig. 17 makes it possible to maintain the storage of images that may be reference images in memory as much as possible and to improve the ability to decrease image playback errors. As for I or S images, they do not need error correction when the numbers of images stored in memory vary or the image numbers (PN) are discontinuous, which simplifies memory control in the encoder.

Observe que especificar as imagens I e ordenar a deleção de todas as imagens na memória pode ser apresentado por tipos de imagem que especificam imagens especiais como imagens I. (Oitava Modalidade) A figura 19 é um diagrama de blocos apresentando a estrutura do aparelho de codificação de imagem da presente invenção. O diagrama de blocos do aparelho de codificação de imagem na presente invenção apresentado na figura 19 é um exemplo para realizar o método de codificação de imagem na figura 16. A unidade de geração de número de imagem (PNGen) gera números de imagem (PN). Os números de imagem (PN) são IDs que identificam as imagens armazenadas na memória de imagem de referência (Mem) e para cada imagem diferente armazenada na memória de imagem de referência (Mem) é dado um número de imagem (PN) exclusivo. Normalmente, os números de imagem (PN) são incrementados de 1 cada vez que uma imagem é armazenada na memória de imagem de referência. Se os números de imagem (PN) recebidos no aparelho de decodificação de imagem forem incrementados de 2 ou mais, é possível detectar a ausência de imagens a serem armazenadas na linha de transmissão pelo aparelho de decodificação de imagem e realizar o processamento de correção de erro tal como o aperfeiçoamento de imagem (tornando o erro menos evidente) ou a correção do erro (retransmitindo uma imagem sem erros para reproduzir a imagem).Note that specifying images I and sorting all images in memory can be presented by image types that specify special images as images I. (Eighth Modality) Figure 19 is a block diagram showing the structure of the coding apparatus of the present invention. The block diagram of the image coding apparatus of the present invention shown in Fig. 19 is an example for carrying out the image coding method in Fig. 16. The image number generation unit (PNGen) generates image numbers (PN). . Image numbers (PN) are IDs that identify the images stored in the reference image memory (Mem) and for each different image stored in the reference image memory (Mem) a unique image number (PN) is given. Normally, image numbers (PN) are incremented by 1 each time an image is stored in reference image memory. If the image numbers (PN) received on the image decoder are incremented by 2 or more, it is possible to detect the absence of images to be stored on the transmission line by the image decoder and perform error correction processing. such as image enhancement (making the error less obvious) or error correction (relaying an image without errors to reproduce the image).

Quando a informação de tipo de imagem (PicType) apresenta que as imagens envolvidas são imagens S (correspondendo ao processamento da etapa A2 na figura 16), a unidade de deleção de imagem 3 (Pi-cDel) ordena a memória de imagem de referência (Mem) para deletar as imagens armazenadas na memória de imagem de referência (Mem) exceto as imagens a serem codificadas e envia a informação para a unidade de codificação de comprimento variável (VLC) ao mesmo tempo.When the image type information (PicType) shows that the images involved are S images (corresponding to the processing of step A2 in figure 16), the image deletion unit 3 (Pi-cDel) sorts the reference image memory ( Mem) to delete the images stored in the reference image memory (Mem) except the images to be encoded and send the information to the variable length encoding unit (VLC) at the same time.

Por outro lado, a informação de tipo de imagem (PicType) apresenta que as imagens envolvidas são imagens I (correspondendo ao processamento da etapa A1 na figura 16), a unidade de deleção de imagem (PicDel) ordena a memória de imagem de referência (Mem) para deletar as imagens armazenadas na memória de imagem de referência (Mem) exceto as imagens a serem codificadas e também envia a informação para a unidade de codificação de comprimento variável (VLC) ao mesmo tempo. A unidade de codificação de imagem (PicEnc) refere-se às imagens armazenadas na memória de imagem de referência (Mem) de modo a codificar o sinal de imagem de entrada (Vin) incluindo a conversão de fre-qüência e a quantização quanto aos tipos de imagens apresentados pela informação de tipo de imagem (PicType) e envia o resultado para a unidade de decodificação de imagem (PicDec) ou para a unidade de codificação de comprimento variável (VLC). A unidade de decodificação de imagem (PicDec) inversamente quantiza e converte a freqüência da informação codificada na unidade de codificação de imagem (PicEnc) como tipos de imagem apresentados como informação de tipo de imagem (PicType) e armazena a informação na memória de imagem de referência (Mem) como os números de imagem (PN) para referir-se dessa maneira aos números de imagem na codificação de imagem seguinte. A unidade de codificação de comprimento variável (VLC) executa a codificação de comprimento variável em relação à informação codificada na unidade de codificação de imagem (PicEnc) de modo a formar o fluxo de bits e codifica a informação necessária para decodificação tal como a informação para deletar as imagens armazenadas na memória de imagem de referência (Mem) notificada pela unidade de deleção de imagem 3 (Pi-cDel), números de imagem (PN) e informação de tipo de imagem (PicType) para emitir a informação como sinais codificados (Str). A estrutura dos sinais codificados (Str) na presente invenção será apresentada na figura 10C e 10D. Os dados serão explicados abaixo.On the other hand, the image type information (PicType) shows that the images involved are images I (corresponding to the processing of step A1 in figure 16), the image deletion unit (PicDel) sorts the reference image memory ( Mem) to delete the images stored in the reference image memory (Mem) except the images to be encoded and also sends the information to the variable length encoding unit (VLC) at the same time. The image encoding unit (PicEnc) refers to images stored in reference image memory (Mem) to encode the input image signal (Vin) including frequency conversion and quantization by type. images displayed by the image type information (PicType) and sends the result to the image decoding unit (PicDec) or variable length encoding unit (VLC). The image decoding unit (PicDec) inversely quantizes and converts the frequency of information encoded in the image encoding unit (PicEnc) as image types displayed as image type information (PicType) and stores the information in the image memory of reference (Mem) as the image numbers (PN) to refer in this way to the image numbers in the following image coding. The variable length encoding unit (VLC) performs variable length encoding with respect to the encoded information in the image encoding unit (PicEnc) to form the bit stream and encodes the information required for decoding such as the information for decoding. delete the images stored in the reference image memory (Mem) notified by the image deletion unit 3 (Pi-cDel), image numbers (PN) and image type information (PicType) to output the information as encoded signals ( Str). The structure of the encoded signals (Str) in the present invention will be shown in figures 10C and 10D. The data will be explained below.

Primeiro, os números de imagem (PN) são codificados. A seguir, a informação para deletar as imagens armazenadas na memória de imagem de referência (Mem), então a informação de tipo de imagem (PicType) e os dados de codificação de imagem emitidos pela unidade de codificação de imagem (PicEnc) são localizados. À medida que a figura 10C é meramente um exemplo da localização dos dados, é possível trocar as ordens de codificação dos dados como apresentado na figura 10D. O processamento mencionado acima permite ao aparelho de codificação de imagem realizar o método de codificação de imagem apresentado na figura 16 e proporciona um aparelho de codificação com alta resistência a erro. (Nona Modalidade) A figura 20 é um diagrama de blocos apresentando a estrutura do aparelho de codificação de imagem na presente invenção. O diagrama de blocos do aparelho de codificação de imagem da presente invenção apresentado na figura 20 é um exemplo para realizar o método de codificação de imagem na figura 17. A explicação com respeito às mesmas unidades explicadas na figura 19 será omitida das explicações seguintes. A figura 20 e a figura 19 diferem no processo na unidade de deleção de imagem 4 (PicDel). Para ser específico, quando a informação de tipo de imagem (PicType) apresenta as imagens envolvidas que são imagens S (correspondendo ao processamento da etapa A2 na figura 17) e o número de imagens varia de fluxo para fluxo quando comparando-se os números (correspondendo ao processamento da etapa A30 na figura 17), a unidade de deleção de imagem 4 (PicDel) ordena a memória de imagem de referência (Mem) para deletar as imagens armazenadas na memória de imagem de referência (Mem), exceto as imagens a serem codificadas e envia a informação para a unidade de codificação de comprimento variável (VLC) ao mesmo tempo. O mesmo é feito no caso de imagens I apresentadas pela informação de tipo de imagem (PicType). A estrutura dos sinais codificados da presente invenção é a mesma que as apresentadas na figura 10C e 10D. O processamento mencionado acima permite ao aparelho de codificação de imagem realizar o método de codificação de imagem apresentado na figura 17 e proporciona o aparelho de codificação com alta resistência a erro. (Décima Modalidade) A sétima modalidade acima apresentava que a exibição da imagem pode ser impedida por causa das requisições para reenvio de imagens que não podem ser reenviadas serem repetidamente feitas quando a des-continuação dos números de imagem ocorria em uma imagem S. O método para resolução do problema para o exemplo da exibição de imagem com os problemas causados por esta razão será explicado abaixo. A figura 21A apresenta o processamento para decodificar as imagens codificadas.First, the image numbers (PN) are coded. Next, the information for deleting the images stored in the reference image memory (Mem), then the image type information (PicType) and the image encoding data issued by the image encoding unit (PicEnc) is located. As figure 10C is merely an example of data location, it is possible to change the coding orders of the data as shown in figure 10D. The aforementioned processing allows the image coding apparatus to perform the image coding method shown in Figure 16 and provides a coding apparatus with high error resistance. (Ninth Modality) Figure 20 is a block diagram showing the structure of the image coding apparatus in the present invention. The block diagram of the image coding apparatus of the present invention shown in Fig. 20 is an example for carrying out the image coding method in Fig. 17. The explanation with respect to the same units explained in Fig. 19 will be omitted from the following explanations. Figure 20 and Figure 19 differ in process in the image deletion unit 4 (PicDel). To be specific, when the image type information (PicType) displays the involved images that are S images (corresponding to the processing of step A2 in figure 17) and the number of images varies from flow to flow when comparing the numbers ( corresponding to the processing of step A30 in figure 17), the image deletion unit 4 (PicDel) orders the reference image memory (Mem) to delete the images stored in the reference image memory (Mem) except the images to be deleted. be encoded and sends the information to the variable length encoding unit (VLC) at the same time. The same is done for images I presented by the image type information (PicType). The structure of the encoded signals of the present invention is the same as shown in FIGS. 10C and 10D. The above mentioned processing allows the image coding apparatus to perform the image coding method shown in Fig. 17 and provides the coding apparatus with high error resistance. (Tenth Mode) The seventh mode above stated that image display may be prevented because of requests for resubmission of images that cannot be resubmitted are repeatedly made when the discontinuation of the image numbers occurred in an S image. Troubleshooting for example image display with problems caused by this reason will be explained below. Fig. 21A shows the processing for decoding the encoded images.

Primeiro, os números de imagem (PN) são detectados na etapa 20. A seguir, os tipos de imagem (PicType) são detectados na etapa 21. É julgado se os tipos de imagem detectados são ou não imagens I na etapa A1. Quando os tipos de imagem detectados não são imagens I, É julgado se os números de imagem (PN) são ou não contínuos na etapa A3. Por outro lado, quando os tipos de imagem detectados são imagens I, não existe necessidade de detectar ou de corrigir erros e uma série do processamento termina.First, image numbers (PN) are detected in step 20. Next, image types (PicType) are detected in step 21. It is judged whether or not the detected image types are images I in step A1. When the detected image types are not images I, It is judged whether or not the image numbers (PN) are continuous in step A3. On the other hand, when the detected image types are I images, there is no need to detect or correct errors and a series of processing ends.

Quando os números de imagem (PN) não são contínuos na etapa A3, os erros são corrigidos na etapa A4. Por outro lado, se os números de imagem (PN) são contínuos na etapa A3, a verificação de erro e a correção estão completadas. A correção de erro na etapa A4 pode ser, por exemplo, o pro- cessamento da detecção dos números de imagem (PN) máximos armazenados como explicado na modalidade mencionada acima, ou deletar todas as imagens na memória após receber a informação de deleção de todas as imagens significando deletar todas as imagens na memória no processamento de designar novamente os números de imagem (PN).When image numbers (PN) are not continuous in step A3, errors are corrected in step A4. On the other hand, if the image numbers (PN) are continuous in step A3, error checking and correction are completed. The error correction in step A4 may be, for example, processing the detection of the maximum stored image numbers (PN) as explained in the above mentioned mode, or deleting all images in memory after receiving the deletion information of all images meaning deleting all images in memory in the process of reassigning image numbers (PN).

Como apresentado na figura 21B, da etapa A1 na figura 21 A, o mesmo processamento de codificação pode ser executado como uma etapa de julgar se os tipos de imagem são ou não imagens S. Além disso, é possível combinar a etapa A1 com a etapa A2 e julgar quais tipos de imagem de imagens I ou de imagens S eles possuem após verificar os tipos de imagem na etapa 21.As shown in Fig. 21B of step A1 in Fig. 21A, the same encoding processing can be performed as a step of judging whether or not image types are S images. In addition, it is possible to combine step A1 with step A2 and judge which image types of images I or images S they have after checking the image types in step 21.

Deste modo, é possível evitar o impedimento da decodificação como um resultado de repetir as requisições pelo reenvio de imagens ausentes de modo a corrigir erros quando os números de imagem de imagens I ou de imagens S não são contínuos. Este processamento em uma imagem I é especialmente útil no caso de uma imagem I especial capaz de trocar fluxos. (Décima Primeira Modalidade) A figura 22 é um diagrama de blocos apresentando a estrutura do aparelho de decodificação de imagem da presente invenção. O diagrama de blocos do aparelho de decodificação de imagem da presente invenção apresentado na figura 22 apresenta um exemplo para realizar o método de decodificação de imagem apresentado na figura 21. A explicação com respeito às mesmas unidades como explicadas na figura 11 será omitida das explicações seguintes. O ponto diferente da figura 22 da figura 11 é o processamento na unidade de verificação de erro (ErrChk) utilizando os tipos de imagem (PicType) pela unidade de verificação de número de imagem (PNchk). Para ser específico, quando os números de imagem (PN) a serem informados na unidade de verificação de número de imagem (PNchk) não são contínuos e os tipos de imagem não são imagens I, nem imagens S, uma ordem de correção de erro (Err) é emitida pela unidade de verificação de erro (ErrChk).In this way, it is possible to avoid decoding impediment as a result of repeating requests by resubmitting missing images in order to correct errors when the image numbers of images I or images S are not continuous. This processing on an I image is especially useful for a special I image capable of exchanging flows. (Eleventh Modality) Figure 22 is a block diagram showing the structure of the picture decoding apparatus of the present invention. The block diagram of the picture decoding apparatus of the present invention shown in Fig. 22 shows an example for carrying out the picture decoding method shown in Fig. 21. The explanation with respect to the same units as explained in Fig. 11 will be omitted from the following explanations. . The different point from figure 22 of figure 11 is processing in the error checking unit (ErrChk) using the image types (PicType) by the image number verification unit (PNchk). To be specific, when the image numbers (PN) to be entered in the image number verification unit (PNchk) are not continuous and the image types are neither images I nor images S, an error correction order ( Err) is issued by the error checking unit (ErrChk).

Com uma ordem de correção de erro, o processamento tal como a verificação do PN máximo armazenado, a nova designação de PN ou a deleção de todas as imagens na memória de acordo com a informação de deleção de todas as imagens significando deletar todas as imagens na memória. O processamento mencionado acima permite ao aparelho de codificação de imagem realizar o método de codificação de imagem apresentado na figura 21 e proporciona um aparelho de decodificação com alta resistência a erro. (Décima Segunda Modalidade) Esta modalidade explica outras medidas contrárias contra uma verificação de erro interminável de números de imagem (PN) causada por problemas tal como descontinuação dos números de imagem (PN) ou incongruência no conteúdo da memória. Esta décima segunda modalidade difere da sétima modalidade pelo fato de que os números de imagem (PN) são novamente designados de "0" quando todas as imagens são deletadas após a mesma etapa de deletar todas as imagens na codificação apresentada na sétima modalidade.With an error correction order, processing such as checking the maximum stored PN, reassigning PN, or deleting all images in memory according to the deletion information of all images means deleting all images in the memory. memory. The processing mentioned above allows the image coding apparatus to perform the image coding method shown in Fig. 21 and provides a decoding apparatus with high error resistance. (Twelfth Mode) This mode explains other countermeasures against an endless error checking of image numbers (PN) caused by problems such as discontinuation of image numbers (PN) or inconsistency in memory contents. This twelfth mode differs from the seventh mode in that image numbers (PN) are again designated "0" when all images are deleted after the same step of deleting all images in the coding presented in the seventh mode.

Este processo torna as respectivas condições de memória em uma pluralidade de fluxos idênticas após trocar os fluxos de um fluxo predeterminado para outro fluxo e inicializa os números de imagem (PN) e portanto torna possível de forma correta especificar as imagens predeterminadas na memória mesmo quando as imagens de referência são requeridas na codificação por íntra-predição e assim por diante. Também é possível resolver o problema de impedir a decodificação quando trocando-se os fluxos codificados a serem decodificados a partir do fluxo predeterminado para outro fluxo evitando corrigir qualquer descontinuação de número de imagem como erros.This process makes the respective memory conditions into a plurality of identical streams after exchanging the streams from one predetermined stream to another stream and initializing the image numbers (PN) and therefore makes it possible to correctly specify the predetermined images in memory even when the same ones occur. reference images are required for inter-prediction coding and so on. It is also possible to solve the problem of preventing decoding when switching the encoded streams to be decoded from the predetermined stream to another stream by avoiding correcting any image number discontinuation as errors.

Como explicado, para cada imagem no fluxo é dado um número de imagem (PN) exclusivo contínuo em ordem de tempo de exibição nos fluxos codificados obtidos por se codificar as imagens em movimento. A razão pela qual os números de imagem (PN) são dados números de imagem exclusivos (PN) contínuos em ordem de tempo de exibição é que isto torna possível verificar a ausência de imagens no fluxo codificado causada por um erro na linha de transmissão no caso onde o aparelho de decodificação de imagem recebe o fluxo codificado por meio da linha de transmissão. Quando o número de imagem (PN) de uma imagem a ser informada na ordem de tempo de exibição é incrementado de 2 ou mais enquanto o fluxo codificado recebido está sendo decodificado, este aparelho de decodificação de imagem pode verificar o erro de transmissão ocorrido logo antes da hora de recepção da imagem envolvida e requisitar ao remetente para reenviar as imagens ausentes. Portanto, contanto que o aparelho de decodificação de imagem esteja decodificando um fluxo codificado de forma contínua, ele pode verificar erros de transmissão de forma eficaz e receber as imagens ausentes reenviadas para decodificar os fluxos codificados de forma perfeita.As explained, each image in the stream is given a unique continuous image number (PN) in order of display time in the encoded streams obtained by encoding the moving images. The reason that image numbers (PN) are given continuous unique image numbers (PN) in order of display time is that this makes it possible to verify the absence of images in the encoded stream caused by a transmission line error in the case. where the picture decoding apparatus receives the encoded stream through the transmission line. When the image number (PN) of an image to be informed in the order of display time is incremented by 2 or more while the received encoded stream is being decoded, this image decoder can check the transmission error that occurred just before it. time of receipt of the wrapped image and have the sender resend the missing images. Therefore, as long as the image decoder is decoding a continuously encoded stream, it can effectively check transmission errors and receive the missing resubmitted images to decode the encoded streams perfectly.

Entretanto, esta verificação de erro causa um pequeno e rápido aumento do processamento de verificação de erro interminável, no caso do aparelho de decodificação de imagem utilizado para continuar a decodificação após trocar para outro fluxo codificado com uma taxa de imagem diferente enquanto decodificando-se um fluxo codificado após informar uma pluralidade de fluxos codificados obtidos por se codificar a mesma imagem em movimento em uma taxa de imagem diferente. A causa deste pequeno e rápido aumento é que os números de imagem (PN) de imagens exceto a primeira imagem em cada fluxo variam entre as imagens codificadas com taxas de imagem diferentes, mesmo no caso de imagens a serem exibidas ao mesmo tempo, em outras palavras, os números de imagem (PN) são contínuos dentro de cada fluxo codificado na ordem de tempo de exibição. Portanto, quando o alvo da decodificação é trocado para outro fluxo no meio da decodificação de um fluxo codificado em um aparelho de decodificação de imagem, os números de imagem (PN) são descontínuos mesmo no caso de imagens a serem exibidas ao mesmo tempo. O método de codificação utilizando informação adicional (a informação de deleção de todas as imagens) foi explicado na sétima modalidade de modo a evitar a verificação de erro interminável de números de imagem (PN) causada por problemas tal como descontinuação de números de imagem (PN) ou incongruência do conteúdo da memória deste modo. Esta informação adicional é a ordem para deletar todas as imagens, exceto as imagens a serem codificadas a partir da memória para referência ao se codificar ou decodificar de modo que não deve ocorrer qualquer erro na hora de trocar os fluxos no processo de codificação de imagem após codificar imagens I para a codificação intra ou para as imagens S mencionadas acima. O método de codificação será explicado abaixo utilizando a figura 23. A figura 23 apresenta o processo de formação de sinais codificados nesta décima segunda modalidade.However, this error checking causes a slight and rapid increase in endless error checking processing in the case of the image decoder used to continue decoding after switching to another encoded stream with a different image rate while decoding a encoded stream after informing a plurality of encoded streams obtained by encoding the same moving image at a different image rate. The cause of this small and rapid increase is that image numbers (PN) of images except the first image in each stream vary between images encoded with different image rates, even for images to be displayed at the same time in other images. words, image numbers (PN) are continuous within each encoded stream in order of display time. Therefore, when the decoding target is switched to another stream in the middle of decoding a coded stream in an image decoding apparatus, the image numbers (PN) are discontinuous even in the case of images being displayed at the same time. The coding method using additional information (the deletion information of all images) has been explained in the seventh embodiment to avoid endless error checking of image numbers (PN) caused by problems such as discontinuation of image numbers (PN). ) or incongruity of the contents of the memory in this way. This additional information is the order to delete all images except images to be encoded from memory for reference when encoding or decoding so that no error should occur when switching streams in the image encoding process after encode images I for intra coding or for the S-images mentioned above. The coding method will be explained below using Figure 23. Figure 23 shows the process of forming signals encoded in this twelfth embodiment.

Primeiro, os números de imagem (PN) são detectados na etapa 1. A seguir, os números de imagem (PN) detectados na etapa 1 são codificados na etapa 2. Além disso, os tipos de imagem (PicType) são detectados na etapa 3. Na etapa 3, é julgado se os tipos de imagem detectados são ou não imagens S.First, the image numbers (PN) are detected in step 1. Next, the image numbers (PN) detected in step 1 are also encoded in step 2. In addition, the image types (PicType) are detected in step 3 In step 3, it is judged whether or not the detected image types are S images.

Quando os tipos de imagem detectados são imagens S, a informação de deleção de todas as imagens significando deletar todas as imagens na memória é codificada na etapa 5. A seguir, as imagens S são codificadas na etapa 6A. Além disso, os números de imagem são inicializados na etapa 7 e na etapa 8 seguinte, todas as imagens, exceto as imagens S a serem codificadas na memória, são deletadas na etapa 8. Até este ponto, o processamento de codificar a informação adicional e inicializar os números de imagem (PN) termina.When the detected image types are S images, the deletion information of all images meaning deleting all images in memory is encoded in step 5. Next, the S images are encoded in step 6A. In addition, the image numbers are initialized in step 7 and the next step 8, all images except the S images to be encoded in memory are deleted in step 8. Up to this point, the processing of encoding additional information and initialize the image numbers (PN) ends.

Como os números de imagem (PN) são contínuos a não ser que os tipos de imagem detectados sejam imagens S, estas imagens são codificadas na etapa 6B, mas o processamento é completado sem codificar a informação adicional, inicializando os números de imagem (PN) e deletando todas as imagens A inicialização dos números de imagem (PN) na etapa 7 é de modo tal a fornecer o número de imagem de "0" para as imagens S codificadas. Em outras palavras, inicializar os números de imagem (PN) das imagens S significa fornecer para as imagens após as imagens S na ordem de tempo de exibição novos números de imagem (por exemplo, PN 1) começando a partir do número de imagem (PN 0) das imagens S. Por conse-qüência, os números de imagem (PN) são inicializados após codificar as imagens S (ou seja, após codificar os números de imagem (PN) das imagens S). O julgamento em relação a se as imagens são ou não imagens S é feito na etapa 4, o julgamento em relação a se as imagens são ou não imagens I, pode ser feito. Além disso, quando existe uma etapa para deletar todas as imagens na etapa 23A, os números de imagem (PN) devem ser inicializados simultaneamente devido a se as imagens forem ou não imagens I ou imagens S, não é um padrão de julgamento único quanto a se os números de imagem (PN) devem ser inicializados. Além disso, o processamento de codificação de número de imagem (PN) na Etapa 2 pode ser executado em qualquer tempo entre o processamento de verificação do número de imagem na etapa 1 e o processamento de inicialização de número de imagem na etapa 7. Além disso, é possível inicializar os números de imagem (PN) na etapa 7 após deletar todas as imagens, exceto as imagens S a serem codificadas na memória, na etapa 8. Além disso, o processamento para codificar a informação de deleção de todas as imagens significando deletar todas as imagens na memória na etapa 5 é o processamento após o julgamento quanto a se as imagens são ou não imagens S e pode ser executado a qualquer tempo antes do processamento apresentado na figura 23A ter terminado. Além disso, é possível não codificar a informação adicional utilizando tipos de imagem especiais (PicType) que incluem a informação adicional significando deletar todas as imagens, exceto as imagens a serem codificadas a partir da memória para referência na codificação ou na decodificação. A nova designação dos números de imagem (PN) de modo a trocar os fluxos nas imagens S ou nas imagens I é eficaz, mas a eficácia não está limitada ao caso onde fluxos são trocados nas imagens S ou nas imagens I, em outras palavras, os números de imagem (PN) podem ter a nova designação do mesmo modo contanto que outras imagens tal como as imagens P sejam capazes de trocar os fluxos e que exista uma etapa para deletar todas as imagens desnecessárias para referência. A figura 24 é um diagrama de blocos apresentando a estrutura do aparelho de codificação de imagem capaz de realizar o método de codificação na décima segunda modalidade. A unidade de geração de número de imagem (PNGen) gera números de imagem (PN). Os números de imagem (PN) são IDs que identificam as imagens armazenadas na memória de imagem de referencia (Mem), para cada imagem armazenada na memória de imagem de referência (Mem) é dado um número de imagem (PN) exclusivo. Basicamente, os números de imagem (PN) são incrementados de 1 cada vez que uma imagem é armazenada na memória de imagem de referência (Mem). Além disso, os números de imagem (PN) das imagens S correntes são inicializados para "0" após as imagens S serem codificadas de acordo com a notificação a partir da unidade de codificação de imagem (PicEnc).Since image numbers (PN) are continuous unless the detected image types are S images, these images are encoded in step 6B, but processing is completed without encoding additional information by initializing the image numbers (PN). and deleting all images The initialization of the image numbers (PN) in step 7 is such as to provide the image number of "0" for the encoded S images. In other words, initializing the image numbers (PN) of the S images means providing for the images after the S images in the display order of time new image numbers (eg PN 1) starting from the image number (PN). 0) of the S images. As a result, the image numbers (PN) are initialized after coding the S images (i.e. after coding the image numbers (PN) of the S images). Judgment as to whether or not images are S images is made in step 4, judgment as to whether or not images are S images can be made. In addition, when there is a step to delete all images in step 23A, the image numbers (PN) must be initialized simultaneously because whether the images are I images or S images is not a single judgment standard for whether the image numbers (PN) should be initialized. In addition, image number (PN) encoding processing in Step 2 can be performed at any time between the image number verification processing in step 1 and the image number initialization processing in step 7. In addition , it is possible to initialize the image numbers (PN) in step 7 after deleting all images except the S images to be encoded in memory in step 8. In addition, processing to encode the deletion information of all images meaning Deleting all images in memory in step 5 is post-judgment processing as to whether or not the images are S images and can be performed at any time before the processing shown in Figure 23A has ended. In addition, it is possible not to encode additional information using special image types (PicType) which include additional information meaning to delete all images except images to be encoded from memory for reference in encoding or decoding. Reassigning image numbers (PN) to exchange streams in S images or I images is effective, but effectiveness is not limited to the case where streams are exchanged in S images or I images, in other words, image numbers (PN) may be renamed in the same way as long as other images such as P images are capable of exchanging flows and there is a step to deleting all unnecessary images for reference. Fig. 24 is a block diagram showing the structure of the image coding apparatus capable of performing the coding method in the twelfth embodiment. The image number generation unit (PNGen) generates image numbers (PN). Image numbers (PN) are IDs that identify images stored in reference image memory (Mem), for each image stored in reference image memory (Mem) a unique image number (PN) is given. Basically, image numbers (PN) are incremented by 1 each time an image is stored in reference image memory (Mem). In addition, the image numbers (PN) of the current S images are initialized to "0" after the S images are encoded according to the notification from the image encoding unit (PicEnc).

Quando a informação de tipo de imagem (PicType) apresenta que as imagens são imagens S (correspondendo ao processamento da etapa 3 na figura 23), a unidade de deleção de imagem 5 (PicDel) notifica a memória de imagem de referência (Mem) de uma ordem para deletar as imagens, exceto as imagens a serem codificadas (informação de deleção de todas as imagens) armazenadas na memória de imagem de referência (Mem) e notifica a unidade de codificação de comprimento variável (VLC) da informação ao mesmo tempo. A unidade de codificação de imagem (PicEnc) refere-se às imagens armazenadas na memória de imagem de referência (Mem) de modo a codificar o sinal de imagem de entrada (Vin) nos tipos de imagem apresentados pela informação de tipo de imagem (PicType) simultaneamente executando a conversão de freqüência e a quantização e envia os resultado para a unidade de decodificação de imagem (PicDec) e para a unidade de codificação de comprimento variável (VLC). Além disso, a unidade de codificação de imagem (PicEnc) notifica a unidade de geração de número de imagem 2 (PNGen) da ordem para inicializar os números de imagem (PN) após codificar as imagens S. A unidade de decodificação de imagem (PicDec) de forma inversa quantiza e de forma inversa converte a informação codificada na unidade de codificação de imagem (PicEnc) nos tipos de imagem apresentados como a informação de tipo de imagem (PicType) e armazena a informação na memória de imagem de referência (Mem) associando com os números de imagem (PN) de modo a referir-se aos tipos de imagem na codificação de imagem seguinte. A unidade de codificação de comprimento variável (VLC) executa a codificação de comprimento variável em relação à informação codificada na unidade de codificação de imagem (PicEnc) de modo a formar um fluxo de bits e codifica a informação necessária na decodificação, tal como a informação para deletar as imagens armazenadas na memória de imagem de referência (Mem) (ou seja, a informação de deleção de todas as imagens) notificada pela unidade de deleção de imagem 5 (PicDel), os números de imagem (PN) e a informação de tipo de imagem (PicType) para emitir a informação como os sinais codificados (Str). A seguir, o método de decodificação será explicado abaixo utilizando a figura 23B. A figura 23B apresenta o processamento de decodificação dos sinais codificados.When the image type information (PicType) shows that the images are S images (corresponding to the processing of step 3 in figure 23), the image deletion unit 5 (PicDel) notifies the reference memory (Mem) of an order to delete the images except the images to be encoded (deletion information of all images) stored in the reference image memory (Mem) and notify the variable length encoding unit (VLC) of the information at the same time. The image encoding unit (PicEnc) refers to images stored in the reference image memory (Mem) to encode the input image signal (Vin) into the image types displayed by the image type information (PicType). ) simultaneously performing frequency conversion and quantization and send the results to the image decoding unit (PicDec) and the variable length encoding unit (VLC). In addition, the image encoding unit (PicEnc) notifies the image number generation unit 2 (PNGen) of the order to initialize the image numbers (PN) after encoding the S images. The image decoding unit (PicDec) ) inversely quantizes and inversely converts the encoded information in the image encoding unit (PicEnc) to the image types displayed as the image type information (PicType) and stores the information in the reference image memory (Mem). associating with image numbers (PN) to refer to the image types in the following image encoding. The variable length encoding unit (VLC) performs the variable length encoding with respect to the encoded information in the image encoding unit (PicEnc) to form a bit stream and encodes the information required in decoding, such as the information. to delete the images stored in the reference image memory (Mem) (ie the deletion information of all images) notified by the image deletion unit 5 (PicDel), the image numbers (PN) and the image information. image type (PicType) to output information as encoded signals (Str). In the following, the decoding method will be explained below using figure 23B. Fig. 23B shows the decoding processing of the encoded signals.

Primeiro, os números de imagem (PN) são decodificados na etapa 9. A seguir, é julgado se a informação de deleção de todas as imagens está ou não codificada na etapa 10.First, the image numbers (PN) are decoded in step 9. Next, it is judged whether or not the deletion information of all images is encoded in step 10.

Quando a informação de deleção de todas as imagens é julgada como estando codificada na etapa 10, a informação de deleção de todas as imagens é decodificada na etapa 11. Além disso, as imagens são decodificadas na etapa 12A. Após isto, todas as imagens, exceto as imagens a serem decodificadas na memória, são deletadas na etapa 13 e os números de imagem (PN) são inicializados na etapa 14. Até este ponto, o processamento para decodificar a informação adicional e para inicializar os números de imagem (PN) termina.When the deletion information of all images is judged to be encoded in step 10, the deletion information of all images is decoded in step 11. In addition, the images are decoded in step 12A. After this, all images except the images to be decoded into memory are deleted in step 13 and the image numbers (PN) are initialized in step 14. Up to this point, processing to decode additional information and to initialize the image numbers (PN) ends.

Quando a informação de deleção de todas as imagens é julgada como não estando codificada na etapa 10, as imagens são decodificadas na etapa 12B e o processamento para decodificar a informação adicional e ini-cializar os números de imagem (PN) é completado na etapa 12B. A inicialização dos números de imagem (PN) na etapa 14 é tal de modo a fornecer o número de imagem de "O" para as imagens decodificadas. Em outras palavras, quando decodificando-se os sinais codificados de acordo com o procedimento de codificação apresentado na figura 23A, inicializar os números de imagem (PN) das imagens S significa fornecer para as imagens após as imagens S na ordem de tempo de exibição, novos números de imagem contínuos começando a partir do número de imagem das imagens S.When the deletion information of all images is judged not to be encoded in step 10, the images are decoded in step 12B and processing to decode additional information and initialize image numbers (PN) is completed in step 12B . Initializing the image numbers (PN) in step 14 is such as to provide the image number of "O" for the decoded images. In other words, when decoding the encoded signals according to the encoding procedure shown in Fig. 23A, initializing the image numbers (PN) of the S images means providing for the images after the S images in the order of display time, new continuous image numbers starting from the image number of the S images.

Quando existe uma etapa para deletar todas as imagens na figura 23B, o processamento para inicializar os números de imagem (PN) é necessário, em outras palavras, o julgamento quanto a se os números de imagem devem ou não ser inicializados não é influenciado pelos tipos de imagem a serem decodificadas. Além disso, o processamento para inicializar os números de imagem (PN) na etapa 14 pode ser executado antes do processamento para deletar todas as imagens, exceto as imagens a serem codificadas, na memória na etapa 13. É possível não codificar a informação adicional por utilizar tipos de imagem (PicType) especiais que incluam a informação adicional significando deletar todas as imagens, exceto as imagens a serem decodificadas a partir da memória para referência, na decodi-ficação. A figura 25 é um diagrama de blocos apresentando a estrutura do aparelho de decodificação de imagem que realiza o método de decodifi-cação desta décima segunda modalidade. A unidade de decodificação de comprimento variável (VLD) decodifica os sinais codificados (Str) e emite várias informações (tal como uma ordem para deletar as imagens armazenadas na memória de imagem de referência (Mem), a informação de tipo de imagem (PicType), os números de imagem (PN), a informação para a nova designação dos números de imagem (PN) e os dados da imagem).When there is a step to delete all images in figure 23B, processing to initialize image numbers (PN) is necessary, in other words, judgment as to whether or not image numbers should be initialized is not influenced by the types. to be decoded. In addition, processing to initialize the image numbers (PN) in step 14 may be performed prior to processing to delete all images except the images to be encoded in memory in step 13. It is not possible to encode additional information by use special PicType types that include additional information meaning to delete all images except images to be decoded from memory for reference in decoding. Figure 25 is a block diagram showing the structure of the image decoding apparatus which performs the decoding method of this twelfth embodiment. The variable length decoding unit (VLD) decodes the encoded signals (Str) and outputs various information (such as an order to delete images stored in reference image memory (Mem), image type information (PicType). , image numbers (PN), information for the new designation of image numbers (PN) and image data).

Primeiro, a ordem para deletar as imagens armazenadas na memória de imagem de referência (Mem) obtida na unidade de decodifica-ção de comprimento variável (VLD) (informação de deleção de todas as imagens) é enviada para a unidade de deleção de imagem 6 (PicDel). A seguir, a unidade de deleção de imagem 6 (PicDel) deleta as imagens especificadas armazenadas na memória de imagem de referência (Mem). A informação de tipo de imagem (PicType) obtida na unidade de decodificação de comprimento variável (VLD) é enviada para a unidade de decodificação de imagem (PicDec) para especificar o método de decodificação.First, the order to delete the images stored in the reference image memory (Mem) obtained in the variable length decoding unit (VLD) (deletion information of all images) is sent to the image deletion unit 6. (PicDel). The image deletion unit 6 (PicDel) then deletes the specified images stored in the reference image memory (Mem). The image type information (PicType) obtained from the variable length decoding unit (VLD) is sent to the image decoding unit (PicDec) to specify the decoding method.

Os números de imagem (PN) obtidos na unidade de decodificação de comprimento variável (VLD) é enviada para a memória de imagem de referência (Mem) para ser utilizada como os números de imagem (PN) na hora de armazenar as imagens decodificadas na unidade de decodificação de imagem (PicDec). A informação de deleção de todas as imagens obtida na unidade de decodificação de comprimento variável (VLD) é enviada para a unidade de alteração de número de imagem 2 (PNchg). A unidade de alteração de número de imagem 2 (PNchg) faz a nova designação (inicializa) dos números de imagem (PN) das imagens armazenadas na memória de imagem de referência (Mem) de acordo com a ordem. Para ser específico, após todas as imagens, exceto as imagens a serem decodificadas (as imagens S), na memória de imagem de referência, a unidade de alteração de número de imagem 2 (PNchg) lê os números de imagem (PN) das imagens armazenadas na memória de imagem de referência (Mem), altera os valores dos números de imagem (PN) lidos para "0" e grava os números de imagem (PN) na memória de imagem de referência (Mem).The image numbers (PN) obtained from the variable length decoding unit (VLD) are sent to the reference image memory (Mem) for use as the image numbers (PN) at the time of storing the decoded images on the unit. picture decoding (PicDec). All image deletion information obtained from the variable length decoding unit (VLD) is sent to the image number change unit 2 (PNchg). The image number change 2 (PNchg) unit re-assigns (initializes) the image numbers (PN) of the images stored in the reference image memory (Mem) in order. To be specific, after all images except the images to be decoded (the S images) in the reference image memory, the image number change unit 2 (PNchg) reads the image numbers (PN) of the images. stored in the reference image memory (Mem), changes the values of the image numbers (PN) read to "0" and records the image numbers (PN) in the reference image memory (Mem).

Os dados da imagem obtidos na unidade de decodificação de comprimento variável (VLD) são decodificados utilizando-se o método de decodificação baseado no tipo de imagem apresentado pela informação de tipo de imagem (PicType) na unidade de decodificação de imagem (PicDec). Em outras palavras, as imagens P e as imagens B são decodificadas referindo-se às imagens armazenadas na memória de imagem de referência (Mem) enquanto as imagens I são decodificadas sem referir-se às imagens na memória de imagem de referência. As imagens decodificadas obtidas deste modo são armazenadas na memória de imagem de referência (Mem) e emitidas como sinais de imagem decodificados (Vout). A estrutura mencionada acima torna possível realizar o aparelho de decodificação de imagem para realizar o método de decodificação de imagem apresentado na figura 23 e proporciona um aparelho de decodificação com alta resistência a erro. O processamento dos métodos de codificação e de decodificação apresentados nesta décima segunda modalidade tornam as condições da memória em uma pluralidade de fluxos idênticos após trocar os fluxos de um fluxo predeterminado para outro fluxo e assim torna possível de forma correta especificar as imagens predeterminadas na memória mesmo quando as imagens de referência são requeridas na codificação por intra-predição e assim por diante. É possível alterar imagens I para imagens especiais nas quais os fluxos podem ser reproduzidos por se deletar todas as imagens na memória de referência quando utilizando-se imagens I ao mesmo tempo que a modalidade mencionada acima explica que a informação adicional (a informação de deleção de todas as imagens) e os tipos de imagem (PicType) podem ser codificados todos de uma vez. Estas imagens I especiais são chamadas de Renovadoras Instantâneas do Decodificador (IDR). Uma imagem IDR é eficaz como uma imagem I principal do Grupo de Imagens (GOP) porque as imagens IDR tornam-se uma posição inicial de acesso aleatório. Por determinar que todas as imagens, exceto as imagens correntes na memória, são deletadas e os números de imagem (PN) são inicializados após a codificação das imagens correntes cada vez que estas imagens IDR são codificadas, não existe necessidade de codificar informação adicional, mesmo quando todas as imagens, exceto as imagens correntes na memória, são deletadas no aparelho de decodificação de imagem. Neste caso, o aparelho de decodificação de imagem detecta as imagens IDR nos fluxos codificados baseado nos tipos de imagem, deleta todas as imagens, exceto as imagens IDR correntes na memória e inicializa os números de imagem (PN) após codificar e decodificar as imagens IDR correntes mesmo quando qualquer informação adicional não é codificada cada vez que as imagens IDR são decodificadas. (Décima Terceira Modalidade) Além disso, armazenar programas para realizar as estruturas dos métodos de codificação e de decodificação de imagem apresentados nas modalidades mencionadas acima em um meio de armazenamento tal como um disco flexível torna possível facilmente executar o processamento apresentado nas modalidades acima no sistema de computador independente. A figura 26 é uma ilustração com respeito ao meio de armazenamento para armazenar o programa para realizar os métodos de codificação e de decodificação apresentados na primeira até a décima segunda modalidades mencionadas acima nos sistemas de computador. A figura 26B apresenta um disco flexível e uma vista frontal e a vista em seção transversal da aparência do disco flexível e a figura 26A apresenta um exemplo de um formato físico de um disco flexível como um corpo do meio de gravação. Um disco flexível (FD) está contido em um invólucro F, uma pluralidade de trilhas (Tr) são formadas de forma concêntrica na superfície do disco a partir da periferia para dentro do raio interno do disco e cada trilha é dividida em 16 setores (Se) na direção angular. Portanto, no caso do disco flexível armazenando o programa mencionado acima, o método de codificação de imagem e o método de decodificação de imagem como o programa é gravado em uma área alocada para o mesmo no disco flexível (FD).Image data obtained from the variable length decoding unit (VLD) is decoded using the image type based decoding method presented by the image type information (PicType) in the image decoding unit (PicDec). In other words, images P and images B are decoded by referring to images stored in reference image memory (Mem) while images I are decoded without referring to images in reference image memory. The decoded images obtained in this way are stored in the reference image memory (Mem) and output as decoded image signals (Vout). The aforementioned structure makes it possible to realize the image decoding apparatus to perform the image decoding method shown in Fig. 23 and provides a decoding apparatus with high error resistance. The processing of the encoding and decoding methods presented in this twelfth embodiment makes the memory conditions in a plurality of identical streams after exchanging the streams from one predetermined stream to another stream and thus makes it possible to correctly specify the predetermined images in the same memory. when reference images are required for intra-prediction coding and so on. It is possible to change I images to special images in which streams can be reproduced by deleting all images in the reference memory when using I images at the same time as the above mentioned mode explains that the additional information (the deletion information of all images) and image types (PicType) can be encoded all at once. These special images are called Instant Decoder Renewers (IDR). An IDR image is effective as a master Image Group I (GOP) image because IDR images become a random access home position. By determining that all images except the current images in memory are deleted and the image numbers (PN) are initialized after encoding the current images each time these IDR images are encoded, there is no need to encode additional information even when all images except the current memory images are deleted on the image decoder. In this case, the image decoder detects IDR images in encoded streams based on image types, deletes all images except the current IDR images in memory, and initializes the image numbers (PN) after encoding and decoding the IDR images. even when any additional information is not encoded each time the IDR images are decoded. (Thirteenth Modality) In addition, storing programs for realizing the structures of the encoding and decoding methods presented in the above mentioned modalities on a storage medium such as a floppy disk makes it possible to easily perform the processing presented in the above modalities in the system. independent computer Figure 26 is an illustration with respect to the storage medium for storing the program for performing the encoding and decoding methods set forth in the first through twelfth embodiments mentioned above in computer systems. Figure 26B shows a floppy disk and a front view and cross-sectional view of the appearance of the floppy disk and Figure 26A shows an example of a physical format of a floppy disk as a body of the recording medium. A floppy disk (FD) is contained in a shell F, a plurality of tracks (Tr) are concentricly formed on the disk surface from the periphery into the inner radius of the disk and each track is divided into 16 sectors (Se ) in the angular direction. Therefore, in the case of the floppy disk storing the above mentioned program, the image encoding method and the image decoding method as the program is recorded in an area allocated to it on the floppy disk (FD).

Além disso, a figura 26C apresenta a estrutura para gravar e ler o programa no disco flexível (FD). Quando o programa é gravado no disco flexível (FD), o sistema de computador (Cs) grava no método de codificação de imagem ou no método de decodificação de imagem como um programa via um controlador do disco flexível. Quando o método de codificação de imagem e o método de decodificação de imagem mencionados acima são construídos no sistema de computador pelo programa no disco flexível, o programa é lido a partir do controlador de disco flexível e transferido para o sistema de computador. A explicação acima é feita utilizando um disco flexível como um meio de gravação, mas o mesmo processamento pode ser também executado utilizando um disco ótico. Em adição, o meio de gravação não está limitado aos discos flexíveis e aos discos óticos, em outras palavras, qualquer outro meio capaz de gravar um programa como CD-ROMs, cartões de memória e cassetes ROM podem ser utilizados.In addition, Figure 26C shows the structure for writing and reading the program on floppy disk (FD). When the program is written to the floppy disk (FD), the computer system (Cs) records in the image encoding method or the image decoding method as a program via a floppy disk controller. When the image encoding method and the image decoding method mentioned above are built into the computer system by the floppy disk program, the program is read from the floppy disk controller and transferred to the computer system. The above explanation is made using a floppy disk as a recording medium, but the same processing can also be performed using an optical disc. In addition, the recording medium is not limited to floppy disks and optical discs, in other words, any other medium capable of recording a program such as CD-ROMs, memory cards and ROM cassettes can be used.

Aqui, as aplicações do método de codificação de imagem e do método de decodificação de imagem apresentados nas modalidades mencionadas acima e o sistema utilizando os mesmos serão adicionalmente explicados. A figura 27 é um diagrama de blocos apresentando a configuração como um todo de um sistema de suprimento de conteúdo ex100 para realizar o serviço de distribuição de conteúdo. A área para proporcionar o serviço de comunicação é dividida em células de tamanhos desejados e os locais de célula ex107 até ex110 de estação fixas sem fio são colocadas nas respectivas células.Here the applications of the image coding method and the image decoding method presented in the above mentioned embodiments and the system using them will be further explained. Fig. 27 is a block diagram showing the overall configuration of an ex100 content delivery system for performing the content delivery service. The area for providing the communication service is divided into cells of desired size and the fixed wireless station cell locations ex107 through ex110 are placed in the respective cells.

Este sistema de suprimento de conteúdo ex100 está conectado com os aparelhos tal como um computador ex111, um Assistente Pessoal Digital (PDA) ex112, uma câmara ex113, um telefone celular ex114 e um telefone celular com uma câmara ex115 via, por exemplo, uma combinação da Internet ex101, um provedor de serviço Internet ex102, uma rede de telefone ex104 e locais de célula ex107 até ex110.This ex100 content delivery system is connected to devices such as an ex111 computer, an ex112 Digital Personal Assistant (PDA), an ex113 camera, an ex114 mobile phone and a cell phone with an ex115 camera via, for example, a combination ex101, an ex102 Internet service provider, an ex104 phone network, and ex107 through ex110 cell locations.

Entretanto, o sistema de suprimento de conteúdo ex100 não está limitado à configuração como apresentado na figura 27 e pode estar conectado com uma combinação de qualquer um dos mesmos. Além disso, cada aparelho pode ser conectado diretamente com a rede de telefone ex104, não através dos locais de célula como estações de rádio fixas ex107 até ex110. A câmara ex113 é um aparelho capaz de filmar vídeo (imagens em movimento) tal como uma câmara de vídeo digital. O telefone celular pode ser um telefone celular de um sistema de Comunicação Digital Pessoal (PDC), de um sistema de Acesso Múltiplo por Divisão de Código (CDMA), um sistema de Acesso Múltiplo por Divisão de Código de Banda Larga (W-CDMA) ou um Sistema Global para Comunicações Móvel (GSM), um sistema de Telefone de Mão Pessoal (PHS) ou semelhante.However, the ex100 content delivery system is not limited to the configuration as shown in figure 27 and may be connected with a combination of any of them. In addition, each handset can be connected directly to the ex104 telephone network, not through cell locations such as ex107 through ex110 fixed radio stations. The ex113 is an apparatus capable of filming video (motion pictures) such as a digital camcorder. The cell phone may be a cell phone of a Personal Digital Communication (PDC) system, a Code Division Multiple Access (CDMA) system, a Broadband Code Division Multiple Access (W-CDMA) system. or a Global Mobile Communications System (GSM), a Personal Handheld Telephone (PHS) system or the like.

Um servidor ex103 está conectado com a câmara ex113 via a rede de telefone ex104 e do local de célula ex109, o que permite a distribuição ao vivo ou semelhante utilizando a câmara ex113 baseado nos dados codificados transmitidos a partir do usuário. A câmara ex113 ou o servidor para transmitir os dados podem codificar os dados filmados. Além disso, os dados de imagem em movimento filmados por uma câmara 116 podem ser transmitidos para o servidor ex103 via o computador ex111. A câmara ex116 é um aparelho capaz de filmar imagens em movimento e paradas tal como uma câmara digital. A câmara ex116 ou o computador ex111 podem codificar os dados de imagem em movimento. Uma LSI ex117 incluída no computador ex111 ou na câmara ex116 executa o processamento de codificação. O software para codificar e decodificar as imagens pode estar integrado dentro de qualquer tipo de meio de armazenamento tal como CD-ROMs, discos flexíveis e discos rígidos que seja um meio de gravação legível pelo computador ex111 ou semelhante. Adicionalmente, um telefone celular ex115 pode transmitir os dados de imagem em movimento. Estes dados de imagem são os dados codificados pela LSI incluída no telefone celular ex115. O sistema de suprimento de conteúdo ex100 codifica o conteúdo (tal como um vídeo de música ao vivo) filmado pelos usuários utilizando a câmara ex113, a câmara ex116 ou semelhante, da mesma maneira que as modalidades mencionadas acima, e transmite o mesmo para o servidor ex103, enquanto o servidor ex103 faz a distribuição do fluxo de dados de conteúdo para os clientes quando de sua requisição. Os clientes incluem o computador ex111, o PDA ex112, a câmara ex113, o telefone celular ex114 e assim por diante, que são capazes de decodificar os dados codificados menciona- dos acima. No sistema de suprimento de conteúdo ex100, os clientes podem assim receber e reproduzir os dados codificados e adicionalmente podem receber, decodificar e reproduzir os dados em tempo real de modo a realizar a difusão pessoal deste modo.An ex103 server is connected to the ex113 camera via the ex104 telephone network and the ex109 cell site, which allows live or similar distribution using the ex113 camera based on encoded data transmitted from the user. The camera ex113 or the server for transmitting the data may encode the filmed data. In addition, motion picture data filmed by a camera 116 may be transmitted to server ex103 via computer ex111. The ex116 camera is an apparatus capable of shooting still and moving images such as a digital camera. Camera ex116 or computer ex111 can encode motion picture data. An ex117 LSI included with the ex111 computer or ex116 camera performs encoding processing. Software for encoding and decoding images may be integrated into any type of storage media such as CD-ROMs, floppy disks and hard disks that is an ex111 or similar computer readable recording medium. Additionally, an ex115 mobile phone can transmit moving image data. This image data is the LSI encoded data included with the ex115 mobile phone. The ex100 content delivery system encodes content (such as a live music video) shot by users using the ex113 camera, the ex116 camera or the like in the same manner as the above mentioned modalities and transmits it to the server. ex103, while the ex103 server distributes the content data stream to clients upon their request. Customers include the ex111 computer, the ex112 PDA, the ex113 camera, the ex114 mobile phone, and so on, which are capable of decoding the encoded data mentioned above. In the ex100 content delivery system, customers can thus receive and reproduce the encoded data and additionally can receive, decode and reproduce the data in real time in order to perform personal broadcasting in this way.

Quando cada aparelho neste sistema executa a codificação ou a decodificação, o aparelho de codificação de imagem ou o aparelho de de-codificação de imagem pode ser utilizado, como apresentado nas modalidades mencionadas acima.When each apparatus in this system performs encoding or decoding, the image coding apparatus or the image decoding apparatus may be used as shown in the embodiments mentioned above.

Um telefone celular será explicado como um exemplo do aparelho. A figura 28 é um diagrama apresentando o telefone celular ex115 utilizando o método de codificação de imagem e o método de decodificação de imagem explicados nas modalidades mencionadas acima. O telefone celular ex115 possui uma antena ex201 para comunicação com o local de célula ex110 via ondas de rádio, uma unidade de câmara ex203 capaz de filmar imagens em movimento e paradas tal como uma câmara CCD, uma unidade de exibição ex202 tal como um vídeo de cristal líquido para exibir os dados obtidos por se decodificar as imagens e semelhantes, filmadas pela unidade de câmara ex203 e recebidas pela antena ex201, uma unidade de corpo incluindo um conjunto de teclas de operação ex204, uma unidade de saída de voz ex208 tal como um alto-falante para emitir vozes, uma unidade de entrada de voz 205 tal como um microfone para entrada de vozes, um meio de armazenamento ex207 para armazenar dados codificados ou decodificados tal como das imagens em movimento ou paradas filmadas pela câmara, dados de correios eletrônicos recebidos e dados de imagens em movimento ou paradas e uma unidade de conexão ex206 para ligar o meio de armazenamento ex207 com o telefone celular ex115. O meio de armazenamento ex207 é equipado com uma memória flash, um tipo de Memória somente para leitura programável (EEPROM) que é uma memória não volátil que pode ser eletricamente apagada e regravada, em um invólucro plástico tal como cartões SD. A seguir, o telefone celular ex115 será explicado com referência à figura 29. No telefone celular ex115, uma unidade de controle principal ex311 para controle geral de cada unidade da unidade de corpo incluindo a unidade de vídeo ex202 e as teclas de operação ex204 está conectada com uma unidade de circuito de suprimento de força ex310, uma unidade de controle de entrada de operação ex304, uma unidade de codificação de imagem ex312, uma unidade de interface com a câmara ex303, um Vídeo de Cristal Líquido (LCD) ex302, uma unidade de decodificação de imagem ex309, uma unidade de demultiplexação ex308, uma unidade de gravação e de reprodução ex307, uma unidade de circuito de modem ex306 e uma unidade de processamento de voz ex305, uns com os outros através do barra-mento síncrono ex313.A cell phone will be explained as an example of the handset. Figure 28 is a diagram showing cell phone ex115 using the image coding method and the image decoding method explained in the above mentioned embodiments. The ex115 mobile phone has an ex201 antenna for communicating with the ex110 cell site via radio waves, an ex203 camera unit capable of shooting moving and still images such as a CCD camera, an ex202 display unit such as a video camera. liquid crystal for displaying data obtained by decoding the images and the like, filmed by the camera unit ex203 and received by the antenna ex201, a body unit including an ex204 operating key set, an ex208 voice output unit such as a speaker for voice output, a voice input unit 205 such as a microphone for voice input, a storage medium ex207 for storing encoded or decoded data such as moving or still images shot by the camera, e-mail data received and still or motion picture data and an ex206 connecting unit to connect the ex207 storage medium to the ex11 mobile phone 5 The ex207 storage media is equipped with a flash memory, a type of Programmable Read-Only Memory (EEPROM) that is non-volatile memory that can be electrically erased and rewritten in a plastic enclosure such as SD cards. Next, the ex115 cell phone will be explained with reference to figure 29. On the ex115 cell phone, an ex311 main control unit for general control of each body unit unit including the ex202 video unit and the ex204 operation keys is connected. with an ex310 power supply circuit unit, an ex304 operation input control unit, an ex312 image encoding unit, an ex303 camera interface unit, an ex302 Liquid Crystal Video (LCD) unit, an ex309 image decoding unit, an ex308 demultiplexing unit, an ex307 recording and playback unit, an ex306 modem circuit unit, and an ex305 voice processing unit together via the ex313 synchronous bus.

Quando uma tecla de término de chamada ou uma tecla de ativação é ligada pela operação de um usuário, a unidade de circuito de suprimento de força ex310 fornece para os respectivos componentes energia a partir de uma bateria, de modo a ativar o telefone celular digital com uma câmara ex115 para colocar o mesmo no estado de pronto.When a call end key or an activation key is turned on by a user's operation, the ex310 power supply circuit unit supplies its components with power from a battery to activate the digital cell phone with power. an ex115 camera to put it in the ready state.

No telefone celular ex115, a unidade de processamento de voz ex305 converte os sinais de voz recebidos pela unidade de entrada de voz ex205 em modo de conversão para dados de voz digitais sob o controle da unidade de controle principal ex311 incluindo uma CPU, uma ROM e uma RAM, a unidade de circuito de modem ex306 executa o processamento de espectro de difusão dos dados de voz digitais e a unidade de circuito de comunicação ex301 executa a conversão de digital para analógico e a transformação de freqüência dos dados, de modo a transmitir os mesmos via a antena ex201. Além disso, no telefone celular ex115, a unidade de circuito de comunicação ex301 amplifica os dados recebidos pela antena ex201 no modo de conversação e executa a transformação de freqüência e a conversão analógico para digital para os dados, a unidade de circuito de modem ex306 executa o processamento inverso de espectro de difusão dos dados e a unidade de processamento de voz ex305 converte os mesmos para dados de voz analógicos, de modo a emitir os mesmos via a unidade de saída de voz 208.On the ex115 mobile phone, the ex305 voice processing unit converts the voice signals received by the ex205 voice input unit into conversion mode for digital voice data under the control of the ex311 main control unit including a CPU, a ROM and RAM, the ex306 modem circuit unit performs digital voice data broadcast spectrum processing, and the ex301 communication circuit unit performs digital to analog conversion and data frequency transformation to transmit the data. same via the ex201 antenna. In addition, on the ex115 mobile phone, the ex301 communication circuit unit amplifies the data received by the ex201 antenna in talk mode and performs frequency transformation and analog to digital conversion to data, the ex306 modem circuit unit performs reverse data spread spectrum processing and voice processing unit ex305 converts it to analog voice data so as to output it via voice output unit 208.

Adicionalmente, quando transmitindo um correio eletrônico no modo de comunicação de dados, os dados de texto do correio eletrônico informados por se operar as teclas de operação ex204 da unidade de corpo são enviados para a unidade de controle principal ex311 através da unidade de controle de entrada de operação ex304. Na unidade de controle principal ex311, após a unidade de circuito de modem ex306 executar o processamento de espectro de difusão dos dados de texto e a unidade de circuito de comunicação ex301 executar a conversão digital para analógico e a transformação de frequência para os mesmos, os dados são transmitidos para o local de célula ex110 via a antena ex201.Additionally, when transmitting an e-mail in data communication mode, e-mail text data informed by operating the body unit's operation keys ex204 is sent to the ex311 main control unit via the input control unit. of operation ex304. On the ex311 main control unit, after the ex306 modem circuit unit performs text data broadcast spectrum processing and the ex301 communication circuit unit performs digital to analog conversion and frequency transformation, data is transmitted to cell location ex110 via antenna ex201.

Quando dados de imagem são transmitidos no modo de comunicação de dados, os dados da imagem em movimento filmados pela unidade de câmara ex203 são fornecidos para a unidade de codificação de imagem ex312 via a unidade de interface com a câmara ex303. Quando os dados de imagem não são transmitidos, também é possível exibir os dados da imagem filmados pela unidade de câmara ex203 diretamente na unidade de vídeo 202 via a unidade de interface com a câmara ex303 e a unidade de controle do LCD ex302. A unidade de codificação de imagem ex312, a qual inclui o aparelho de codificação de imagem como explicado na presente invenção, compacta e codifica os dados da imagem fornecidos a partir da unidade de câmara ex203 pelo método de codificação utilizado para o aparelho de codificação de imagem como apresentado nas modalidades mencionadas acima de modo a transformar os mesmos em dados de imagem codificados e envia os mesmos para a unidade de demultiplexação ex308. Nesta hora, o telefone celular ex115 envia as vozes recebidas pela unidade de entrada de voz ex205 durante a filmagem pela unidade de câmara ex203 para a unidade de demultiplexação ex308 como dados de voz digitais via a unidade de processamento de voz ex305. A unidade de demultiplexação ex308 multiplexa os dados de imagem codificados fornecidos a partir da unidade de codificação de imagem ex312 e os dados de voz fornecidos a partir da unidade de processa- mento de voz ex305 utilizando um método predeterminado, a unidade de circuito de modem ex306 executa o processamento de espectro de difusão dos dados multiplexados obtidos como um resultado da multiplexação e a unidade e circuito de comunicação ex301 executa a conversão digital para analógico e a transformação de freqüência dos dados para transmitir via a antena ex201.When image data is transmitted in data communication mode, motion picture data filmed by camera unit ex203 is provided to image coding unit ex312 via the camera interface unit ex303. When image data is not transmitted, it is also possible to display image data shot by camera unit ex203 directly on video unit 202 via the camera interface unit ex303 and LCD control unit ex302. The image coding unit ex312, which includes the image coding apparatus as explained in the present invention, compresses and encodes the image data provided from the camera unit ex203 by the coding method used for the image coding apparatus. as shown in the above-mentioned embodiments in order to transform it into encoded image data and send it to the demultiplexing unit ex308. At this time, the ex115 mobile phone sends the voices received by the ex205 voice input unit while shooting by the ex203 camera unit to the ex308 demultiplexing unit as digital voice data via the ex305 voice processing unit. The ex308 demultiplexing unit multiplexes the encoded image data provided from the ex312 image encoding unit and the voice data supplied from the ex305 voice processing unit using a predetermined method, the ex306 modem circuit unit performs diffusion spectrum processing of the multiplexed data obtained as a result of multiplexing and the ex301 communication unit and circuitry performs digital to analog conversion and frequency transformation of the data to transmit via the ex201 antenna.

No que diz respeito a receber dados de um arquivo de imagem em movimento que está ligado com uma página da Rede (Web) ou semelhante no modo de comunicação de dados, a unidade de circuito de modem ex306 executa o processamento de espectro de difusão dos dados recebidos a partir do local da célula ex110 via a antena ex201 e envia os dados multiplexados obtidos como resultado do processamento para a unidade de demultiplexação ex308.With respect to receiving data from a moving image file that is linked with a Web page or the like in data communication mode, the ex306 modem circuit unit performs data broadcast spectrum processing. received from the ex110 cell location via the ex201 antenna and sends the multiplexed data obtained as a result of processing to the ex308 demultiplexing unit.

De modo a decodificar os dados multiplexados recebidos via a antena ex201, a unidade de demultiplexação ex308 separa os dados multiplexados em um fluxo de bits de dados de imagem e em um fluxo de bits de dados de voz e fornece os dados de imagem codificados correntes para a unidade de decodificação de imagem ex309 e os dados de voz correntes para a unidade de processamento de voz ex305, respectivamente, via o bar-ramento síncrono ex313. A seguir, a unidade de decodificação de imagem ex309, a qual inclui o aparelho de decodificação de imagem como explicado na presente invenção decodifica o fluxo de bits de dados de imagem utilizando o método de decodificação correspondendo ao método de codificação, como apresentado nas modalidades mencionadas acima para gerar os dados de imagem em movimento reproduzidos e fornece estes dados para a unidade de vídeo ex202 via a unidade de controle LCD ex302 e assim os dados de imagem em movimento incluídos em um arquivo de imagem em movimento ligados com uma página da Rede, por exemplo, são exibidos. Ao mesmo tempo, a unidade de processamento de voz ex305 converte os dados de voz em dados de voz analógicos e fornece estes dados para a unidade de saída de voz ex208 e assim os dados de voz incluídos no arquivo de imagem em movimento ligado com uma página da Rede, por exemplo, são reproduzidos. A presente invenção não está limitada ao sistema mencionado acima e pelo menos o aparelho de codificação de imagem ou o aparelho de decodificação de imagem nas modalidades mencionadas acima pode ser incorporado em um sistema de difusão digital como apresentado na figura 30. Tal difusão digital terrestre ou por satélite tem estado nos noticiários ultimamente. Mais especificamente, um fluxo de bits de informação de vídeo é transmitido a partir de uma estação de difusão ex409 para um satélite de comunicação ou de difusão ex410 via ondas de rádio. Quando da recepção das mesmas, o satélite de difusão ex410 transmite ondas de rádio para difusão, uma antena de uso doméstico ex406 com uma função de recepção de difusão por satélite recebe as ondas de rádio e uma televisão (receptor) ex401 ou uma caixa decodificadora (STB) ex407 decodifica e reproduz o fluxo de bits. O aparelho de decodificação de imagem como apresentado nas modalidades mencionadas acima pode ser implementado no aparelho de reprodução ex403 para ler e decodificar o fluxo de bits gravado em um meio de armazenamento ex402 que é um meio de gravação tal como um CD e um DVD. Neste caso, os sinais de imagem em movimento reproduzidos são exibidos em um monitor ex404. Também é concebido implementar o aparelho de decodificação de imagem na caixa decodificadora ex407 conectada com um cabo ex405 para uma televisão a cabo ou para a antena ex406 para difusão por satélite e/ou terrestre de modo a reproduzir os mesmos em um monitor ex408 da televisão. O aparelho de decodificação de imagem pode ser incorporado na televisão, ao invés de na caixa decodificadora. Ou, um carro ex412 possuindo uma antena ex411 pode receber sinais a partir do satélite ex410 ou do local de célula ex107 para reproduzir as imagens em movimento em um aparelho de vídeo tal como um sistema de navegação de carro ex413.In order to decode the multiplexed data received via the ex201 antenna, the ex308 demultiplexing unit separates the multiplexed data into an image data bitstream and a voice data bitstream and provides the current encoded image data to image decoding unit ex309 and current voice data for voice processing unit ex305, respectively, via synchronous bus ex313. In the following, the image decoding unit ex309 which includes the image decoding apparatus as explained in the present invention decodes the image data bit stream using the decoding method corresponding to the encoding method as shown in the embodiments mentioned. above to generate the reproduced motion picture data and provide this data to the ex202 video unit via the ex302 LCD control unit and thus the motion picture data included in a motion picture file linked with a web page, for example, are displayed. At the same time, the ex305 voice processing unit converts the voice data into analog voice data and supplies this data to the ex208 voice output unit and thus the voice data included in the one page motion picture file Network, for example, are played. The present invention is not limited to the above mentioned system and at least the image coding apparatus or the image decoding apparatus in the above mentioned embodiments may be incorporated into a digital broadcasting system as shown in Figure 30. Such terrestrial digital broadcasting or Satellite TV has been in the news lately. More specifically, a bit stream of video information is transmitted from an ex409 broadcast station to an ex410 communication or broadcast satellite via radio waves. Upon reception, the ex410 broadcast satellite transmits radio waves for broadcast, an ex406 household antenna with a satellite broadcast reception function receives the radio waves and an ex401 television (receiver) or set-top box ( STB) ex407 decodes and plays the bit stream. The picture decoding apparatus as presented in the above mentioned embodiments may be implemented in the playback device ex403 to read and decode the bit stream recorded on an ex402 storage medium which is a recording medium such as a CD and a DVD. In this case, the reproduced motion picture signals are displayed on an ex404 monitor. It is also designed to implement the image decoding apparatus in the ex407 set-top box connected with an ex405 cable to a cable television or to the ex406 satellite and / or terrestrial antenna to reproduce them on an ex408 television monitor. The picture decoder can be incorporated into the television rather than into the set-top box. Or, an ex412 car having an ex411 antenna can receive signals from the ex410 satellite or ex107 cell location to reproduce moving images on a video device such as an ex413 car navigation system.

Adicionalmente, o aparelho de codificação apresentado nas modalidades mencionadas acima pode codificar sinais de imagem para gravação em um meio de gravação. Como um exemplo concreto, existe um gravador ex420, tal como um gravador de DVD para gravar sinais de imagem em um disco DVD ex421 e um gravador de disco para gravar os mesmos em um disco rígido. Eles podem ser gravados em um cartão SD ex422. Se o gravador ex420 incluir o aparelho de decodificação de imagem apresentado nas modalidades mencionadas acima, os sinais de imagem gravados no disco DVD ex421 ou no cartão SD ex422 podem ser reproduzidos para exibição no monitor ex408.Additionally, the encoding apparatus presented in the above mentioned embodiments may encode image signals for recording on a recording medium. As a concrete example, there is an ex420 recorder, such as a DVD recorder for recording image signals on an ex421 DVD disc and a disc recorder for recording them on a hard disk. They can be recorded to an ex422 SD card. If the ex420 recorder includes the picture decoding apparatus shown in the above mentioned modes, the picture signals recorded on the ex421 DVD disc or ex422 SD card can be played back for display on the ex408 monitor.

Observe que uma estrutura imaginável do sistema de navegação de carro ex413, é a estrutura sem a unidade e câmara ex203, a unidade de interface com a câmara ex303 e a unidade de codificação de imagem ex312 que são componentes existente na figura 29. O mesmo vale para o computador ex111, para a televisão (receptor) ex401 e semelhantes.Note that an imaginable structure of the ex413 car navigation system is the structure without the ex203 camera unit, the ex303 camera interface unit, and the ex312 image encoding unit which are components in Figure 29. The same goes for for computer ex111, for television (receiver) ex401 and the like.

Em adição, três tipos de implementações podem ser concebidas para um terminal tal como o telefone celular ex114 mencionado acima; um terminal de envio/recepção implementado tanto com um codificador como com um decodificador; um terminal de envio implementado somente com um codificador; e um terminal de recepção implementado somente com um decodificador.In addition, three types of implementations may be designed for a terminal such as the above mentioned mobile phone ex114; a send / receive terminal implemented with both an encoder and a decoder; a send terminal implemented with only one encoder; and a receive terminal implemented with a decoder only.

Como descrito acima, é possível utilizar o método de codificação de imagem ou o método de decodificação de imagem nas modalidades mencionadas acima em qualquer um dos aparelhos e sistemas mencionados acima e por utilizar este método, os efeitos explicados nas modalidades acima podem ser obtidos. A partir da invenção assim descrita, será óbvio que as modalidades da invenção podem ser variadas de vários modos. Tais variações não são para ser consideradas como uma saída do espírito e do escopo da invenção e todas tais modificações como seriam óbvias para os versados na técnica são pretendidas para inclusão dentro do escopo das reivindicações seguintes.As described above, it is possible to use the image encoding method or the image decoding method in the above mentioned embodiments in any of the above mentioned apparatuses and systems and by using this method, the effects explained in the above embodiments may be obtained. From the invention thus described, it will be obvious that the embodiments of the invention may be varied in various ways. Such variations are not to be construed as departing from the spirit and scope of the invention and all such modifications as would be obvious to those skilled in the art are intended for inclusion within the scope of the following claims.

Aplicabilidade Industrial O aparelho de codificação de imagem de acordo com a presente invenção é útil como o aparelho de codificação de imagem instalado nos computadores pessoais com funções de comunicação, PDAs, estações de difusão digital, e em telefones celulares.Industrial Applicability The image coding apparatus of the present invention is useful as the image coding apparatus installed on personal computers with communication functions, PDAs, digital broadcasting stations, and mobile phones.

Além disso, o aparelho de decodificação de imagem de acordo com a presente invenção é útil como o aparelho de decodificação de imagem instalado em computadores pessoais com funções de comunicação, PDAs, STBs recebendo difusão digital e telefones celulares.Furthermore, the image decoding apparatus according to the present invention is useful as the image decoding apparatus installed on personal computers with communication functions, PDAs, STBs receiving digital broadcast and mobile phones.

REIVINDICAÇÕES

Claims

An image decoding method for decoding an encoded signal, the method comprising: obtaining an image number from an encoded signal; extracting first information from the encoded signal, the first information includes an instruction to release all images stored in a memory; decode the encoded signal to obtain a decoded image; store the decoded image in memory; releasing all images, which are stored in memory before extracting the first information, after the first information is extracted from the encoded signal, and starting the image number obtained after decoding the encoded signal, and assigning a new image number to the image decoded after the first information is extracted from the encoded signal.

Method according to claim 1, characterized in that the release of all images is performed after decoding the encoded signal.

Method according to claim 1, characterized in that the image stored in memory is a reference image, and all images that are released upon release of all images are reference images.

Method according to claim 1, characterized in that the release of all images stored in memory is performed by marking the information, which indicates the release of all decoded images stored in memory.

Method according to claim 1, characterized in that the first information is included in the encoded signal.

Method according to claim 1, characterized in that the first information is information indicating an instant decoder update image.

Method according to claim 6, characterized in that the instant decoder update image is an intra-prediction encoded image.

Method according to claim 1, characterized in that the first information is image-type information indicating an intra-prediction encoded image.

Method according to claim 1, characterized in that an intra-prediction coded image including the first information is decoded as a start of decoding in a random access decoding.

An image decoding apparatus which decodes an encoded signal, the apparatus comprising: a unit for obtaining an operable image number for obtaining an image number from an encoded signal; an extraction unit operable to extract first information from the encoded signal obtained by the image numbering unit, the first information includes an instruction to release all images stored in a memory; an operable image decoding unit for obtaining an image decoded by decoding the encoded signal; an operable storage unit for storing the decoded image in memory; an operable release unit for releasing all images, which are stored in memory before the extraction unit extracts the first information, after the first information is extracted from the encoded signal, and an operable allocation unit for starting the image number obtained after the image decoding unit has decoded the encoded signal, and to assign a new image number to the decoded image after the first information is extracted from the encoded signal.

Apparatus according to claim 10, characterized in that the release unit is operable to release all decoded images stored in memory after the image decoding unit has decoded the encoded signal.

Apparatus according to claim 10, characterized in that the image to be stored in memory by the storage unit is a reference image, and all images that are released by the release unit are also reference images.

Apparatus according to claim 10, characterized in that the release unit is operable to release all images stored in memory by marking the information, which indicates the release of all decoded images stored in memory.

Apparatus according to claim 10, characterized in that the first information is included in the encoded signal.

Apparatus according to claim 10, characterized in that the release information is information indicative of an instantaneous decoder update image.

Apparatus according to claim 15, characterized in that the instant decoder update image is an intra-prediction encoded image.

Apparatus according to claim 10, characterized in that the release information is image-type information indicating an intra-prediction encoded image.

Apparatus according to claim 10, characterized in that the image decoding unit is operable to decode an intra-prediction encoded image including release information as a beginning of decoding in a decoding of an image. random access.

An encoding method for encoding a moving image, the method comprising: encoding an image number of an image to be encoded; first information encoding, the first information includes an instruction indicating that all images, which are stored in a memory prior to encoding the image to be encoded, must be released; outputting an encoded image by encoding the image to be encoded; generation of a decoded image by decoding the encoded image; releasing all images that are stored in memory prior to encoding the image to be encoded; storing the decoded image in a memory; and initializing the image number of the image to be encoded and assigning a new image number to an image to be encoded following the image to be encoded.

Method according to claim 19, characterized in that the release of all images is performed after image generation decodes by decoding the encoded image.

Method according to claim 19, characterized in that an image stored in memory is a reference image, and all images that are released upon release of all images stored in memory are also reference images.

Method according to claim 19, characterized in that the release of all images stored in memory is performed by the establishment of information, which indicates the release for all decoded images stored in memory.

A method according to claim 19, characterized in that the first information is information indicating an instant decoder update image.

A method according to claim 23, characterized in that the instant decoder update image is an intra-prediction encoded image.

A method according to claim 19, characterized in that the first information is image type information indicating an intra-prediction encoded image.

26. An encoding apparatus for encoding a moving image, the apparatus comprising: an operable image number encoding unit for encoding an image number of an image to be encoded; a release information encoding unit operable to encode first information, first information includes an instruction indicating that all images which are stored in memory prior to encoding the image to be encoded must be released; operable image encoding unit for outputting an image encoded by encoding the image to be encoded; operable image decoding unit for generating a decoded image by decoding the encoded image; operable release unit for releasing all images that are stored in memory prior to encoding the image to be encoded; operable storage unit for storing the decoded image in memory; and assignable unit operable for initializing the image number of the image to be encoded and assigning a new image number to an image to be encoded following the image to be encoded.

Apparatus according to claim 26, characterized in that the release unit is operable to release all images stored in memory after the image decoding unit has decoded the encoded signal.

Apparatus according to claim 26, characterized in that the image to be stored in memory by the storage unit is a reference image, and all images that are released by the release unit are also reference images.

Apparatus according to claim 26, characterized in that the release unit is operable to release all images stored in memory by marking the information, which indicates release for all images stored in memory.

Apparatus according to claim 26, characterized in that the first information is information indicative of an instantaneous decoder update image.

Apparatus according to claim 30, characterized in that the instant decoder update image is an intra-prediction encoded image.

Apparatus according to claim 26, characterized in that the first information is image-type information indicating an intra-prediction image.

33. Image decoding method for decoding an encoded signal, the method comprising: obtaining an image number from an encoded signal; extracting first information from the encoded signal, the first information includes an instruction to assign all images stored in a memory to be unused; decode the encoded signal to obtain a decoded image; store the decoded image in memory; assigning all images stored in memory to be unused after the first information is extracted from the encoded signal, wherein all images are stored in memory prior to extraction of the first information; and starting the image number obtained after decoding the encoded signal, and assigning a new image number to the decoded image after the first information is extracted from the encoded signal.

34. An encoding method for encoding a moving image, the method comprising: encoding an image number of an image to be encoded; first information encoding, the first information includes an instruction indicating that all images which are stored in a memory prior to encoding the image to be encoded must be unused; outputting an encoded image by encoding the image to be encoded; generation of a decoded image by decoding the encoded image; assignment to be unused of all images that are stored in memory prior to encoding the image to be encoded; storing the decoded image in a memory; and initializing the image number of the image to be encoded and assigning a new image number to an image to be encoded following the image to be encoded.