BR122017003640B1 - Método de decodificação para decodificar uma pluralidade de imagens - Google Patents

Abstract

a presente invenção refere-se a um aparelho de codificação de filme (70) para a execução de uma codificação de previsão interimagens para imagens que constituem um filme, é provido com uma unidade de codifi-cação (103) para a execução de uma codificação de erro de previsão para dados de imagem; uma unidade de decodificação (105) para a execução de uma decodificação de previsão interimagens para uma saída da unidade de codificação (103); uma memória de imagem de referência (117) para a manutenção dos dados de saída da unidade de decodificação (105); e uma unidade de detecção de vetor de movimento (108) para a detecção de vetores de movimento com base nos dados de imagem decodificados armazenados na memória. quando da codificação de uma imagem b como uma imagem alvo, uma informação indicando se a imagem alvo deve ou não ser usada como uma imagem de referência quando da codificação de uma outra imagem alvo é adicionada como uma informação de cabeçalho. portanto, em um aparelho de decodificação para a decodificação de um fluxo de bits bs extraído a partir do aparelho de codificação de filme (70), o gerenciamento de uma memória para a manutenção da imagem de referência pode ser facilitada com base na informação de cabeçalho.

Description

(54) Título: MÉTODO DE DECODIFICAÇÃO PARA DECODIFICAR UMA PLURALIDADE DE IMAGENS (51) Int.CI.: H04N 19/103; H04N 19/577 (30) Prioridade Unionista: 06/11/2001 JP 340698/2001, 06/12/2001 JP 373311/2001, 19/04/2002 JP

118598/2002, 20/12/2001 JP 388466/2001, 21/01/2002 JP 012117/2002 (73) Titular(es): PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA (72) Inventor(es): SATOSHI KONDO; SHINYA KADONO; MAKOTO HAGAI

1/232

Relatório Descritivo da Patente de Invenção para MÉTODO DE DECODIFICAÇÃO PARA DECODIFICAR UMA PLURALIDADE DE IMAGENS.

Dividido do PI0206308-5 depositado em 6 de novembro de

2002.

Campo da Invenção [001] A presente invenção refere-se a um método de codificação de filme e a um método de decodificação de filme e, mais particularmente, a um método para a codificação ou a decodificação de imagens que constituem um filme com referência a outras imagens do filme.

Fundamento da Técnica [002] Geralmente, na codificação de imagens que constituem um filme, cada imagem é dividida em vários blocos, e uma codificação de compressão (a partir deste ponto também referida simplesmente como codificação) de uma informação de imagem possuída por cada imagem é realizada para cada bloco, utilizando-se redundâncias na direção do espaço e na direção do tempo do filme. Como um processo de codificação que utiliza redundância na direção do tempo, há uma codificação intra-imagens, que utiliza uma correlação de valores de pixel em uma imagem. Como um processo de codificação que utiliza redundância na direção do tempo, há uma codificação de previsão interimagens utilizando uma correlação de valores de pixel interimagens. A codificação de previsão interimagens é um processo de codificação de uma imagem alvo a ser codificada, com uma referência a uma imagem que é posicionada no sentido do tempo para frente da imagem alvo (imagem à frente) ou uma imagem que é posicionada para trás da imagem alvo (imagem para trás).

[003] A imagem à frente é uma imagem cujo tempo de exibição é mais anterior do que aquele da imagem alvo, e é posicionada à frente

Petição 870170060093, de 18/08/2017, pág. 6/243

2/232 da imagem alvo em um eixo de tempo, indicando os tempos de exibição das respectivas imagens (a partir deste ponto, referido como o eixo de tempo de exibição). A imagem para trás é uma imagem cujo tempo de exibição é posterior àquela da imagem alvo, e é posicionada para trás da imagem alvo no eixo de tempo de exibição. Ainda, na descrição a seguir, uma imagem a ser referida na codificação de uma imagem alvo é denominada uma imagem de referência.

[004] Na codificação de previsão interimagens, especificamente, um vetor de movimento da imagem alvo em relação à imagem de referência é detectado, e um dado de previsão para um dado de imagem da imagem alvo é obtido por uma compensação de movimento, com base no vetor de movimento. Então, uma redundância de dado de diferença entre o dado de previsão e o dado de imagem da imagem alvo na direção de espaço da imagem é removida, para, desse modo, se executar uma codificação de compressão para a quantidade de dados da imagem alvo.

[005] Por outro lado, como um processo para a decodificação de uma imagem codificada, há uma decodificação intra-imagem correspondente à codificação intra-imagem, e uma decodificação interimagens correspondente à codificação interimagens. Na decodificação interimagens, a mesma imagem que uma imagem que é referida na codificação interimagens é referida. Isto é, uma imagem Xtg, que é codificada com referência às imagens Xra e Xrb, é decodificada com referência às imagens Xra e Xrb.

[006] As Figuras 43(a) a 43(c) são diagramas que ilustram várias imagens que constituem um filme.

[007] Na figura 43(a), parte das várias imagens que constituem um filme Mpt, isto é, as imagens F(k) ~ F(k + 2n - 1) [k,n: inteiros] são mostrados. Os tempos de exibição t(k) ~ t (k + 2n - 1) são regulados nas respectivas imagens F(k) ~ F(k + 2n - 1). Como mostrado na figura

Petição 870170060093, de 18/08/2017, pág. 7/243

3/232

43(a), as respectivas imagens são sucessivamente dispostas a partir de uma, tendo um tempo de exibição mais anterior em um eixo de tempo de exibição X indicando os tempos de exibição Tdis das respectivas imagens, e essas imagens são agrupadas para cada número predeterminado (n) de imagens. Cada um desses grupos de imagem é denominado um GOP (Grupo de Imagens) e esta é a unidade mínima de acesso randômico a um dado codificado de um filme. Na descrição a seguir, um grupo de imagem é abreviado, às vezes, como GOP.

[008] Por exemplo, um (i)ésimo grupo de imagem Gp(i) é constituído por imagens F(k) ~ F(k + n - 1). Um (i+1)-ésimo grupo de imagem Gp(i+1) é constituído por imagens F(n+k) ~ F(k + 2n - 1).

[009] Cada imagem é dividida em várias fatias, cada uma compreendendo vários macroblocos. Por exemplo, um macrobloco é uma área retangular tendo 16 pixels na direção vertical e 16 pixels na direção horizontal. Ainda, como mostrado na figura 43(b), uma imagem F(k+1) é dividida em várias fatias SL1 ~ SLm [m: número natural]. Uma fatia SL2 é constituída por vários macroblocos MB1 ~ MBr [r: número natural], como mostrado na figura 43(c).

[0010] A Figura 44 é um diagrama para explanação de dados codificados de um filme, que ilustra uma estrutura de um fluxo obtido pela codificação das respectivas imagens que constituem o filme.

[0011] Um fluxo Smp é um dado codificado que corresponde a uma seqüência de imagem (por exemplo, um filme). O fluxo Smp é composto por uma área (área de informação comum) Cstr, onde fluxos de bit correspondentes a uma informação comum, tal como um cabeçalho, são dispostos e por uma área (área de GOP), Dgop, onde os fluxos de bit correspondentes aos respectivos GOPs são dispostos. A área de informação comum Cstr inclui dados de sincronização Sstr e um cabeçalho Hstr correspondente ao fluxo. A área de GOP Dgop inclui fluxos de bit Bg(1) ~ Bg(i-1), Bg(i), Bg(i+1) ~ Bg(I) correspondentes

Petição 870170060093, de 18/08/2017, pág. 8/243

4/232 aos grupos de imagem (GOP) Gp(1) ~ Gp(i-1), Gp(i), Gp(i+1) ~ Gp(I) [i, I: inteiros].

[0012] Cada fluxo de bits correspondente a cada GOP é composto por uma área (área de informação comum) Cgop, onde os fluxos de bit correspondentes a uma informação comum, tal como um cabeçalho, são dispostos, e por uma área (área de imagem) Dpct, onde os fluxos de bit correspondentes às respectivas imagens são dispostos. A área de informação comum Cgop inclui dados de sincronização Sgop e um cabeçalho Hgop correspondente ao GOP. Uma área de imagem Dpct do fluxo de bits Bg(i) correspondente ao grupo de imagem G(i) inclui os fluxos de bit Bf(k'), Bf(k'+1), Bf(k'+2), Bf(k'+3), ..., Bf(k'+s) correspondentes às imagens F(k'), F(k'+1), F(k'+2), F(k'+3), ..., F(k'+s) [k's, s: inteiros]. As imagens F(k'), F(k'+1), F(k'+2), F(k'+3), ..., F(k'+s) são obtidas por rearranjo, na ordem de codificação, as imagens F(k) ~ F(k + n - 1) dispostas na ordem dos tempos de exibição.

[0013] Cada fluxo de bits correspondente a cada imagem é composto por uma área (área de informação comum) Cpct, onde os fluxos de bit correspondentes à informação comum, tal como um cabeçalho, são dispostos, e uma área (área de fatia) Dslc, onde os fluxos de bit correspondentes às respectivas fatias são dispostos. A área de informação comum Cpct inclui os dados de sincronização Spct e um cabeçalho Hpct correspondente à imagem. Por exemplo, quando a imagem F(k'+1) no arranjo na ordem dos tempos de codificação (arranjo de ordem de codificação) é a imagem F(k+1) no arranjo na ordem dos tempos de exibição (arranjo de ordem de exibição), a área de fatia Dslc no fluxo de bits Bf(k'+1) correspondente à imagem F(k'+1) inclui os fluxos de bit Bs1 ~ Bsm correspondentes às respectivas fatias SL1 ~ SLm. [0014] Cada fluxo de bits correspondente a cada fatia é composto por uma área (área de informação comum) Cslc, onde os fluxos de bit correspondentes a uma informação comum, tal como um cabeçalho,

Petição 870170060093, de 18/08/2017, pág. 9/243

5/232 são dispostos, e uma área (área de macrobloco) Dmb, onde fluxos de bit correspondentes aos respectivos macroblocos são dispostos. A área de informação comum Cslc inclui dados de sincronização Sslc e um cabeçalho Hslc correspondente à fatia. Por exemplo, quando a imagem F(k'+1) no arranjo de ordem de codificação é a imagem F(k+1) no arranjo de ordem de exibição, a área de macrobloco Dmb no fluxo de bits BS2 correspondente à fatia SL2 inclui os fluxos de bit Bm1 ~ Bmr correspondentes aos respectivos macroblocos MB1 ~ MBr.

[0015] Como descrito acima, um dado codificado correspondente a um filme (isto é, uma seqüência de imagem) tem uma estrutura hierárquica compreendendo uma camada de fluxo correspondente a um fluxo Smp como o dado codificado, camadas de GOP correspondentes a GOPs que constituem o fluxo, camadas de imagem correspondentes às imagens que constituem cada um dos GOPs, e camadas de fatia correspondentes a fatias que constituem cada uma das imagens.

[0016] A propósito, nos métodos de codificação de filme, tal como MPEG (Moving Picture Experts Group)-1, MPEG-2, MPEG-4, recomendação H.263 da ITU-T, H.26L e similares, uma imagem a ser submetida a uma codificação intra-imagem é denominada uma imagem I, e uma imagem a ser submetida a uma codificação de previsão interimagens é denominada uma imagem P ou uma imagem B.

[0017] A partir deste ponto, as definições de uma imagem I, uma imagem P e uma imagem B serão descritas.

[0018] Uma imagem I é uma imagem a ser codificada sem uma referência a uma outra imagem. Uma imagem P ou uma imagem B é uma imagem a ser codificada com uma referência a uma outra imagem. Para se ser exato, uma imagem P é uma imagem para a qual a codificação de modo I ou a codificação de modo P pode ser selecionada, quando da codificação de cada bloco na imagem. Uma imagem B é uma imagem para a qual uma dentre a codificação de modo I, a coPetição 870170060093, de 18/08/2017, pág. 10/243

6/232 dificação de modo P e a codificação de modo B pode ser selecionada, quando da codificação de cada bloco na imagem.

[0019] A codificação de modo I é um processo de execução de codificação intra-imagem para um bloco alvo em uma imagem alvo, sem uma referência a uma outra imagem. A codificação de modo P é um processo de execução de uma codificação de previsão interimagens para um bloco alvo em uma imagem alvo com uma referência a uma imagem já codificada. A codificação de modo B é um processo de execução de codificação de previsão interimagens para um bloco alvo em uma imagem alvo com uma referência a duas imagens já codificadas.

[0020] Uma imagem a ser referida durante a codificação de modo P ou a codificação de modo B é uma imagem I ou uma imagem P além da imagem alvo, e pode ser uma imagem à frente posicionada para frente da imagem alvo ou uma imagem para trás posicionada para trás da imagem alvo.

[0021] Entretanto, há três formas de combinação de duas imagens a serem referidas durante a codificação de modo B. Isto é, há três casos de codificação de modo B, como se segue: um caso onde duas imagens à frente são referidas, um caso onde duas imagens para trás são referidas, e um caso onde uma imagem à frente e uma imagem para trás são referidas.

[0022] A figura 45 é um diagrama para explanação de um método de codificação de filme, tal como o MPEG descrito acima. A figura 45 ilustra as relações entre as imagens alvo e as imagens de referência correspondentes (imagens a serem referidas quando da codificação das respectivas imagens alvo).

[0023] A codificação das respectivas imagens alvo F(k) ~ F(k+7), ..., F(k+17) ~ F(k+21), que constituem o filme, é realizada com referência a outras imagens, como mostrado pelas setas Z. Para ser específiPetição 870170060093, de 18/08/2017, pág. 11/243

7/232 co, uma imagem ao final de uma seta Z é codificada por uma codificação de previsão interimagens com referência a uma imagem no começo da mesma seta Z. Na figura 45, as imagens F(k) ~ F(k+7), ..., F(k+17) ~ F(k+21) são idênticas às imagens F(k) ~ F(k+4), ..., F(k+n-2) ~ F(k+n+4), ..., F(k+2n-2), F(k+2n-1) mostradas na figura 43(a). Essas imagens são sucessivamente dispostas a partir de uma tendo um tempo de exibição mais anterior no eixo de tempo de exibição X. Os tempos de exibição das imagens F(k) ~ F(k+7), ..., F(k+17) ~ F(k+21) são os tempos t(k) ~ t(k+7), ..., t(k+17) ~ t(k+21). Os tipos de imagem das imagens F(k) ~ F(k+7) são I, B, B, P, B, B, P, B e os tipos de imagem das imagens F(k+17) ~ F(k+21) são B, P, B, B, P.

[0024] Por exemplo, quando da execução da codificação de modo B para a segunda imagem B F(k+1) mostrada na figura 45, a primeira imagem I F(k) e a quarta imagem P F(k+3) são referidas. Ainda, quando da execução da codificação de modo P para a quarta imagem P F(k+3) mostrada na figura 45, a primeira imagem I F(k) é referida. [0025] Embora uma imagem à frente seja referida na codificação de modo P de uma imagem P na figura 45, uma imagem para trás pode ser referida. Ainda, embora uma imagem à frente e uma imagem para trás sejam referidas em uma codificação de modo B de uma imagem B na figura 45, duas imagens à frente ou duas imagens para trás podem ser referidas.

[0026] Mais ainda, em um método de codificação de filme, tal como MPEG-4 ou H.26L, um modo de codificação denominado modo direto pode ser selecionado, quando da codificação de uma imagem B.

[0027] As figuras 46(a) e 46(b) são diagramas para explicação da codificação de previsão entre quadros a ser realizada com o modo direto. A figura 46(a) mostra vetores de movimento a serem usados no modo direto.

Petição 870170060093, de 18/08/2017, pág. 12/243

8/232 [0028] Na figura 46(a), as imagens P1, B2, B3 e P4 correspondem às imagens F(k+3) ~ F(k+6) [k = -2] mostradas na figura 45, e os tempos t(1), t(2), t(3) e t(4) (t(1) < t(2) < t(3) < t(4)) são tempos de exibição das imagens P1, B2, B3 e P4, respectivamente. Ainda, X é um eixo de tempo de exibição indicando os tempos de exibição Tdis.

[0029] A partir deste ponto, um caso em que um bloco BL3 na imagem B3 é codificado no modo direto será especificamente descrito. [0030] Neste caso, uma imagem alvo a ser codificada é a imagem B3 e o bloco alvo a ser codificado é o bloco BL3.

[0031] Na codificação de previsão do bloco BL3 na imagem B3, um vetor de movimento MV4 de um bloco BL4 na imagem P4, cujo bloco foi mais recentemente codificado e está posicionado atrás da imagem B3, é usado. A posição relativa do bloco BL4 para a imagem P4 é igual à posição relativa do bloco BL3 para a imagem B3. Isto é, como mostrado na figura 46(b), as coordenadas (x4, y4) e uma origem Ob4 do bloco BL4 em relação a uma origem O4 da imagem P4 são iguais às coordenadas (x3, y3) de uma origem Ob3 do bloco BL3 em relação a uma origem O3 da imagem P3. Ainda, o vetor de movimento MV4 do bloco BL4 é o vetor de movimento que é usado na codificação de previsão do bloco BL4. O vetor de movimento MV4 do bloco BL4 é obtido pela detecção de movimento do bloco BL4 com referência à imagem à frente P1, e mostra uma região R4f correspondente ao bloco BL4 da imagem à frente P1.

[0032] Então, o bloco BL3 na imagem B3 é submetido a uma codificação de previsão bidirecional com referência à imagem à frente P1 e à imagem para trás P4, pelo uso dos vetores de movimento MV3f e MV3b, os quais são paralelos ao vetor de movimento MV4. O vetor de movimento MV3f indica uma região R3f correspondente ao bloco BL3, da imagem à frente P1 a ser referida quando da codificação do bloco BL3. O vetor de movimento MV3b indica uma região R3b corresponPetição 870170060093, de 18/08/2017, pág. 13/243

9/232 dente ao bloco BL3 da imagem para trás P4 a ser referida quando da codificação do bloco BL3.

[0033] A propósito, a recomendação da ITU-T (H.263++ Anexo U) descreve uma estrutura em um caso onde várias imagens são usadas como candidatas para uma imagem de referência. Nesta descrição, uma memória de imagem de referência para a manutenção dos dados de imagem de imagens a serem candidatas para uma imagem de referência (imagens candidatas) é classificada em uma memória de imagem de curta duração e uma memória de imagem de longa duração. A memória de imagem de curta duração é uma área de memória para a manutenção de dados de imagens candidatas as quais são, no sentido do tempo, próximas de uma imagem alvo (imagens candidatas vizinhas). A memória de imagem de longa duração é uma área de memória para a manutenção de imagens candidatas as quais são, no sentido do tempo, distantes da imagem alvo (imagens candidatas distantes). Para ser específico, uma imagem candidata distante está espaçada da imagem alvo por uma distância tal que o número de imagens candidatas da imagem alvo até a imagem candidata distante exceda ao número de imagens candidatas as quais podem ser armazenadas na memória de imagem de curta duração.

[0034] Ainda, a recomendação da ITU-T (H.263++ Anexo U) descreve um método de utilização da memória de imagem de curta duração e da memória de imagem de longa duração, e, adicionalmente, também descreve um método de designação de índices de imagem de referência (a partir deste ponto também referidos, simplesmente, como índices de referência) para imagens.

[0035] Inicialmente, o método de designação de índices de referência para imagens será brevemente descrito.

[0036] As figuras 47(a) e 47(b) são diagramas para explanação do método de designação de índices de referência para várias imagens

Petição 870170060093, de 18/08/2017, pág. 14/243

10/232 que constituem um filme. A figura 47(a) mostra candidatos (imagens candidatas) para uma imagem a ser referida, quando da codificação de uma imagem P16. A figura 47(b) mostra candidatos (imagens candidatas) para uma imagem a ser referida, quando da codificação de uma imagem B15.

[0037] Na figura 47(a), as imagens P4, B2, B3, P7, B5, B6, P10, B8, B9, P13, B11, B12, P16, B14, B15, P19, B17 e P18 são obtidas pelo rearranjo das imagens F(k+1) ~ F(k+17) [k = 1] mostradas na figura 45 na ordem de codificação. O arranjo de várias imagens mostrado na figura 47(a) é um arranjo de imagens em um eixo de tempo (eixo de tempo de codificação) Y indicando os tempos (tempos de codificação) Tenc para a codificação das respectivas imagens.

[0038] Será dada uma descrição de um caso onde, como mostrado na figura 47(a), um bloco na imagem P P16 é submetido a uma codificação de modo P.

[0039] Neste caso, dentre quatro imagens P à frente (imagens P4, P7, P10 e P13), uma imagem adequada para a codificação é referida. Isto é, as imagens P à frente P4, P7, P10 e P13 são imagens candidatas, as quais podem ser designadas como uma imagem de referência na execução da codificação de modo P da imagem P16. A essas imagens candidatas P4, P7, P10 e P13 são atribuídos índices de referência, respectivamente.

[0040] Quando da atribuição de índices de referência a essas imagens candidatas, um índice de referência tendo um valor menor é atribuído a uma imagem mais próxima da imagem alvo P16 a ser codificada. Para ser específico, como mostrado na figura 47(a), os índices de referência [0], [1], [2] e [3] são atribuídos às imagens P13, P10, P7 e P4, respectivamente. Ainda, uma informação indicando os índices de referência atribuídos às respectivas imagens candidatas é descrita como um parâmetro de compensação de movimento em um fluxo de

Petição 870170060093, de 18/08/2017, pág. 15/243

11/232 bits correspondente a um bloco alvo na imagem P16.

[0041] Em seguida, será dada uma descrição de um caso onde, como mostrado na figura 47(b), um bloco na imagem B B15 é submetido a uma codificação de modo B.

[0042] Neste caso, dentre quatro imagens à frente (as imagens P4, P7, P10 e P13) e uma imagem para trás (a imagem P16), duas imagens adequadas para a codificação são referidas. Isto é,as imagens à frente P4, P7, P10 e P13 e a imagem para trás P16 são imagens candidatas as quais devem ser designadas como imagens de referência na codificação de modo B para a imagem B B15. Quando quatro imagens à frente e uma imagem para trás são imagens candidatas, às imagens à frente P4, P7, P10 e P13 são atribuídos índices de referência, e à imagem para trás P16 é atribuído um código [b] indicando que esta imagem é uma imagem candidata a ser referida para trás.

[0043] Na atribuição de índices de referência às imagens candidatas, quanto às imagens à frente como imagens candidatas, um índice de referência menor é atribuído a uma imagem à frente (imagem candidata) mais próxima da imagem alvo B15 a ser codificada no eixo de tempo de codificação Y. Para ser específico, como mostrado na figura 47(b), os índices de referência [0], [1], [2] e [3] são atribuídos às imagens P13, P10, P7 e P4, respectivamente. Ainda, uma informação indicando o índice de referência atribuído a cada imagem candidata é descrita, como um parâmetro de filme, em um fluxo de bits correspondente a um bloco alvo na imagem B15.

[0044] Em seguida, o método de atribuição de índices de referência, o qual é descrito na recomendação da ITU-T (H.263++ Anexo U), será descrito em associação com o método de utilização de memória de imagem de curta duração e memória de imagem de longa duração. [0045] Na memória de imagem de curta duração, as imagens canPetição 870170060093, de 18/08/2017, pág. 16/243

12/232 didatas, as quais podem ser designadas como uma imagem de referência para uma imagem alvo, são sucessivamente armazenadas, e às imagens candidatas armazenadas são atribuídos índices de referência na ordem de armazenamento na memória (isto é, na ordem de decodificação ou na ordem de fluxos de bit). Ainda, quando da decodificação de uma imagem B, uma imagem que foi mais recentemente armazenada na memória é tratada como uma imagem de referência para trás, enquanto às outras imagens são atribuídos índices de referência na ordem de armazenamento na memória.

[0046] A partir deste ponto, será dada uma descrição de um caso onde quatro imagens à frente podem ser usadas como candidatas para uma imagem de referência para uma imagem alvo.

[0047] As figuras 48(a) e 48(b) são diagramas que ilustram parte das várias imagens que constituem um filme, onde as imagens são dispostas na ordem de exibição (48(a)), e as imagens são dispostas na ordem de codificação (48(b)). As imagens P1, B2, B3, P4, B5, B6, P7, B8, B9, P10, B11, B12, P13, B14, B15, P16, B17, B18 E P19, mostradas na figura 48(a), correspondem às imagens F(k+3) ~ F(k+21) [k = -2] mostradas na figura 45.

[0048] A figura 49 é um diagrama para explanação do gerenciamento de uma memória para imagens de referência para as imagens dispostas como descrito acima.

[0049] Na figura 49, as imagens já codificadas, as quais são armazenadas na memória de imagem de referência, quando da codificação de imagens alvo, são mostradas em associação com números de memória lógica correspondentes a áreas de memória onde as imagens já codificadas são armazenadas, e índices de referência atribuídos às imagens já codificadas.

[0050] Na figura 49, as imagens P16, B14 e B15 são imagens alvo. Os números de memória lógica (0) ~ (4) indicam posições lógicas

Petição 870170060093, de 18/08/2017, pág. 17/243

13/232 (áreas de memória) na memória de imagem de referência. Quanto mais posterior for o tempo de codificação (ou de decodificação) de uma imagem já codificada armazenada em uma área de memória, menor é o número de memória lógica correspondente à área de memória.

[0051] A partir deste ponto, o gerenciamento da memória de imagem de referência será descrito mais especificamente.

[0052] Quando da codificação (decodificação) da imagem P16, as imagens P13, P10, P7 e P4 são armazenadas nas áreas de memória indicadas pelos números de memória lógica (0), (1), (2) e (3) na memória de imagem de referência, respectivamente. Às imagens P13, P10, P7 e P4 são atribuídos os índices de referência [0], [1], [2] e [3], respectivamente.

[0053] Quando da codificação (decodificação) das imagens B14 e B15, as imagens P16, P13, P10, P7 e P4 são armazenadas nas áreas de memória indicadas pelos números de memória lógica (0), (1), (2), (3) e (4) na memória de imagem de referência, respectivamente. Neste momento, à imagem P16 é atribuído um código [b] indicando que esta imagem é uma imagem candidata a ser referida para trás, e às imagens candidatas remanescentes P13, P10, P7 e P4 a serem referidas para frente são atribuídos os índices de referência [0], [1], [2] e [3], respectivamente.

[0054] Uma informação indicando os índices de referência atribuídos às respectivas imagens candidatas é um parâmetro de compensação de movimento e, quando da codificação de um bloco em uma imagem alvo, é descrita em um fluxo de bits correspondente ao bloco como uma informação indicando qual das várias imagens candidatas deve ser usada como uma imagem de referência. Neste momento, um código mais curto é atribuído a um índice de referência menor.

[0055] No método de codificação convencional descrito acima, enPetição 870170060093, de 18/08/2017, pág. 18/243

14/232 tretanto, uma vez que uma imagem I ou uma imagem P é designada como uma imagem de referência, quando da execução da codificação de previsão para um bloco em uma imagem B, uma distância (a partir deste ponto, também referida como uma distância de base de tempo) entre a imagem alvo e a imagem de referência no eixo de tempo de exibição poderia ser aumentada.

[0056] Por exemplo, na codificação de previsão em um bloco na imagem B B15, mostrada na figura 48(b), quando a imagem à frente P13 e a imagem para trás P16 são designadas como imagens de referência, a distância de base de tempo Ltd (= t(15) - t(13)) entre a imagem B B15 (imagem alvo) e a imagem à frente P13 (imagem de referência) se torna um intervalo de duas imagens (2Pitv), como mostrado na figura 50(a).

[0057] Mais ainda, na codificação de previsão para um bloco na imagem B B15, mostrada na figura 48(b), quando as imagens à frente P13 e P10 são designadas como imagens de referência, a distância de base de tempo Ltd (= t(15) - t(10)) entre a imagem B B15 (imagem alvo) e a imagem à frente P10 (imagem de referência) se torna um intervalo de cinco imagens (5Pitv), como mostrado na figura 50(b).

[0058] Especialmente quando o número de imagens B inseridas entre uma imagem I e uma imagem P ou entre duas imagens P adjacentes é aumentado, a distância de base de tempo Ltd entre a imagem alvo e a imagem de referência é aumentada, resultando em uma redução considerável na eficiência de codificação.

[0059] Ainda, no método de codificação convencional, quando da execução de uma codificação de modo B na qual várias imagens para trás podem ser referidas, há casos em que a uma imagem vizinha a qual é no sentido do tempo mais próxima de uma imagem é atribuído um índice de referência maior do que um índice de referência atribuído a uma imagem distante, a qual é no sentido do tempo mais distante da

Petição 870170060093, de 18/08/2017, pág. 19/243

15/232 imagem alvo.

[0060] Neste caso, na detecção de movimento para um bloco na imagem alvo, uma imagem candidata que seja mais próxima no sentido do tempo da imagem alvo é mais provável de ser referida; em outras palavras, uma imagem candidata que seja mais próxima no sentido do tempo da imagem alvo é mais provável de ser designada como uma imagem de referência, resultando na degradação da eficiência de codificação.

[0061] A partir deste ponto, será dada uma descrição de um caso em que duas imagens para trás P16 e P19 são referidas em uma codificação de modo B para um bloco em uma imagem B B15, mostrada na figura 51(a).

[0062] Neste caso, as imagens B2, B3, P4, B5, B6, P7, B8, B9, P10, B11, B12, P13, B14, B15, P16, B17, B18 e P19, as quais são dispostas na ordem de exibição, como mostrado na figura 51(a), são rearranjadas na ordem de codificação, resultando em P7, B2, B3, P10, B5, B6, P13, B8, B9, P16, B11, B12, P19, B14 e B15, como mostrado na figura 51(b).

[0063] Ainda, neste caso, dentre três imagens à frente (as imagens P7, P10 e P13) e duas imagens para trás (as imagens P16 e P19), duas imagens adequadas para codificação são referidas. Para ser específico, as imagens à frente P7, P10 e P13 e as imagens para trás P16 e P19 são imagens candidatas, as quais podem ser designadas como uma imagem de referência, quando da codificação de um bloco na imagem B15. Quando três imagens à frente e duas imagens para trás são imagens candidatas, como descrito acima, os índices de referência são atribuídos às imagens à frente P7, P10 e P13 e às imagens para trás P16 e P19.

[0064] Na atribuição de índices de referência às imagens candidatas, um índice de referência menor é atribuído a uma imagem candidaPetição 870170060093, de 18/08/2017, pág. 20/243

16/232 ta que esteja mais próxima da imagem alvo B15 a ser codificada no eixo de tempo de codificação Y. Para ser específico, como mostrado na figura 51(b), os índices de referência [0], [1], [2], [3] e [4] são atribuídos às imagens P19, P16, P13, P10 e P7, respectivamente.

[0065] Neste caso, contudo, o índice de referência [1] atribuído à imagem P P16, que é mais próxima da imagem alvo (imagem B B15) no eixo de tempo de exibição X se torna maior do que o índice de referência [0] atribuído à imagem P P19, que é mais distante da imagem B B15, resultando em uma degradação da eficiência de codificação. [0066] A presente invenção é feita para se resolverem os problemas acima, e tempo por seu objeto prover um método de codificação de filme o qual pode impedir uma redução na eficiência de codificação, devido a um aumento em uma distância de base de tempo entre uma imagem alvo e uma imagem de referência, e um método de decodificação de filme correspondente ao método de codificação de filme, o qual pode impedir uma redução na eficiência de codificação.

[0067] Ainda, é um outro objeto da presente invenção prover um método de codificação de filme o qual possa atribuir índices de referência a imagens candidatas, que podem ser referidas em uma codificação de previsão, sem a degradação da eficiência de codificação, e um método de decodificação de filme correspondente ao método de codificação de filme, o qual pode evitar uma degradação na eficiência de codificação.

Descrição da Invenção [0068] De acordo com a presente invenção, é provido um método de codificação de filme para a divisão de cada uma de várias imagens que constituem um filme em vários blocos, e a codificação de cada imagem para cada bloco, cujo método inclui uma etapa de codificação de execução de codificação de previsão para um bloco de uma imagem alvo a ser codificada, com referência a uma imagem já codificada;

Petição 870170060093, de 18/08/2017, pág. 21/243

17/232 e, na etapa de codificação, quando a imagem alvo é uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B.

[0069] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B, e quando a imagem alvo é uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, cada bloco da imagem alvo é codificado com previsão sem uma referência a qualquer imagem já codificada B.

[0070] De acordo com a presente invenção, no método de codificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de codificação, codificada como uma das imagens a seguir: uma imagem I, cujo bloco é para ser codificado sem uma referência a uma imagem já codificada, uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, e uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas; e, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B, e quando o número de imagens candidatas para uma imagem de referência a ser referida, quando da codificação da imagem alvo como uma imagem B, for igual ou menor do que o número de imagens candidatas para uma imagem de referência a ser referida quando da codificação da imagem alvo como uma imagem P.

[0071] De acordo com a presente invenção, no método de codificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de codificação, codificada como uma

Petição 870170060093, de 18/08/2017, pág. 22/243

18/232 das imagens a seguir: uma imagem I, cujo bloco é para ser codificado sem uma referência a uma imagem já codificada, uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, e uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas; e, na etapa de codificação, quando a imagem alvo é uma imagem B, uma imagem B a ser referida em uma codificação de previsão de um bloco da imagem alvo é apenas uma imagem B a qual é inserida entre a imagem alvo e uma imagem I ou uma P, que é mais próxima da imagem alvo no eixo de tempo de exibição.

[0072] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B, e uma informação de posição de imagem indicando a posição da imagem já codificada B no eixo de tempo de exibição é incluída em um fluxo de bits, que é obtido pela codificação das imagens que constituem o filme. [0073] De acordo com a presente invenção, no método de codificação de filme descrito acima, a informação de posição de imagem é expressa com um código de comprimento mais curto conforme a distância no eixo de tempo de exibição a partir da imagem alvo até a imagem já codificada B, que é referida na codificação da imagem alvo é mais curta.

[0074] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B; e uma informação indicando que a imagem já codificada B é referida quando da codificação da imagem alvo B é incluída como uma informação de cabeçalho em um fluxo de bits, que é obtido pela codificação das imaPetição 870170060093, de 18/08/2017, pág. 23/243

19/232 gens que constituem o filme.

[0075] De acordo com a presente invenção, é provido um método de codificação de filme para a divisão de cada uma de várias imagens que constituem um filme em vários blocos, e a codificação de cada imagem para cada bloco, cujo método inclui uma etapa de codificação de codificação de uma imagem alvo a ser codificada, com referência a, pelo menos, uma imagem P cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, e uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas; e, na etapa de codificação, uma imagem já codificada determinada de acordo com uma certa regra é referida, quando da codificação de um bloco alvo de uma imagem B como uma imagem alvo em um modo direto, o qual usa um vetor de movimento de um bloco de base, que está localizado espacialmente na mesma posição que o bloco alvo, em uma imagem de base já codificada, que está posicionada mais próxima da imagem alvo.

[0076] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, uma primeira imagem já codificada, a qual está posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida.

[0077] De acordo com a presente invenção, no método de codificação de filme descrito acima, a imagem de base já codificada incluindo o bloco de base é uma imagem de base P para trás, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de codificação, um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRB-TRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base

Petição 870170060093, de 18/08/2017, pág. 24/243

20/232

P para trás e uma segunda imagem, a qual é referida na codificação do bloco de base, no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a primeira imagem no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a segunda imagem no eixo de tempo de exibição, e uma previsão bidirecional é realizada, usando-se o vetor de movimento para frente e o vetor de movimento para trás.

[0078] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando da codificação de um bloco alvo no modo direto, uma previsão bidirecional com o vetor de movimento do bloco alvo sendo zero é realizada, com referência a uma imagem à frente já codificada, a qual está posicionada mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, e uma imagem para trás já codificada, a qual está posicionada mais próxima da imagem alvo e é mais posterior na ordem de exibição do que a imagem alvo.

[0079] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, nenhuma informação de imagem do bloco alvo, cuja informação de erro de previsão se torna zero, no fluxo de bits correspondente ao filme, é inserida.

[0080] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando a informação de erro de previsão do bloco alvo se torna zero, a inserção da informação de imagem do bloco alvo no fluxo de bits correspondente ao filme é omitida.

[0081] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, índices de imagem de referência são atribuídos às imagens candidatas para uma imagem de referência a ser referida, quando da codificação da imaPetição 870170060093, de 18/08/2017, pág. 25/243

21/232 gem alvo, e quando da codificação do bloco alvo no modo direto, uma imagem candidata à qual um índice de imagem de referência específico é atribuído é referida.

[0082] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando uma imagem imediatamente antes da imagem é uma imagem a ser usada como uma imagem candidata para uma imagem de referência apenas quando da codificação da imagem alvo, o índice de imagem de referência específico é atribuído a uma imagem, a qual é posicionada para frente da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na codificação da imagem alvo.

[0083] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, o índice de imagem de referência específico é atribuído a uma imagem candidata, a qual é mais anterior na ordem de exibição do que a imagem alvo e está mais próxima da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na decodificação da imagem alvo.

[0084] De acordo com a presente invenção, no método de codificação de filme descrito acima, a imagem de base já codificada incluindo o bloco de base é uma imagem de base P para trás, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de codificação, quando da codificação do bloco alvo no modo direto, uma primeira imagem à frente, a qual é mais anterior na ordem de exibição do que o bloco alvo, é referida na codificação do bloco de base, é referida.

[0085] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, uma segunda imagem à frente,

Petição 870170060093, de 18/08/2017, pág. 26/243

22/232 a qual é posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida; e um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRB-TRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma primeira imagem à frente no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a segunda imagem à frente no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a primeira imagem à frente no eixo de tempo de exibição.

[0086] De acordo com a presente invenção, no método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, se uma imagem à frente a ser referida, a qual é mais anterior na ordem de exibição do que a imagem alvo, não existir em uma memória para manutenção de imagens de referência, uma imagem, a qual é mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida. [0087] De acordo com a presente invenção, é provido um método de codificação de filme, para a codificação de cada uma de várias imagens que constituem um filme, para a geração de um fluxo de bits correspondente a cada imagem, cujo método inclui uma etapa de codificação para a codificação de uma imagem alvo a ser codificada, com referência a uma imagem já codificada; e a etapa de codificação inclui: uma etapa de atribuição de índice, de atribuição de índices de imagem de referência a várias imagens candidatas de referência, as quais são candidatas para uma imagem de referência a ser referida na codificação da imagem alvo, de maneira tal que um índice de imagem de referência menor seja atribuído a uma imagem candidata que esteja mais próxima na ordem de exibição da imagem alvo a ser codificada, e uma etapa de adição de índice, de adição do índice de imagem de referênPetição 870170060093, de 18/08/2017, pág. 27/243

23/232 cia, o qual é atribuído a uma imagem, que é referida na codificação da imagem alvo, ao fluxo de bits.

[0088] De acordo com a presente invenção, é provido um método de codificação de filme para a codificação de cada uma de várias imagens que constituem um filme, para a geração de um fluxo de bits correspondente a cada imagem, cujo método inclui uma etapa de codificação para a codificação de uma imagem alvo a ser codificada, com referência a uma imagem já codificada; e, na etapa de codificação, um indicador indicando se a imagem alvo deve ser usada ou não como uma candidata para uma imagem de referência, quando da codificação de uma imagem que se segue à imagem alvo, é descrito no fluxo de bits.

[0089] De acordo com a presente invenção, é provido um método de decodificação de filme para a decodificação de cada uma de várias imagens que constituem um filme, para cada bloco que seja uma unidade de processador de cada imagem, desse movo convertendo-se um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação de execução de uma decodificação de previsão para um bloco de uma imagem alvo a ser decodificada, com referência a uma imagem já decodificada; e, na etapa de decodificação, quando a imagem alvo é uma imagem B cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas, um bloco da imagem alvo é decodificado com previsão com referência a uma imagem já decodificada B.

[0090] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é decodificado com previsão com referência a uma imagem já decodificada B, e quando a imagem alvo é uma imagem P cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada,

Petição 870170060093, de 18/08/2017, pág. 28/243

24/232 cada bloco da imagem alvo é decodificado com previsão sem uma referência a qualquer imagem já decodificada B.

[0091] De acordo com a presente invenção, no método de decodificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de decodificação, decodificada como uma das imagens a seguir: uma imagem I cujo bloco é para ser decodificado sem uma referência a uma imagem já decodificada, uma imagem P, cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada, e uma imagem B, cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas; e, na etapa de decodificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é decodificado com previsão com referência a uma imagem já decodificada B, e o número de imagens candidatas para uma imagem de referência à frente a ser referida quando da decodificação da imagem alvo como uma imagem B é igual a ou menor do que o número de imagens candidatas para uma imagem de referência a ser referida quando da decodificação da imagem alvo como uma imagem P.

[0092] De acordo com a presente invenção, no método de decodificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de decodificação, decodificada como uma das imagens a seguir: uma imagem I cujo bloco é para ser decodificado sem uma referência a uma imagem já decodificada, uma imagem P, cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada, e uma imagem B, cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas; e, na etapa de decodificação, quando a imagem alvo é uma imagem B, uma imagem B a ser referida na decodificação de previsão de um bloco na imagem alvo é apenas uma imagem B a qual é inserida entre a imagem alvo e uma imagem I ou uma imagem P que

Petição 870170060093, de 18/08/2017, pág. 29/243

25/232 está mais próxima da imagem alvo na ordem de exibição.

[0093] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando a imagem alvo é uma imagem B, um processo de decodificação de previsão de um bloco da imagem alvo com referência a uma imagem já decodificada B, é realizado com base na informação de posição de imagem indicando a posição da imagem já decodificada B no eixo de tempo de exibição, cuja informação está incluída no fluxo de bits.

[0094] De acordo com a presente invenção, no método de decodificação de filme descrito acima, a informação de posição de imagem é expressa com um código de comprimento mais curto conforme a distância no eixo de tempo de exibição a partir da imagem alvo até a imagem à frente já decodificada B que é referida na decodificação da imagem alvo é mais curta.

[0095] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando a imagem alvo é uma imagem B, um processo de decodificação de previsão de um bloco da imagem alvo com referência a uma imagem já decodificada B, é realizado com referência a uma informação de cabeçalho indicando que uma imagem já codificada B é referida quando a imagem alvo B, cuja informação de cabeçalho é incluída no fluxo de bits correspondente à imagem como um componente do filme.

[0096] De acordo com a presente invenção, é provido um método de decodificação de filme para a decodificação de cada uma de várias imagens que constituem um filme, para cada bloco que é uma unidade de processamento de cada imagem, desse modo convertendo-se um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação, de decodificação de uma imagem alvo a ser decodificada, com referência a pelo menos uma imagem P cujo bloco é para ser decodificado com previsão com

Petição 870170060093, de 18/08/2017, pág. 30/243

26/232 referência a uma imagem já decodificada, e uma imagem B cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas; e, na etapa de decodificação, uma imagem já decodificada determinada de acordo com uma certa regra é referida quando da decodificação de um bloco alvo de uma imagem B como uma imagem alvo em um modo direto, a qual usa um vetor de movimento de um bloco alvo que está localizado espacialmente na mesma posição que o bloco alvo, em uma imagem de base já decodificada que está posicionada mais próxima da imagem alvo.

[0097] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma primeira imagem já codificada, a qual está posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida.

[0098] De acordo com a presente invenção, no método de decodificação de filme descrito acima, a imagem de base já decodificada incluindo o bloco de base é uma imagem de base para trás P, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de decodificação, um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRBTRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma segunda imagem, a qual é referida na decodificação do bloco de base, no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a primeira imagem no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a segunda imagem no eixo de tempo de exibição.

[0099] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando da

Petição 870170060093, de 18/08/2017, pág. 31/243

27/232 decodificação do bloco alvo no modo direto, uma previsão bidirecional com o vetor de movimento do bloco alvo sendo zero é realizada, com referência a uma imagem à frente já decodificada, a qual está posicionada mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, e uma imagem para trás já decodificada, a qual está posicionada mais próxima da imagem alvo e é mais posterior na ordem de exibição do que a imagem alvo.

[00100] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma informação de imagem do bloco alvo, cuja informação de erro de previsão é zero, cuja informação de imagem não está incluída no fluxo de bits, é restaurada, usando-se o vetor de movimento do bloco de base.

[00101] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, uma informação de imagem do bloco alvo, cuja informação de erro de previsão é zero, cuja informação de imagem não está incluída no fluxo de bits, é restaurada, usando-se o vetor de movimento do bloco de base.

[00102] De acordo com a presente invenção, no método de decodificação de filme descrito acima, índices de imagem de referência são atribuídos a imagens candidatas para uma imagem de referência a ser referida, quando da decodificação da imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma imagem candidata à qual um índice de imagem de referência específico é atribuído é referida.

[00103] De acordo com a presente invenção, no método de decodificação de filme descrito acima, quando uma imagem imediatamente antes da imagem alvo é uma imagem a ser usada como uma imagem candidata para uma imagem de referência apenas quando da decodificação da imagem alvo, o índice de imagem de referência específico é

Petição 870170060093, de 18/08/2017, pág. 32/243

28/232 atribuído a uma imagem alvo, a qual está posicionada à frente da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na decodificação da imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, a imagem à qual o índice de imagem de referência específico é atribuído é referida.

[00104] De acordo com a presente invenção, no método de decodificação de filme descrito acima, o índice de imagem de referência específico é atribuído a uma imagem candidata a qual é mais anterior na ordem de exibição do que a imagem alvo e é mais próxima da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na decodificação da imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, a imagem alvo à qual o índice de imagem de referência específico é atribuído é referida.

[00105] De acordo com a presente invenção, no método de decodificação de filme descrito acima, a imagem de base já decodificada incluindo o bloco de base é uma imagem de base para trás P, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma primeira imagem à frente, a qual é mais anterior na ordem de exibição do que o bloco alvo, a qual é referida no bloco de base, é referida.

[00106] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma segunda imagem à frente, a qual está posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida; e um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRB-TRD)xMVR/TRD) do bloco alvo são obPetição 870170060093, de 18/08/2017, pág. 33/243

29/232 tidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma primeira imagem à frente no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a segunda imagem à frente no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a primeira imagem à frente no eixo de tempo de exibição.

[00107] De acordo com a presente invenção, no método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, se uma imagem à frente a ser referida, a qual é mais anterior na ordem de exibição do que a imagem alvo, não existir em uma memória para manutenção de imagens de referência, uma imagem, a qual é mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida.

[00108] De acordo com a presente invenção, é provido um método de decodificação de filme, para a decodificação de cada uma de várias imagens que constituem um filme, para a conversão de um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação, de decodificação de uma imagem alvo a ser decodificada, com referência a uma imagem já decodificada; e a etapa de decodificação inclui: uma etapa de atribuição de índice de atribuição de índices de imagem de referência a várias imagens candidatas de referência, as quais são candidatas para uma imagem de referência a ser referida na decodificação da imagem alvo, de uma maneira tal que um índice de imagem de referência seja atribuído a uma imagem candidata, a qual está mais próxima na ordem de exibição da imagem alvo a ser decodificada, e uma etapa de determinação de imagem de referência, de determinação de uma imagem a ser referida na decodificação da imagem alvo, com base em uma índice de imagem de referência atribuído a uma imagem que é referida na

Petição 870170060093, de 18/08/2017, pág. 34/243

30/232 codificação da imagem alvo, cujo índice é adicionado ao fluxo de bits da imagem alvo, e os índices de imagem de referência atribuídos às imagens candidatas de referência na etapa de atribuição de índice. [00109] De acordo com a presente invenção, é provido um método de decodificação de filme para a decodificação de cada uma de várias imagens que constituem um filme, para a conversão de um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação, de decodificação de uma imagem alvo a ser decodificada com referência a uma imagem já decodificada, onde um indicador indicando se a imagem alvo deve ou não ser usada como uma candidata para uma imagem de referência, quando da decodificação de uma outra imagem, que se segue à imagem alvo, é descrito no fluxo de bits e, na etapa de decodificação, o gerenciamento da imagem alvo decodificada é realizada com base no indicador.

[00110] Como descrito acima, na presente invenção, é provido um método de decodificação de filme para a divisão de cada uma das várias imagens que constituem um filme em vários blocos, e para a codificação de cada imagem para cada bloco, cujo método inclui uma etapa de codificação de execução de uma codificação de previsão para um bloco de uma imagem alvo a ser codificada, com referência a uma imagem já codificada; e, na etapa de codificação, quando a imagem alvo é uma imagem B, cujo bloco é para ser codificado com previsão com referência a suas imagens já codificadas, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B. Portanto, quando da codificação de uma imagem B, uma imagem de referência à frente que é mais próxima à imagem B pode ser usada. Desse modo, a acurácia de previsão de compensação de movimento para a imagem B pode ser melhorada, resultando em uma eficiência de codificação melhorada.

Petição 870170060093, de 18/08/2017, pág. 35/243

31/232 [00111] No método de codificação de filme descrito acima, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B, e quando a imagem alvo é uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, cada bloco da imagem alvo é codificado com previsão sem uma referência a qualquer imagem já codificada B. Portanto, em uma memória, onde imagens a serem candidatas para uma imagem de referência são armazenadas, o gerenciamento das imagens candidatas é facilitado.

[00112] No método de codificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de codificação, codificada como uma das imagens a seguir: uma imagem I, cujo bloco é para ser codificado sem uma referência a uma imagem já codificada, uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, e uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas; e, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B, e quando o número de imagens candidatas para uma imagem de referência a ser referida quando da codificação da imagem alvo como uma imagem B é igual a ou menor do que o número de imagens candidatas para uma imagem de referência a ser referida quando da codificação da imagem alvo como uma imagem P. Portanto, é possível evitar um aumento na capacidade da memória que mantém as imagens candidatas de referência, o qual é causado pelo fato de uma outra imagem B ser referida quando da codificação de uma imagem B.

[00113] No método de codificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de codifiPetição 870170060093, de 18/08/2017, pág. 36/243

32/232 cação, codificada como uma das imagens a seguir: uma imagem I, cujo bloco é para ser codificado sem uma referência a uma imagem já codificada, uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, e uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas; e, na etapa de codificação, quando a imagem alvo é uma imagem B, uma imagem B a ser referida na codificação de previsão de um bloco da imagem alvo é apenas uma imagem B, a qual é inserida entre a imagem alvo e uma imagem I ou uma imagem P que está mais próxima da imagem alvo no eixo de tempo de exibição. Portanto, a acurácia de previsão na compensação de movimento para uma imagem B pode ser melhorada, resultando em uma eficiência de codificação melhorada.

[00114] No método de codificação de filme descrito acima, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B, e uma informação de posição de imagem indicando a posição da imagem já codificada B referida no eixo de tempo de exibição é incluída em um fluxo de bits, que é obtido pela codificação das imagens que constituem o filme. Portanto, a extremidade de decodificação pode facilmente detectar uma imagem candidata B de referência que é usada como uma imagem de referência, quando da codificação de uma imagem B.

[00115] No método de codificação de filme descrito acima, a informação de posição de imagem é expressa com um código de comprimento mais curto conforme a distância no eixo de tempo de exibição a partir da imagem alvo até a imagem já codificada B, que é referida na codificação da imagem alvo, é mais curta. Portanto, é possível reduzir a quantidade de códigos requeridos para expressão da informação para identificação, na extremidade de decodificação, de uma imagem

Petição 870170060093, de 18/08/2017, pág. 37/243

33/232 candidata que foi referida à frente quando da codificação de uma imagem B.

[00116] No método de codificação de filme descrito acima, na etapa de codificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é codificado com previsão com referência a uma imagem já codificada B; e uma informação indicando que a imagem já codificada B é referida quando da codificação da imagem alvo B é incluída como uma informação de cabeçalho em um fluxo de bits, que é obtido pela codificação das imagens que constituem o filme. Portanto, é facilmente detectado na extremidade de decodificação que uma outra imagem B é referida à frente quando da codificação de uma imagem B.

[00117] Ainda, na presente invenção, é provido um método de codificação de filme para a divisão de cada uma de várias imagens que constituem um filme em vários blocos, e a codificação de cada imagem para cada bloco, cujo método inclui uma etapa de codificação, de codificação de uma imagem alvo a ser codificada, com referência a, pelo menos, uma imagem P, cujo bloco é para ser codificado com previsão com referência a uma imagem já codificada, e uma imagem B, cujo bloco é para ser codificado com previsão com referência a duas imagens já codificadas; e, na etapa de codificação, uma imagem já codificada determinada de acordo com uma certa regra é referida quando da codificação de um bloco alvo de uma imagem B como uma imagem alvo em um modo direto, o qual usa um vetor de movimento de um bloco de base que está localizado espacialmente na mesma posição que o bloco alvo, em uma imagem de base já codificada que está localizada mais próxima da imagem alvo. Portanto, a eficiência de previsão pode ser otimizada, de acordo com o status de codificação.

[00118] No método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto,

Petição 870170060093, de 18/08/2017, pág. 38/243

34/232 uma primeira imagem já codificada, a qual está posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida. Portanto, a eficiência de previsão na codificação de uma imagem B no modo direto pode ser melhorada. [00119] No método de codificação de filme descrito acima, a imagem de base já codificada incluindo o bloco de base é uma imagem de base para trás P, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de codificação, um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRB-TRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma segunda imagem, a qual é referida na codificação do bloco de base, no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a primeira imagem no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a segunda imagem no eixo de tempo de exibição, e uma previsão bidirecional é realizada, usando-se o vetor de movimento para frente e o vetor de movimento para trás. Portanto, um vetor de movimento de um bloco alvo a ser usado no modo direto pode ser precisamente gerado a partir de um vetor de movimento de um outro bloco que não o bloco alvo.

[00120] No método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, uma previsão bidirecional com o vetor de movimento do bloco alvo sendo zero é realizada, com referência a uma imagem à frente já codificada, a qual está posicionada mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, e uma imagem para trás já codificada, a qual está posicionada mais próxima da imagem alvo e é mais posterior na ordem de exibição do que a imagem alvo. Portanto, quando da codificação de uma imagem B no modo direPetição 870170060093, de 18/08/2017, pág. 39/243

35/232 to, o escalonamento de um vetor de movimento se torna desnecessário, resultando em uma redução na quantidade de processamento. [00121] No método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, nenhuma informação de imagem do bloco alvo, cuja informação de erro de previsão se torna zero, no fluxo de bits correspondente ao filme, é inserida. Portanto, a quantidade de códigos pode ser reduzida. [00122] No método de codificação de filme descrito acima, na etapa de codificação, quando a informação de erro de previsão do bloco alvo se torna zero, a inserção da informação de imagem do bloco alvo no fluxo de bits correspondente ao filme é omitida. Portanto, a quantidade de códigos pode ser reduzida.

[00123] No método de codificação de filme descrito acima, na etapa de codificação, índices de imagem de referência são atribuídos às imagens candidatas para uma imagem de referência a ser referida, quando da codificação da imagem alvo, e quando da codificação do bloco alvo no modo direto, uma imagem candidata, à qual um índice de imagem de referência específico é atribuído, é referida. Portanto, a eficiência de previsão pode ser otimizada, de acordo com o status de codificação.

[00124] No método de codificação de filme descrito acima, na etapa de codificação, quando uma imagem imediatamente antes da imagem é uma imagem a ser usada como uma imagem candidata para uma imagem de referência apenas quando da codificação da imagem alvo, o índice de imagem de referência específico é atribuído a uma imagem, a qual é posicionada para frente da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na codificação da imagem alvo. Portanto, a eficiência de previsão na codificação de uma imagem B no modo direto pode ser melhorada.

Petição 870170060093, de 18/08/2017, pág. 40/243

36/232 [00125] No método de codificação de filme descrito acima, na etapa de codificação, o índice de imagem de referência específico é atribuído a uma imagem candidata, a qual é mais anterior na ordem de exibição do que a imagem alvo e está mais próxima da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na decodificação da imagem alvo. Portanto, a eficiência de previsão na codificação de uma imagem B no modo direto pode ser melhorada.

[00126] No método de codificação de filme descrito acima, a imagem de base já codificada incluindo o bloco de base é uma imagem de base P para trás, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de codificação, quando da codificação do bloco alvo no modo direto, uma primeira imagem à frente, a qual é mais anterior na ordem de exibição do que o bloco alvo, é referida na codificação do bloco de base, é referida. Portanto, a eficiência de previsão na codificação de uma imagem B no modo direto pode ser melhorada.

[00127] No método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, uma segunda imagem à frente, a qual é posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida; e um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRBTRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma primeira imagem à frente no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a segunda imagem à frente no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a primeira imagem à frente no eixo de tempo de exibição. Portanto, um vetor de movimento de

Petição 870170060093, de 18/08/2017, pág. 41/243

37/232 um bloco alvo a ser usado no modo direto pode ser precisamente gerado a partir de um vetor de movimento de um outro bloco além do bloco alvo.

[00128] No método de codificação de filme descrito acima, na etapa de codificação, quando da codificação do bloco alvo no modo direto, se uma imagem à frente a ser referida, a qual é mais anterior na ordem de exibição do que a imagem alvo, não existir em uma memória para manutenção de imagens de referência, uma imagem, a qual é mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida. Portanto, é possível impedir uma eficiência de previsão na codificação de uma imagem B no modo direto de ser significativamente degradada.

[00129] Ainda, na presente invenção, é provido um método de codificação de filme, para a codificação de cada uma de várias imagens que constituem um filme, para a geração de um fluxo de bits correspondente a cada imagem, cujo método inclui uma etapa de codificação para a codificação de uma imagem alvo a ser codificada, com referência a uma imagem já codificada; e a etapa de codificação inclui: uma etapa de atribuição de índice, de atribuição de índices de imagem de referência a várias imagens candidatas de referência, as quais são candidatas para uma imagem de referência a ser referida na codificação da imagem alvo, de maneira tal que um índice de imagem de referência menor seja atribuído a uma imagem candidata que esteja mais próxima na ordem de exibição da imagem alvo a ser codificada, e uma etapa de adição de índice, de adição do índice de imagem de referência, o qual é atribuído a uma imagem, que é referida na codificação da imagem alvo, ao fluxo de bits. Portanto, um índice de imagem de referência menor pode ser atribuído a uma imagem a qual no sentido do tempo é mais próxima da imagem alvo e é mais provável de ser selecionada como uma imagem de referência, por meio do que a quantiPetição 870170060093, de 18/08/2017, pág. 42/243

38/232 dades de códigos para os índices de imagem de referência pode ser minimizada, resultando em uma eficiência de codificação melhorada. [00130] Ainda, na presente invenção, é provido um método de codificação de filme para a codificação de cada uma de várias imagens que constituem um filme, para a geração de um fluxo de bits correspondente a cada imagem, cujo método inclui uma etapa de codificação para a codificação de uma imagem alvo a ser codificada, com referência a uma imagem já codificada; e, na etapa de codificação, um indicador indicando se a imagem alvo deve ser usada ou não como uma candidata para uma imagem de referência, quando da codificação de uma imagem que se segue à imagem alvo, é descrito no fluxo de bits. Portanto, quando da codificação de uma imagem B a ser submetida a uma codificação de previsão bidirecional, uma imagem à frente que é mais próxima a esta imagem B pode ser usada como uma imagem de referência, por meio do que a acurácia de previsão na compensação de movimento para a imagem B pode ser aumentada, resultando em uma eficiência de codificação melhorada.

[00131] Na presente invenção, é provido um método de decodificação de filme para a decodificação de cada uma de várias imagens que constituem um filme, para cada bloco que seja uma unidade de processador de cada imagem, desse modo convertendo-se um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação de execução de uma decodificação de previsão para um bloco de uma imagem alvo a ser decodificada, com referência a uma imagem já decodificada; e, na etapa de decodificação, quando a imagem alvo é uma imagem B cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas, um bloco da imagem alvo é decodificado com previsão com referência a uma imagem já decodificada B. Portanto, um bloco de uma imagem B, o qual tenha sido codificado usando-se uma imaPetição 870170060093, de 18/08/2017, pág. 43/243

39/232 gem B como uma imagem candidata para uma referência à frente, pode ser corretamente decodificada.

[00132] No método de decodificação de filme descrito acima, na etapa de decodificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é decodificado com previsão com referência a uma imagem já decodificada B, e quando a imagem alvo é uma imagem P cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada, cada bloco da imagem alvo é decodificado com previsão sem uma referência a qualquer imagem já decodificada B. Portanto, em uma memória onde as imagens a serem candidatas para uma imagem de referência são armazenadas, o gerenciamento das imagens candidatas é facilitado.

[00133] No método de decodificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de decodificação, decodificada como uma das imagens a seguir: uma imagem I cujo bloco é para ser decodificado sem uma referência a uma imagem já decodificada, uma imagem P, cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada, e uma imagem B, cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas; e, na etapa de decodificação, quando a imagem alvo é uma imagem B, um bloco da imagem alvo é decodificado com previsão com referência a uma imagem já decodificada B, e o número de imagens candidatas para uma imagem de referência à frente a ser referida quando da decodificação da imagem alvo como uma imagem B é igual a ou menor do que o número de imagens candidatas para uma imagem de referência a ser referida quando da decodificação da imagem alvo como uma imagem P. Portanto, é possível evitar um aumento na capacidade da memória manter as imagens candidatas de referência, o que é causado pelo fato de uma outra imagem B ser referida quando da decodificação de uma imagem B.

Petição 870170060093, de 18/08/2017, pág. 44/243

40/232 [00134] No método de decodificação de filme descrito acima, cada uma das várias imagens que constituem o filme é, na etapa de decodificação, decodificada como uma das imagens a seguir: uma imagem I cujo bloco é para ser decodificado sem uma referência a uma imagem já decodificada, uma imagem P, cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada, e uma imagem B, cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas; e, na etapa de decodificação, quando a imagem alvo é uma imagem B, uma imagem B a ser referida na decodificação de previsão de um bloco na imagem alvo é apenas uma imagem B a qual é inserida entre a imagem alvo e uma imagem I ou uma P que está mais próxima da imagem alvo na ordem de exibição. Portanto, a acurácia de previsão na compensação de movimento para uma imagem B pode ser melhorada.

[00135] No método de decodificação de filme descrito acima, na etapa de decodificação, quando a imagem alvo é uma imagem B, um processo de decodificação de previsão de um bloco da imagem alvo com referência a uma imagem já decodificada B, é realizado com base na informação de posição de imagem indicando a posição da imagem já decodificada B no eixo de tempo de exibição, cuja informação está incluída no fluxo de bits. Portanto, a extremidade de decodificação pode corretamente detectar uma imagem candidato de referência B que foi usada como uma imagem de referência quando codificando uma imagem B.

[00136] No método de decodificação de filme descrito acima, a informação de posição de imagem é expressa com um código de comprimento mais curto conforme a distância no eixo de tempo de exibição, a partir da imagem alvo até a imagem à frente já decodificada B que é referida na decodificação da imagem alvo é mais curta. Portanto, é possível reduzir a quantidade de códigos requeridos para a exPetição 870170060093, de 18/08/2017, pág. 45/243

41/232 pressão de uma informação para identificação, na extremidade de decodificação, de uma imagem candidata que foi referida à frente quando da codificação de uma imagem B.

[00137] No método de decodificação de filme descrito acima, na etapa de decodificação, quando a imagem alvo é uma imagem B, um processo de decodificação de previsão de um bloco da imagem alvo com referência a uma imagem já decodificada B, é realizado com referência a uma informação de cabeçalho indicando que uma imagem já codificada B é referida quando a imagem alvo B, cuja informação de cabeçalho é incluída no fluxo de bits correspondente à imagem como um componente do filme. Portanto, na decodificação de previsão para um bloco alvo, pode ser pronta e rapidamente detectada que uma outra imagem B é referida à frente quando da codificação de uma imagem B.

[00138] Ainda, na presente invenção, é provido um método de decodificação de filme para a decodificação de cada uma de várias imagens que constituem um filme, para cada bloco que é uma unidade de processamento de cada imagem, desse modo convertendo-se um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação, de decodificação de uma imagem alvo a ser decodificada, com referência a pelo menos uma imagem P cujo bloco é para ser decodificado com previsão com referência a uma imagem já decodificada, e uma imagem B cujo bloco é para ser decodificado com previsão com referência a duas imagens já decodificadas; e, na etapa de decodificação, uma imagem já decodificada determinada de acordo com uma certa regra é referida quando da decodificação de um bloco alvo de uma imagem B como uma imagem alvo em um modo direto, a qual usa um vetor de movimento de um bloco alvo que está localizado espacialmente na mesma posição que o bloco alvo, em uma imagem de base já decodificada que está

Petição 870170060093, de 18/08/2017, pág. 46/243

42/232 posicionada mais próxima da imagem alvo. Portanto, é possível realizar um método de decodificação correspondente a um método de codificação, que pode otimizar a eficiência de previsão de acordo com o status de codificação.

[00139] No método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma primeira imagem já codificada, a qual está posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida. Portanto, a eficiência de previsão na decodificação de uma imagem B no modo direto pode ser melhorada.

[00140] No método de decodificação de filme descrito acima, a imagem de base já decodificada incluindo o bloco de base é uma imagem de base para trás P, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de decodificação, um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRB-TRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma segunda imagem, a qual é referida na decodificação do bloco de base, no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a primeira imagem no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a segunda imagem no eixo de tempo de exibição. Portanto, um vetor de movimento de um bloco alvo a ser usado no modo direto pode ser precisamente gerado a partir de um vetor de movimento de um outro bloco além do bloco alvo.

[00141] No método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma previsão bidirecional com o vetor de movimento do bloco alvo sendo zero é realizada, com referência a uma imagem à

Petição 870170060093, de 18/08/2017, pág. 47/243

43/232 frente já decodificada, a qual está posicionada mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, e uma imagem para trás já decodificada, a qual está posicionada mais próxima da imagem alvo e é mais posterior na ordem de exibição do que a imagem alvo. Portanto, quando da decodificação de uma imagem B no modo direto, um escalonamento de um vetor de movimento se torna desnecessário, resultando em uma quantidade de processamento reduzida.

[00142] No método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma informação de imagem do bloco alvo tendo informação de erro de previsão zero, cuja informação de imagem não está incluída no fluxo de bits, é restaurada, usando-se o vetor de movimento do bloco de base. Portanto, um bloco alvo o qual não está incluído no fluxo de bits e tem uma informação de erro de previsão sendo zero pode ser decodificado com previsão usando-se um vetor de movimento de um outro bloco.

[00143] No método de decodificação de filme descrito acima, na etapa de decodificação, uma informação de imagem do bloco alvo tendo informação de erro de previsão zero, cuja informação de imagem não está incluída no fluxo de bits, é restaurada, usando-se o vetor de movimento do bloco de base. Portanto, um bloco alvo o qual não está incluído no fluxo de bits e tem uma informação de erro de previsão sendo zero pode ser decodificado com previsão usando-se um vetor de movimento de um outro bloco.

[00144] No método de decodificação de filme descrito acima, índices de imagem de referência são atribuídos a imagens candidatas para uma imagem de referência a ser referida, quando da decodificação da imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma imagem candidata à qual um

Petição 870170060093, de 18/08/2017, pág. 48/243

44/232 índice de imagem de referência específico é atribuído é referida. Portanto, é possível realizar um método de decodificação correspondente a um método de codificação, que pode otimizar a eficiência de previsão de acordo com o status de codificação.

[00145] No método de decodificação de filme descrito acima, quando uma imagem imediatamente antes da imagem alvo é uma imagem a ser usada como uma imagem candidata para uma imagem de referência apenas quando da decodificação da imagem alvo, o índice de imagem de referência específico é atribuído a uma imagem alvo, a qual está posicionada à frente da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na decodificação da imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, a imagem à qual o índice de imagem de referência específico é atribuído é referida. Portanto, a eficiência de previsão na decodificação de uma imagem B no modo direto pode ser melhorada.

[00146] No método de decodificação de filme descrito acima, o índice de imagem de referência específico é atribuído a uma imagem candidata a qual é mais anterior na ordem de exibição do que a imagem alvo e é mais próxima da imagem alvo, exceto pela imagem imediatamente antes da imagem alvo, dentre as imagens candidatas a serem referidas na decodificação da imagem alvo; e, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, a imagem alvo à qual o índice de imagem de referência específico é atribuído é referida. Portanto, a eficiência de previsão na decodificação de uma imagem B no modo direto pode ser melhorada.

[00147] No método de decodificação de filme descrito acima, a imagem de base já decodificada incluindo o bloco de base é uma imagem de base para trás P, a qual é mais posterior na ordem de exibição do que a imagem alvo; e, na etapa de decodificação, quando da decoPetição 870170060093, de 18/08/2017, pág. 49/243

45/232 dificação do bloco alvo no modo direto, uma primeira imagem à frente, a qual é mais anterior na ordem de exibição do que o bloco alvo, a qual é referida no bloco de base, é referida. Portanto, a eficiência de previsão na decodificação de uma imagem B no modo direto pode ser melhorada.

[00148] No método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, uma segunda imagem à frente, a qual está posicionada imediatamente antes da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida; e um vetor de movimento para frente (MVRxTRF/TRD) e um vetor de movimento para trás ((TRB-TRD)xMVR/TRD) do bloco alvo são obtidos, com base em uma magnitude de MVR do vetor de movimento do bloco de base, uma distância TRD entre a imagem de base P para trás e uma primeira imagem à frente no eixo de tempo de exibição, uma distância TRF entre a imagem alvo e a segunda imagem à frente no eixo de tempo de exibição, e uma distância TRB entre a imagem alvo e a primeira imagem à frente no eixo de tempo de exibição. Portanto, um vetor de movimento de um bloco alvo a ser usado no modo direto pode ser precisamente gerado a partir de um vetor de movimento de um outro bloco que não o bloco alvo.

[00149] No método de decodificação de filme descrito acima, na etapa de decodificação, quando da decodificação do bloco alvo no modo direto, se uma imagem à frente a ser referida, a qual é mais anterior na ordem de exibição do que a imagem alvo, não existir em uma memória para manutenção de imagens de referência, uma imagem, a qual é mais próxima da imagem alvo e é mais anterior na ordem de exibição do que a imagem alvo, é referida. Portanto, é possível impedir a eficiência de previsão na decodificação de uma imagem B no modo direto de ser significativamente degradada.

Petição 870170060093, de 18/08/2017, pág. 50/243

46/232 [00150] Ainda, na presente invenção, é provido um método de decodificação de filme, para a decodificação de cada uma de várias imagens que constituem um filme, para a conversão de um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação, de decodificação de uma imagem alvo a ser decodificada, com referência a uma imagem já decodificada; e a etapa de decodificação inclui: uma etapa de atribuição de índice de atribuição de índices de imagem de referência a várias imagens candidatas de referência, as quais são candidatas para uma imagem de referência a ser referida na decodificação da imagem alvo, de uma maneira tal que um índice de imagem de referência seja atribuído a uma imagem candidata, a qual está mais próxima na ordem de exibição da imagem alvo a ser decodificada, e uma etapa de determinação de imagem de referência, de determinação de uma imagem a ser referida na decodificação da imagem alvo, com base em um índice de imagem de referência atribuído a uma imagem que é referida na codificação da imagem alvo, cujo índice é adicionado ao fluxo de bits da imagem alvo, e os índices de imagem de referência atribuídos às imagens candidatas de referência na etapa de atribuição de índice. Portanto, é possível decodificar corretamente um fluxo de bits, o qual foi gerado por um método de codificação altamente eficiente, no qual um índice de imagem de referência menor pode ser atribuído a uma imagem que no sentido do tempo está mais próxima da imagem alvo e é mais provável de ser selecionada.

[00151] De acordo com a presente invenção, é provido um método de decodificação de filme para a decodificação de cada uma de várias imagens que constituem um filme, para a conversão de um fluxo de bits correspondente a cada imagem em dados de imagem, cujo método inclui uma etapa de decodificação, de decodificação de uma imagem alvo a ser decodificada com referência a uma imagem já decodifiPetição 870170060093, de 18/08/2017, pág. 51/243

47/232 cada, onde um indicador indicando se a imagem alvo deve ou não ser usada como uma candidata para uma imagem de referência, quando da decodificação de uma outra imagem, que se segue à imagem alvo, é descrito no fluxo de bits e, na etapa de decodificação, o gerenciamento da imagem alvo decodificada é realizada com base no indicador. Portanto, é possível decodificar corretamente um fluxo de bits correspondente a uma imagem B, o qual é gerado pelo uso, como imagens de referência à frente, de uma imagem B submetida a uma codificação de previsão bidirecional bem como uma imagem P submetida uma codificação de previsão à frente.

Breve Descrição dos Desenhos [00152] A Figura 1 é um diagrama de blocos para explanação de um aparelho de codificação de filme, de acordo com uma primeira modalidade da presente invenção.

[00153] As Figuras 2(a) e 2(b) são diagramas esquemáticos para explanação de um método de codificação de filme de acordo com uma primeira modalidade, onde a figura 2(a) mostra imagens dispostas na ordem de exibição, e a figura 2(b) mostra imagens dispostas na ordem de codificação.

[00154] A Figura 3 é um diagrama esquemático para explanação do aparelho de codificação de filme de acordo com uma primeira modalidade e um aparelho de decodificação de filme de acordo com uma segunda modalidade, que ilustra um método para o gerenciamento coletivamente de imagens P e B em uma memória.

[00155] As Figuras 4(a) e 4(b) são diagramas para explanação da primeira modalidade, que ilustram um primeiro exemplo (4(a)) e um segundo exemplo (4(b)) de codificação de modo direto (para a imagem B11).

[00156] As Figuras 5(a) e 5(b) são diagramas para explanação da primeira modalidade, que ilustram um terceiro exemplo (5(a)) e um

Petição 870170060093, de 18/08/2017, pág. 52/243

48/232 quarto exemplo (5(b)) de codificação de modo direto (para a imagem B11).

[00157] As Figuras 6(a) a 6(c) são diagramas para explanação da primeira modalidade, que ilustram um quinto exemplo (6(a)) de codificação de modo direto (para a imagem B11), um bloco de desvio (6(b)) e um identificador de desvio (6(c)).

[00158] As Figuras 7(a) e 7(b) são diagramas para explanação da primeira modalidade, que ilustram um primeiro exemplo (7(a)) e um segundo exemplo (7(b)) de codificação de modo direto (para a imagem B12).

[00159] As Figuras 8(a) e 8(b) são diagramas para explanação da primeira modalidade, que ilustram um terceiro exemplo (8(a)) e um quarto exemplo (8(b)) de codificação de modo direto (para a imagem B12).

[00160] As Figuras 9(a) e 9(b) são diagramas para explanação da primeira modalidade, que ilustram um primeiro exemplo (9(a)) e um segundo exemplo (9(b)) de codificação, onde uma imagem B posicionada à frente de uma imagem P à frente mais próxima é referida. [00161] As Figuras 10(a) e 10(b) são diagramas para explanação da primeira modalidade, que ilustram um primeiro exemplo (10(a)) e um segundo exemplo (10(b)) de codificação, onde uma imagem B posicionada à frente de uma imagem I ou P à frente mais próxima não é referida.

[00162] A Figura 11 é um diagrama para explanação da primeira e da segunda modalidade, ilustrando um primeiro método para o gerenciamento de imagens P e imagens B em uma memória, separadamente umas das outras.

[00163] A Figura 12 é um diagrama para explanação da primeira e da segunda modalidade, ilustrando um segundo método para o gerenciamento de imagens P e imagens B em uma memória, separadamenPetição 870170060093, de 18/08/2017, pág. 53/243

49/232 te umas das outras.

[00164] A Figura 13 é um diagrama para explanação da primeira e da segunda modalidade, ilustrando um terceiro método para o gerenciamento de imagens P e imagens B em uma memória, separadamente umas das outras.

[00165] A Figura 14 é um diagrama para explanação da primeira e da segunda modalidades, ilustrando um quarto método para o gerenciamento de imagens P e imagens B em uma memória, separadamente umas das outras.

[00166] A Figura 15 é um diagrama de blocos para explanação de um aparelho de decodificação de filme de acordo com a segunda modalidade da invenção.

[00167] As Figuras 16(a) e 16(b) são diagramas esquemáticos para explanação de um método de decodificação de filme de acordo com a segunda modalidade, onde a figura 16(a) mostra imagens dispostas na ordem de decodificação, e a figura 16(b) mostra imagens dispostas na ordem de exibição.

[00168] A Figura 17 é um diagrama para explanação da segunda modalidade, que ilustra a decodificação de previsão bidirecional (para a imagem B11).

[00169] As Figuras 18(a) e 18(b) são diagramas para explanação da segunda modalidade, que ilustram um primeiro exemplo (18(a)) e um segundo exemplo (18(b)) de decodificação de modo direto (para a imagem B11).

[00170] As Figuras 19(a) e 19(b) são diagramas para explanação da segunda modalidade, que ilustram um terceiro exemplo (19(a)) e um quarto exemplo (19(b)) de decodificação de modo direto (para a imagem B11).

[00171] A Figura 20 é um diagrama para explanação da segunda modalidade, que ilustra a decodificação de previsão bidirecional (para

Petição 870170060093, de 18/08/2017, pág. 54/243

50/232 a imagem B12).

[00172] As Figuras 21(a) e 21(b) são diagramas para explanação da segunda modalidade, que ilustram um primeiro exemplo (21(a)) e um segundo exemplo (21(b)) de decodificação de modo direto (para a imagem B12).

[00173] As Figuras 22(a) e 22(b) são diagramas para explanação da segunda modalidade, que ilustram um terceiro exemplo (22(a)) e um quarto exemplo (22(b)) de decodificação de modo direto (para a imagem B12).

[00174] A Figura 23 é um diagrama de blocos para explanação de um aparelho de codificação de filme de acordo com uma terceira modalidade da invenção.

[00175] A Figura 24 é um diagrama esquemático para explanação do aparelho de codificação de filme de acordo com a terceira modalidade, que ilustra um método para coletivamente gerenciar imagens P e B em uma memória.

[00176] As Figuras 25(a) e 25(b) são diagramas para explanação da terceira modalidade, que ilustram um caso onde uma decodificação de uma imagem B imediatamente após uma imagem P não é realizada (25(a)), e um caso onde uma imagem predeterminada não é decodificada.

[00177] A Figura 26 é um diagrama de blocos para explanação de um aparelho de decodificação de filme de acordo com uma quarta modalidade da invenção.

[00178] A Figura 27 é um diagrama de blocos para explanação de um aparelho de codificação de filme de acordo com uma quinta modalidade da invenção.

[00179] A Figura 28 é um diagrama para explanação da quinta modalidade, que ilustra um método para o gerenciamento de uma memória de imagem, e um método para atribuição de índices de imagem de

Petição 870170060093, de 18/08/2017, pág. 55/243

51/232 referência.

[00180] As Figuras 29(a) e 29(b) são diagramas para explanação da quinta modalidade, que ilustram imagens dispostas na ordem de exibição (29(a)) e imagens dispostas na ordem de codificação.

[00181] A Figura 30 é um diagrama para explanação da quinta modalidade, que ilustra um método para o gerenciamento de uma memória de imagem, e um método para a atribuição de índices de imagem de referência.

[00182] A Figura 31 é um diagrama para explanação da quinta modalidade, que ilustra uma estrutura de dados de um fluxo de bits correspondente a um bloco em um caso onde dois sistemas dos índices de imagem de referência são usados.

[00183] A Figura 32 é um diagrama de blocos para explanação de um aparelho de decodificação de filme de acordo com uma quinta modalidade da presente invenção.

[00184] A Figura 33 é um diagrama de blocos para explanação de um aparelho de codificação de filme, de acordo com uma sétima modalidade da invenção.

[00185] As Figuras 34(a) e 34(b) são diagramas esquemáticos para explanação de um aparelho de codificação de filme de acordo com a sétima modalidade, que ilustram imagens dispostas na ordem de exibição (34(a)) e imagens dispostas na ordem de codificação (34(b)). [00186] A Figura 35 é um diagrama de blocos para explanação de um aparelho de decodificação de filme de acordo com uma oitava modalidade da invenção.

[00187] As Figuras 36(a) e 36(b) são diagramas esquemáticos para explanação de um método de decodificação de filme de acordo com a oitava modalidade, que ilustram imagens dispostas na ordem de decodificação (36(a)) e imagens dispostas na ordem de exibição (36(b)). [00188] A Figura 37 é um diagrama para explanação da oitava moPetição 870170060093, de 18/08/2017, pág. 56/243

52/232 dalidade, que ilustra um método para o gerenciamento de uma memória de imagem.

[00189] As figuras 38(a) e 38(b) são diagramas que ilustram um meio de armazenamento, o qual contém um programa para a implementação dos aparelhos de acordo com as respectivas modalidades com software, e a figura 38(c) é um diagrama que ilustra um sistema de computador usando o meio de armazenamento.

[00190] A Figura 39 é um diagrama para explanação de aplicações dos métodos de codificação e dos métodos de decodificação de filme, de acordo com as respectivas modalidades, que ilustra um sistema de suprimento de conteúdo o qual realiza serviços de dispositivo de desvio e conteúdo.

[00191] A Figura 40 é um diagrama para explanação de um telefone portátil, que utiliza os métodos de codificação e os métodos de decodificação de filme de acordo com as respectivas modalidades.

[00192] A Figura 41 é um diagrama de blocos que ilustra uma construção específica do telefone portátil mostrado na figura 40.

[00193] A Figura 42 é um diagrama conceitual, que ilustra um sistema para a difusão digital, que utiliza os métodos de codificação e os métodos de decodificação de filme de acordo com as respectivas modalidades.

[00194] As Figuras 43(a) a 43(c) são diagramas para explanação de um método de codificação de filme convencional, que ilustram um arranjo de imagens que constituem um filme (43(a)), uma fatia obtida pela divisão de uma imagem (43(b)) e um macrobloco (43(c)).

[00195] A Figura 44 é um diagrama para explanação dos dados codificados de um filme comum, que ilustra estruturas de fluxos, as quais são obtidas pela codificação de imagens que constituem um filme. [00196] A Figura 45 é um diagrama para explanação de um método de codificação de filme convencional, tal como MPEG, que ilustra as

Petição 870170060093, de 18/08/2017, pág. 57/243

53/232 relações entre as imagens alvo e as imagens a serem referidas quando da codificação das imagens alvo.

[00197] As Figuras 46(a) e 46(b) são diagramas para explanação de uma codificação de modo direto convencional, que ilustram vetores de movimento usados no modo direto (46(a)), e posições relativas de imagens para os blocos (46(b)).

[00198] As Figuras 47(a) e 47(b) são diagramas para explanação de um método convencional para atribuição de índices de imagem de referência, que ilustram índices de referência a serem atribuídos à imagens candidatas, as quais são referidas quando da codificação de imagens P e de imagens B, respectivamente.

[00199] As Figuras 48(a) e 48(b) são diagramas para explanação de um método de codificação de filme convencional, que ilustram imagens que constituem um filme, as quais são dispostas na ordem de exibição (48(a)) e aquelas imagens dispostas na ordem de codificação (48(b)).

[00200] A Figura 49 é um diagrama para explanação de um método de codificação de filme convencional, que ilustra um exemplo de gerenciamento de uma memória de quadro para as imagens dispostas na ordem de codificação.

[00201] As Figuras 50(a) e 50(b) são diagramas para explanação de problemas do método de codificação de previsão interimagem convencional, que ilustra um caso onde uma referência bidirecional é realizada (50(a)) e um caso onde duas imagens são referidas para trás (50(b)).

[00202] As Figuras 51(a) e 51(b) são diagramas para explanação de problemas do método convencional de atribuição de índices de imagem de referência, que ilustram imagens dispostas na ordem de exibição (51(a)) e imagens dispostas na ordem de codificação (51(b)).

Petição 870170060093, de 18/08/2017, pág. 58/243

54/232

Melhor Modo de Execução da Invenção

Modalidade 1 [00203] A figura 1 é um diagrama de blocos para explanação de um aparelho de codificação de filme 10, de acordo com uma primeira modalidade da presente invenção.

[00204] O aparelho de codificação de filme 10 de acordo com esta primeira modalidade divide cada uma de várias imagens que constituem um filme em unidades de processamento de dados predeterminadas (blocos), e codifica o dado de imagem de cada imagem para cada bloco.

[00205] Para ser específico, o aparelho de codificação de filme 10 inclui uma memória de imagem de entrada (a partir deste ponto, referida, também, como uma memória de quadro) 101, para a manutenção de dados de imagem (dados de entrada) Id de imagens introduzidas, e extraindo o dado armazenado Id para cada bloco; uma unidade de cálculo de diferença 102, para o cálculo de dados de diferença entre um dado de imagem Md de um bloco alvo a ser codificado, o qual é extraído a partir da memória de quadro 101, e um dado de previsão Pd do bloco alvo, como um dado de erro de previsão PEd do bloco alvo; e uma unidade de codificação de erro de previsão 103, para a codificação de forma compressiva do dado de imagem Md do bloco alvo ou do dado de erro de previsão PEd. Na memória de quadro 101, um processo de rearranjo do dado de imagem das respectivas imagens introduzidas na ordem de exibição para aquelas na ordem de codificação de imagem é realizado com base na relação entre cada imagem alvo e uma imagem a ser referida (imagem de referência) na codificação de previsão da imagem alvo.

[00206] O aparelho de codificação de filme 10 ainda inclui uma unidade de decodificação de erro de previsão 105 para a decodificação de forma expansiva dos dados extraídos (dados codificados) Ed da

Petição 870170060093, de 18/08/2017, pág. 59/243

55/232 unidade de codificação de erro de previsão 103 para a extração do dado de erro de previsão PDd do bloco alvo; uma unidade de adição 106, para a adição do dado de diferença decodificado PDd do bloco alvo e do dado de previsão Pd do bloco alvo, para a extração do dado decodificado Dd do bloco alvo; e uma memória de imagem de referência (a partir deste ponto também referida como uma memória de quadro) 107, para manutenção do dado decodificado Dd de acordo com um sinal de controle de memória Cd2, e extração do dado decodificado Dd armazenado como um dado Rd de candidatas (imagens candidatas) de imagens a serem referidas quando da codificação do bloco alvo.

[00207] O aparelho de codificação de filme 10 ainda inclui uma unidade de detecção de vetor de movimento 108 para a detecção de um vetor de movimento MV do bloco alvo com base no dado de saída (dado de imagem do bloco alvo) Md a partir da memória de quadro 101 e no dado de saída (dado de imagem candidata) Rf da memória de quadro 117; e uma unidade de seleção de modo 109 para a determinação de um modo de codificação adequado para o bloco alvo, com base no vetor de movimento MV do bloco alvo e nos dados de saída Md e Rf das respectivas memórias de quadro 101 e 117, e extração de um sinal de controle de chave Cs2. A unidade de detecção de vetor de movimento 108 executa uma detecção de movimento, para a detecção do vetor de movimento mencionado acima com referência a várias imagens candidatas, que podem ser referidas na codificação de previsão do bloco alvo. Ainda, a unidade de seleção de modo 109 seleciona um modo de codificação para o bloco alvo a partir de vários modos de codificação, cujo modo de codificação provê uma eficiência de codificação ótima. Quando a codificação de previsão interimagens é selecionada, uma imagem ótima é selecionada dentre as várias imagens candidatas que podem ser referidas.

Petição 870170060093, de 18/08/2017, pág. 60/243

56/232 [00208] No aparelho de codificação de filme 10 de acordo com a primeira montagem, para uma imagem P (isto é, uma imagem para a qual uma imagem já codificada é referida, quando um bloco nesta imagem é submetido a uma codificação de previsão), um dos seguintes modos de codificação é selecionado: um modo de codificação intra-imagem, um modo de codificação de previsão interimagens, usando um vetor de movimento, e um modo de codificação de previsão interimagens, usando nenhum vetor de movimento (isto é, o vetor de movimento é considerado como 0). Ainda, para uma imagem B (isto é, uma imagem para a qual duas imagens já codificadas são referidas quando um bloco nesta imagem é submetido a uma codificação de previsão), um dos seguintes modos de codificação é selecionado: um modo de codificação intra-imagem, um modo de codificação de previsão interimagens, usando um vetor de movimento para frente, um modo de codificação de previsão interimagens, usando um vetor de movimento para trás, um modo de codificação de previsão interimagens, usando-se vetores de movimento bidirecionais, e o modo direto. Ainda, nesta primeira modalidade, quando um bloco na imagem B é codificado no modo direto, uma imagem já codificada que está posicionada imediatamente antes da imagem alvo no eixo de tempo de exibição é referida.

[00209] Mais ainda, o aparelho de codificação de filme 10 inclui uma chave de seleção 111 posicionada entre a memória de quadro 101 e a unidade de cálculo de diferença 102; uma chave de seleção 112 posicionada entre a unidade de cálculo de diferença 102 e a unidade de codificação de erro de previsão 103; uma chave LIGA/DESLIGA 113 posicionada entre a memória de quadro 101 e a unidade de seleção de modo 109 e a unidade de detecção de vetor de movimento 108; uma chave LIGA/DESLIGA 114 posicionada entre a unidade de seleção de modo 109 e a unidade de adição 106; e uma

Petição 870170060093, de 18/08/2017, pág. 61/243

57/232 chave LIGA/DESLIGA 115 posicionada entre a unidade de codificação de erro de previsão 103 e a unidade de decodificação de erro de previsão 105.

[00210] Mais ainda, o aparelho de codificação de filme 10 inclui uma unidade de controle de codificação 110 para o controle de operações de LIGA/DESLIGA das chaves 113 ~ 115, de acordo com um sinal de controle de chave Cs1, e extraindo um sinal de controle de geração de código Cd1 e um sinal de controle de memória Cd2; e uma unidade de geração de fluxo de bits 104 para a execução de uma codificação de comprimento variável para o dado de saída (dado codificado) Ed a partir da unidade de codificação de erro de previsão 103, com base no sinal de controle de geração de código Cd1 para extração de um fluxo de bits Bs correspondente ao bloco alvo. A unidade de geração de fluxo de bits 104 é suprida com o vetor de movimento MV detectado pela unidade de detecção de vetor de movimento 108 e uma informação indicando o modo de codificação Ms determinado pela unidade de seleção de modo 109. O fluxo de bits Bs correspondente ao bloco alvo inclui o vetor de movimento MV correspondente ao bloco alvo e a informação indicando o modo de codificação Ms.

[00211] A chave de seleção 111 tem um terminal de entrada Ta e dois terminais de saída Tb1 e Tb2, e o terminal de entrada Ta é conectado a um dos terminais de saída Tb1 e Tb2, de acordo com o sinal de controle de chave Cs2. A chave de seleção 112 tem dois terminais de entrada Tc1 e Tc2 e um terminal de saída Td, e o terminal de saída Td é conectado a um dos terminais de entrada Tc1 e Tc2, de acordo com o sinal de controle de chave Cs2. Ainda, na chave de seleção 111, o dado de imagem Md extraído da memória de quadro 101 é aplicado ao terminal de entrada Ta, e o dado de imagem Md é extraído através de um terminal de saída Tb1 para o terminal de entrada Tc1 da chave de seleção 112, enquanto o dado de imagem Md é extraído através do

Petição 870170060093, de 18/08/2017, pág. 62/243

58/232 outro terminal de saída Tb2 para a unidade de cálculo de diferença 102. Na chave de seleção 112, o dado de imagem Md da memória de quadro 101 é aplicado a um terminal de entrada Tc1, enquanto o dado de diferença PEd obtido na unidade de cálculo de diferença 102 é aplicado ao outro terminal de entrada Tc2, e o dado de imagem Md ou o dado de diferença PEd é extraído através do terminal de saída Td para a unidade de codificação de erro de previsão 103.

[00212] Em seguida, será descrita a operação.

[00213] Nas descrições a seguir das respectivas modalidades, uma imagem (imagem à frente) cujo tempo de exibição é anterior do que aquele de uma imagem a ser codificada (imagem alvo) é referida como uma imagem a qual é posicionada no sentido do tempo à frente da imagem alvo, ou, simplesmente, como uma imagem a qual está posicionada à frente da imagem alvo. Ainda, uma imagem (imagem para trás) cujo tempo de exibição é posterior do que aquele da imagem alvo é referida como uma imagem a qual está posicionada no sentido do tempo para trás da imagem alvo, ou, simplesmente, como uma imagem a qual está posicionada para trás da imagem alvo. Mais ainda, nas descrições a seguir das respectivas modalidades, sentido do tempo significa na ordem de tempos de exibição, a menos que especificado de outra forma.

[00214] No aparelho de codificação de filme 10 de acordo com a primeira modalidade, o dado de imagem de entrada Id é introduzido na memória de quadro 101 em unidades de imagens, de acordo com a ordem de tempos de exibição.

[00215] A figura 2(a) é um diagrama para explanação da ordem na qual os dados de imagem das respectivas imagens são armazenados na memória de quadro 101. Na figura 2(a), as linhas verticais indicam imagens. Quanto a um símbolo no lado direito inferior de cada figura, a primeira letra do alfabeto indica um tipo de imagem (I, P ou B), e o

Petição 870170060093, de 18/08/2017, pág. 63/243

59/232 número seguinte indica um número de imagem na ordem do tempo. Isto é, as imagens P1, B2, B3, P4, B5, B6, P7, B8, B9, P10, B11, B12, P13, B14, B15 e P16 mostradas na figura 2(a) correspondem às imagens F(k+3) ~ F(k+18) [k = -2] mostradas na figura 45, e essas figuras são dispostas na ordem de exibição, isto é, a partir de uma que tem o tempo de exibição anterior ao longo do eixo de tempo de exibição X. [00216] Os dados de imagem das imagens são armazenados na memória de quadro 101 na ordem de exibição de imagem. Os dados de imagem das imagens armazenadas na memória de quadro 101, os quais são dispostos na ordem de exibição de imagem, são rearranjados na ordem de codificação de imagem. A partir deste ponto, por simplificação, o dado de imagem de cada imagem é simplesmente referido como uma imagem.

[00217] Para ser específico, o processo de rearranjo das imagens armazenadas na memória de quadro 101 a partir da ordem de entrada (ordem de exibição) para a ordem de codificação é realizado com base nas relações entre as imagens alvo e as imagens de referência na codificação de previsão interimagens. Isto é, este processo de rearranjo é realizado de modo que uma segunda imagem seja usada como uma imagem de referência, quando a codificação de uma primeira imagem for codificada antes da primeira imagem.

[00218] Quando da codificação de uma imagem P, três imagens (imagens I ou P), as quais estão posicionadas próximas e no sentido do tempo para frente da imagem alvo a ser codificada (imagem P) são usadas como imagens candidatas para uma imagem de referência. Na codificação de previsão para um bloco na imagem P, uma das três imagens no máximo é referida.

[00219] Ainda, quando da codificação de uma imagem B, duas imagens (imagens I ou P), as quais estão posicionadas próximas a e no sentido do tempo à frente da imagem alvo (imagem B), uma imagem B

Petição 870170060093, de 18/08/2017, pág. 64/243

60/232 na qual é posicionada próxima a e no sentido do tempo à frente da ilustração alvo, e uma imagem I ou P, a qual está posicionada no sentido do tempo para trás da imagem alvo, são usadas como imagens candidatas para uma imagem de referência. Na codificação de previsão para um bloco na imagem B, duas das quatro imagens candidatas no máximo são referidas.

[00220] Para ser específico, as correspondências entre as imagens P10, B11, B12 e P13 e as imagens candidatas para imagens de referência correspondentes às respectivas imagens são mostradas por setas na figura 2(a). Isto é, quando da codificação da imagem P P10, as imagens P1, P4 e P7 são usadas como imagens candidatas para uma imagem de referência. Quando da codificação da imagem P P13, as imagens P4, P7 e P10 são usadas como imagens candidatas para uma imagem de referência. Ainda, quando da codificação da imagem B B11, as imagens P7, B9, P10 e P13 são usadas como imagens candidatas para uma imagem de referência. Quando da codificação da imagem B B12, as imagens P7, P10, B11 e P13 são usadas como imagens candidatas para uma imagem de referência.

[00221] A figura 2(b) mostra as imagens na ordem de codificação, as quais são obtidas pelo rearranjo das imagens P1 ~ P16 mostradas na figura 2(a) da ordem de exibição para a ordem de codificação. Após o rearranjo, como mostrado na figura 2(b), as imagens mostradas na figura 2(a) são dispostas a partir de uma tendo um tempo de codificação anterior no eixo do tempo Y indicando os tempos de codificação (eixo de tempo de codificação), isto é, as imagens são dispostas na ordem P4, B2, B3, P7, B5, B6, P10, B8, B9, P13, B11, B12 e P16. [00222] Os dados das imagens dispostas na memória de quadro 101 são sucessivamente lidos, para cada unidade de processamento de dados predeterminada, a partir de uma tendo o tempo de codificação anterior. Nesta primeira modalidade, a unidade de processamento

Petição 870170060093, de 18/08/2017, pág. 65/243

61/232 de dados predeterminada é uma unidade de dados para a qual uma compensação de movimento é realizada e, mais especificamente, é um espaço de imagem retangular (macrobloco) no qual 16 pixels são dispostos em ambas a direção horizontal e a direção vertical. Na descrição a seguir, um macrobloco também é referido, simplesmente, como um bloco.

[00223] A partir deste ponto, os processos de codificação para as imagens P13, B11 e B12 serão descritos, nesta ordem.

Processo de Codificação para a imagem P13 [00224] Inicialmente, o processo de codificação para a imagem P13 será descrito.

[00225] Uma vez que a imagem P13 a ser codificada (imagem alvo) é uma imagem P, uma codificação de previsão interimagens para um bloco alvo na imagem P13, uma codificação de previsão interimagens unidirecional, na qual uma imagem já codificada que está posicionada no sentido do tempo à frente ou para trás da imagem alvo é referida, é realizada.

[00226] Na descrição a seguir, uma imagem P, que está posicionada à frente da imagem alvo é usada como a imagem de referência. [00227] Neste caso, uma codificação de previsão interimagens usando uma referência à frente é realizada como um processo de codificação para a imagem P13. Ainda, as imagens B não são usadas como imagens de referência na codificação de imagens P. Assim sendo, três imagens à frente I ou P são usadas como imagens candidatas para uma imagem de referência, mais especificamente, as imagens P4, P7 e P10 são usadas. A codificação dessas imagens candidatas já completada de informação quando a imagem alvo é codificada, e os dados (dados decodificados) Dd correspondentes às imagens candidatas são armazenados na memória de quadro 101.

[00228] Quando da codificação de uma imagem P, a unidade de

Petição 870170060093, de 18/08/2017, pág. 66/243

62/232 controle de codificação 110 controla as respectivas chaves com o sinal de controle de chave Cs1, de modo que as chaves 113, 114 e 115 estejam nos seus estados LIGADOS. O dado de imagem Md correspondente ao macrobloco na imagem P13, o qual é lido a partir da memória de quadro 101, é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 109 e na unidade de cálculo de diferença 102.

[00229] A unidade de detecção de vetor de movimento 108 detecta o vetor de movimento MV do macrobloco na imagem P13, usando os dados de imagem codificados Rd das imagens P4, P7 e P10 armazenados na memória de quadro 117. Então, o vetor de movimento detectado MV é extraído para a unidade de seleção de modo 109. A unidade de seleção de modo 109 determina um modo de codificação para o bloco na imagem P13, usando o vetor de movimento detectado pela unidade de detecção de vetor de movimento 108. O modo de codificação indica um método para a codificação do bloco. Por exemplo, no caso de codificação de uma imagem P, como descrito acima, um modo de codificação é selecionado a partir da codificação intra-imagem, a codificação de previsão interimagens, usando um vetor de movimento, e a codificação de previsão interimagens usando nenhum vetor de movimento (isto é, o movimento é considerado como 0). Na determinação de um modo de codificação, geralmente, um modo de codificação o qual minimiza o erro de codificação quando uma quantidade predeterminada de bits é dada ao bloco como uma quantidade de códigos, é selecionado. Neste caso, quando a codificação de previsão interimagens é selecionada, uma imagem mais adequada é selecionada como uma imagem de referência a partir das imagens P4, P7 e P10.

[00230] O modo de codificação Ms determinado pela unidade de seleção de modo 109 é extraído para a unidade de geração de fluxo

Petição 870170060093, de 18/08/2017, pág. 67/243

63/232 de bits 104. Ainda, quando o modo de codificação determinado Ms é o modo de codificação o qual refere-se a uma imagem à frente, um vetor (vetor de movimento para frente) MVp, que é obtido pela detecção de movimento com referência à imagem à frente, bem como uma informação Rp indicando qual das imagens P4, P7 e P10 é referida quando da detecção do vetor de movimento, também são extraídos para a unidade de geração de fluxo de bits 104.

[00231] Quando o modo de codificação Ms determinado pela unidade de seleção de modo 109 é o modo de codificação de previsão interimagens, o vetor de movimento MVp a ser usado na codificação de previsão interimagens, e uma informação Rp indicando qual das imagens P4, P7 e P10 é referida quando da detecção do vetor de movimento, são armazenados na unidade de armazenamento de vetor de movimento 116.

[00232] Ainda, a unidade de seleção de modo 109 executa uma compensação de movimento, de acordo com o modo de codificação determinado a partir do bloco alvo, usando os vetores de movimento correspondentes à imagem de referência e ao bloco alvo. Então, o dado de previsão Pd para o bloco alvo, o qual é obtido pela compensação de movimento, é extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106.

[00233] Entretanto, quando o modo de codificação intra-imagem é selecionado, a unidade de seleção de modo 109 não gera o dado de previsão Pd. Ainda, quando o modo de codificação intra-imagem é selecionado, a chave 111 é controlada de modo que o terminal de entrada Ta seja conectado ao terminal de saída Tb1, e a chave 112 é controlada de modo que o terminal de saída Td seja conectado ao terminal de entrada Tc1. Por outro lado, quando a codificação de previsão interimagens é selecionada, a chave 111 é controlada de modo que o terminal de entrada Ta esteja conectado ao terminal de saída Tb2, e a

Petição 870170060093, de 18/08/2017, pág. 68/243

64/232 chave 112 é controlada de modo que o terminal de saída Td esteja conectado ao terminal de entrada Tc2.

[00234] A partir deste ponto, será dada uma descrição de um caso onde o modo de codificação de previsão interimagens é selecionado como o modo de codificação Ms.

[00235] A unidade de cálculo de diferença 102 é suprida com o dado de imagem Md do bloco alvo na imagem P13, e o dado de previsão correspondente Pd a partir da unidade de seleção de modo 109. A unidade de cálculo de diferença 102 calcula o dado de diferença entre o dado de imagem do bloco na imagem P13 e o dado de previsão correspondente Pd, e extrai o dado de diferença como um dado de erro de previsão PEd.

[00236] O dado de erro de previsão PEd é introduzido na unidade de codificação de erro de previsão 103. A unidade de codificação de erro de previsão 103 submete o dado de erro de previsão PEd introduzido a processos de codificação, tais como conversão de freqüência e quantificação para a geração de dados codificados Ed. Os processos, tais como conversão de freqüência e quantificação, são realizados em unidades de dados correspondentes a um espaço de imagem retangular (subbloco), no qual oito pixels são dispostos em ambas a direção horizontal e a direção vertical.

[00237] O dado codificado Ed extraído da unidade de codificação de erro de previsão 103 é introduzido na unidade de geração de fluxo de bits 104 e na unidade de decodificação de erro de previsão 105. [00238] A unidade de geração de fluxo de bits 104 gera um fluxo de bits ao submeter o dado codificado introduzido Ed a uma codificação de comprimento variável. Ainda, a unidade de geração de fluxo de bits 104 adiciona ao fluxo de bits uma informação tal como o vetor de movimento MVp e o modo de codificação Ms, uma informação de cabeçalho suprida a partir da unidade de controle de codificação 110 e similaPetição 870170060093, de 18/08/2017, pág. 69/243

65/232 res, desse modo gerando um fluxo de bits Bs.

[00239] Quando o modo de codificação é um executando uma referência à frente, uma informação (informação de imagem de referência) Rp, indicando qual das imagens P4, P7 e P10 é referida quando da detecção do vetor de movimento para frente, também é adicionada ao fluxo de bits.

[00240] Em seguida, será dada uma descrição de um método para o gerenciamento da memória de quadro, e uma informação indicando uma imagem de referência dinterimagens candidatas (informação de imagem de referência).

[00241] A figura 3 é um diagrama que ilustra como as imagens armazenadas na memória de imagem de referência (memória de quadro) 117 mudam com o tempo. O gerenciamento da memória de quadro 117 é realizado de acordo com o sinal de controle de memória Cd2 da unidade de controle de codificação 110. Ainda, a memória de quadro 117 tem áreas de memória (N° 1) ~ (N° 5) para cinco imagens. Cada área de memória pode manter um dado de imagem correspondente a uma imagem. Entretanto, cada área de memória não é necessariamente uma área em uma memória de quadro, esta pode ser uma memória.

[00242] Inicialmente, um método para o gerenciamento da memória de quadro (memória de imagem de referência) será descrito.

[00243] Quando a codificação de uma imagem P13 é iniciada, as imagens B8, P4, P7, P10 e B9 são armazenadas nas respectivas áreas de memória (N° 1) ~ (N° 5) na memória de quadro 117, respectivamente. Embora a imagem B9 não seja usada na codificação da imagem P13, a imagem B9 é armazenada na memória de quadro 117 porque esta é usada para a codificação da imagem B11. A imagem P13 é codificada usando-se as imagens P4, P7 e P10 como imagens candidatas para uma imagem de referência. A imagem P13 codificada

Petição 870170060093, de 18/08/2017, pág. 70/243

66/232 é armazenada na área de memória (N° 1), onde a imagem P8 tinha sido armazenada. A razão é como se segue. Embora as imagens P4, P7, P10 e B9 sejam usadas como imagens candidatas para uma imagem de referência quando da codificação da imagem P13 e das imagens seguintes, a imagem B8 não é usada como uma imagem de referência quando da codificação dessas imagens. Na figura 3, cada imagem circulada é uma imagem (imagem alvo) a qual é finalmente armazenada na memória de quadro 117, quando a codificação da imagem alvo tiver sido completada.

[00244] Em seguida, será dada uma descrição de um método para a atribuição de um índice de imagem de referência específico como uma informação de imagem de referência a cada imagem candidata. [00245] O índice de imagem de referência é uma informação que indica qual de várias imagens candidatas para uma imagem de referência é usada como uma imagem de referência, quando da codificação de cada bloco. Em outras palavras, o índice de imagem de referência é uma informação que indica qual das imagens candidatas P4, P7 e P10 para uma imagem de referência é usada, quando da detecção do vetor de movimento do bloco alvo na imagem alvo (imagem P13). Quanto à atribuição de índices de imagem de referência, um método de atribuição sucessiva dos índices às respectivas imagens candidatas, começando com uma imagem candidata que esteja próxima no sentido do tempo da imagem alvo.

[00246] Para ser específico, quando a imagem P10 é designada como a imagem de referência na codificação do bloco alvo na imagem alvo P13, uma informação indicando que uma imagem candidata imediatamente anterior à imagem alvo P13 é designada como uma imagem de referência (índice de imagem de referência [0]) é adicionada ao fluxo de bits da imagem alvo P13. Quando a imagem P7 é referida na codificação do bloco na imagem alvo P13, uma informação indicanPetição 870170060093, de 18/08/2017, pág. 71/243

67/232 do que uma imagem candidata duas imagens anterior à imagem alvo P13 é designada como uma imagem de referência (índice de imagem de referência [1]) é adicionada ao fluxo de bits da imagem alvo P13. Quando a imagem P4 é referida na codificação do bloco na imagem alvo P13, uma informação indicando que uma imagem candidata três imagens anterior à imagem alvo P13 é designada como uma imagem de referência (índice de imagem de referência [2]) é adicionada ao fluxo de bits da imagem alvo P13.

[00247] Na figura 3, uma imagem a que é atribuído um código [b] como uma informação de imagem de referência será uma candidata para uma imagem de referência para trás, quando da codificação da imagem alvo.

Processo de Codificação para imagem B11 [00248] Em seguida, o processo de codificação para a imagem B11 será descrito.

[00249] Uma vez que a imagem a ser codificada (imagem alvo) é a imagem B11, uma codificação de previsão interimagens a ser realizada para um bloco alvo na imagem B11 é uma codificação de previsão interimagens bidirecional, na qual duas imagens já codificadas que são no sentido do tempo para frente ou para trás da imagem alvo são referidas.

[00250] A partir deste ponto, será dada uma descrição de um caso onde uma imagem (imagem I, imagem P ou imagem B) posicionada à frente da imagem alvo e uma imagem (imagem I ou imagem P) posicionada para trás da imagem alvo são usadas como imagens de referência.

[00251] Isto é, neste caso, como imagens de referência à frente, duas imagens (imagens I ou P), posicionadas no sentido do tempo próximas da imagem alvo (imagem B11), e uma imagem B, posicionada no sentido do tempo mais próxima da imagem alvo, são usadas.

Petição 870170060093, de 18/08/2017, pág. 72/243

68/232

Ainda, como uma imagem de referência para trás, uma imagem I ou P posicionada no sentido do tempo próxima da imagem alvo é usada. Assim sendo, neste caso, as imagens candidatas a uma imagem de referência para a imagem B11 são as imagens P7, B9 e P10 (imagens à frente) e a imagem P13 (imagem para trás).

[00252] Na codificação de uma imagem B a ser usada como uma imagem de referência quando da codificação de uma outra imagem, a unidade de controle de codificação 110 controla as respectivas chaves com o sinal de controle de chave Cs1, de modo que as chaves 113, 114 e 115 estejam LIGADAS. Uma vez que a imagem B11 é para ser usada como uma imagem de referência quando da codificação de uma outra imagem, a unidade de controle de codificação 110 controla as respectivas chaves com o sinal de controle de chave Cs2, de modo que as chaves 113, 114 e 115 estejam LIGADAS. O dado de imagem Md correspondente ao bloco na imagem B11, o qual é lido a partir da memória de quadro 101, é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 109 e na unidade de cálculo de diferença 102.

[00253] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento para frente e um vetor de movimento para trás do bloco alvo na imagem B11. Na detecção desses vetores de movimento, as imagens P7, B9 e P10 armazenadas na memória de quadro 117 são usadas como as imagens de referência à frente e a imagem P13 é usada como uma imagem de referência para trás. A detecção de um vetor de movimento para trás é realizada com base na imagem P13 como uma imagem de referência para trás. Os vetores de movimento detectados pela unidade de detecção de vetor de movimento 108 são extraídos para a unidade de seleção de modo 109.

[00254] A unidade de seleção de modo 109 determina um modo de codificação para o bloco alvo na imagem B11, usando os vetores de

Petição 870170060093, de 18/08/2017, pág. 73/243

69/232 movimento detectados pela unidade de detecção de vetor de movimento 108. por exemplo, um modo de codificação para a imagem B B11 é selecionado a partir de dentre o modo de codificação interimagens, o modo de codificação de previsão interimagens usando um vetor de movimento para frente, o modo de codificação de previsão interimagens usando vetores de movimento bidirecionais e o modo direto. Quando o modo de codificação é a codificação de previsão interimagens usando um vetor de movimento para frente, uma imagem mais adequada é selecionada como uma imagem de referência a partir de dentre as imagens P7, B9 e P10.

[00255] A partir deste ponto, um processo de codificação dos blocos na imagem B11 pelo modo direto será descrito.

Primeiro Exemplo de Codificação de Modo Direto [00256] A figura 4(a) mostra um primeiro exemplo de codificação de modo direto para um bloco (bloco alvo) BLa1 na imagem (imagem alvo) B11. Esta codificação de modo direto utiliza um vetor de movimento (vetor de movimento de base) MVc1 de um bloco (bloco de base) BLb1, o qual é incluído na imagem (imagem de base) P13 como uma imagem de referência posicionada para trás da imagem B11 e está localizado na mesma posição que o bloco alvo BLa1. O vetor de movimento MVc1 é um vetor de movimento o qual é usado quando da codificação do bloco BLb1 na imagem P13, e é armazenado na unidade de armazenamento de vetor de movimento 116. Este vetor de movimento MVc1 é detectado com referência à imagem P10, e indica uma área CRc1 na imagem P10, cuja área corresponde ao bloco BLb1. O bloco BLa1 é submetido a uma codificação de previsão bidirecional, usando-se os vetores de movimento MVd1 e MVe1, os quais são paralelos ao vetor de movimento MVc1, e as imagens P10 e P13, as quais são selecionadas como imagens de referência. Os vetores de movimento MVd1 e MVe1, os quais são usados na codificação do bloPetição 870170060093, de 18/08/2017, pág. 74/243

70/232 co BLa1, são um vetor de movimento para frente indicando uma área CRD1 na imagem P10, correspondente ao bloco BLa1, e um vetor de movimento para trás indicando uma área CRe1 na imagem P13, correspondente ao bloco BLa1, respectivamente.

[00257] Neste caso, a magnitude MVF do vetor de movimento para frente MVd1 e a magnitude MVB do vetor de movimento para trás MVe1 são obtidas pelas fórmulas (1) e (2), como se segue.

MVF = MVRxTRF/TRD ...(1)

MVB = (TRB-TRD)xMVR/TRD ...(2) [00258] onde MVF e MVB representam a componente horizontal e a componente vertical dos vetores de movimento, respectivamente. [00259] Ainda, MVR é a magnitude do vetor de movimento MVc1 (uma direção em um espaço bidimensional é expressa por um sinal), e TRD é a distância de base de tempo entre a imagem de referência para trás (imagem P13) para a imagem alvo (imagem B11) e a imagem P10, a qual é referida quando da codificação do bloco BLb1 na imagem de referência para trás (imagem P13). Ainda, TRF é a distância de base de tempo entre a imagem alvo (imagem B11) e a imagem de referência imediatamente anterior (imagem P10), e TRB é a distância de base de tempo entre a imagem alvo (imagem B11) e a imagem P10, a qual é referida quando da codificação do bloco BLb1 na imagem de referência para trás (imagem P13).

Segundo Exemplo de Codificação de Modo Direto [00260] Em seguida, um segundo exemplo de codificação de modo direto será descrito.

[00261] A figura 4(b) mostra um segundo exemplo de um processo para a codificação de um bloco (bloco alvo) BLa2 na imagem (imagem alvo) B11 pelo modo direto.

[00262] Esta codificação de modo direto utiliza um vetor de movimento (vetor de movimento de base) MVf2 de um bloco (bloco de baPetição 870170060093, de 18/08/2017, pág. 75/243

71/232 se) BLb2, o qual é incluído na imagem (imagem de base) P13 como uma imagem de referência posicionada para trás da imagem B11 e está localizado na mesma posição que o bloco alvo BLa2. O vetor de movimento MVf2 é um vetor de movimento o qual é usado quando da codificação do bloco BLb2, e é armazenado na unidade de armazenamento de vetor de movimento 116. Este vetor de movimento MVf2 é detectado com referência à imagem P7, e indica uma área CRf2 na imagem P7, cuja área corresponde ao bloco BLb2. O bloco BLa2 é submetido a uma codificação de previsão bidirecional, usando-se os vetores de movimento MVg2 e MVh2, os quais são paralelos ao vetor de movimento MVf2, e as imagens P10 e P13, as quais são selecionadas como imagens de referência. Os vetores de movimento MVg2 e MVh2, os quais são usados na codificação do bloco BLa2, são um vetor de movimento para frente indicando uma área CRg2 na imagem P10, correspondente ao bloco BLa2, e um vetor de movimento para trás indicando uma área CRh2 na imagem P13, correspondente ao bloco BLa2, respectivamente.

[00263] Neste caso, as magnitudes MVF e MVb dos vetores de movimento MVg2 e MVh2 são obtidas pelas fórmulas (1) e (2) descritas acima, respectivamente.

[00264] Como descrito acima, no modo direto, o vetor de movimento MVf2 do bloco BLb2, o qual é incluído na imagem a ser usada como uma imagem de referência para trás, quando da codificação do bloco alvo BLa2 e está localizado relativamente na mesma posição que o bloco alvo, é escalonado, desse modo obtendo-se o vetor de movimento para frente MVg2 e o vetor de movimento para trás MVh2 para o bloco alvo. Portanto, quando o modo direto é selecionado, não é necessário enviar uma informação do vetor de movimento do bloco alvo. Mais ainda, uma vez que a imagem já codificada a qual está posicionada no sentido do tempo mais próxima da imagem alvo, é usada coPetição 870170060093, de 18/08/2017, pág. 76/243

72/232 mo uma imagem de referência à frente, a eficiência de previsão pode ser melhorada.

Terceiro Exemplo de Codificação de Modo Direto [00265] Em seguida, um terceiro exemplo de codificação de modo direto será descrito.

[00266] A figura 5(a) mostra um terceiro exemplo de um processo de codificação de um bloco (bloco alvo) BLa3 na imagem (imagem alvo) B11 pelo modo direto.

[00267] Esta codificação de modo direto utiliza um vetor de movimento (vetor de movimento de base) MVc3 de um bloco (bloco de base) BLb3, o qual é incluído na imagem (imagem de base) P13, que é uma imagem de referência para trás para a imagem B11 e está localizada na mesma posição que o bloco alvo BLa3. O vetor de movimento MVc3 é um vetor de movimento o qual é usado quando da codificação do bloco BLb3, e é armazenado na unidade de armazenamento de vetor de movimento 116. Este vetor de movimento MVc3 é detectado com referência à imagem P7, e indica uma área CRc3 na imagem P7, cuja área corresponde ao bloco BLb3. O bloco BLa3 é submetido a uma codificação de previsão bidirecional, com base nos vetores de movimento MVd3 e MVe3, os quais são paralelos ao vetor de movimento MVc3, a imagem a qual é referida quando da codificação do bloco BLb3 (a imagem P7 selecionada como uma imagem de referência à frente) e a imagem P13 como uma imagem de referência para trás. Neste caso, os vetores de movimento MVd3 e MVe3, os quais são usados na codificação do bloco BLa3, são um vetor de movimento para frente indicando uma área CRd3 na imagem P7, correspondente ao bloco BLa3, e um vetor de movimento para trás indicando uma área CRe3 na imagem P13, correspondente ao bloco BLa3, respectivamente.

[00268] As magnitudes MVF e MVB dos vetores de movimento

Petição 870170060093, de 18/08/2017, pág. 77/243

73/232

MVd3 e MVe3 são obtidas pela fórmula (3) e pela fórmula (2) descrita acima, respectivamente.

MVF = MVRxTRB/TRD ...(3) [00269] onde MVR é a magnitude do vetor de movimento MVc3. [00270] Como descrito acima, na codificação de modo direto mostrada na figura 5(a), o vetor de movimento MVc3 do bloco BLb3, o qual é incluído na imagem a ser usada como uma imagem de referência para trás, quando da codificação do bloco alvo, e está localizado relativamente na mesma posição que o bloco alvo, é escalonado, desse modo obtendo-se o vetor de movimento para frente MVd3 e o vetor de movimento para trás MVe4 para o bloco alvo. Portanto, quando o modo direto é selecionado, não é necessário enviar uma informação do vetor de movimento do bloco alvo.

[00271] Quando a imagem P13 a ser referida na codificação do bloco BLb3 já foi apagada da memória de quadro 117, a imagem de referência à frente P10, que é no sentido do tempo mais próxima da imagem alvo, é usada como a imagem de referência à frente no modo direto. A codificação de modo direto, neste caso, é idêntica àquela mostrada na figura 4(a) (primeiro exemplo).

Quarto Exemplo de Codificação de Modo Direto [00272] Em seguida, um quarto exemplo de codificação de modo direto será descrito.

[00273] A figura 5(b) mostra um quarto exemplo de um processo de codificação de um bloco (bloco alvo) BLa4 na imagem (imagem alvo) B11 pelo modo direto.

[00274] Neste caso, o bloco alvo BLa4 é submetido a uma codificação de previsão bidirecional com um vetor de movimento sendo 0, com base na imagem mais próxima P10, que é selecionada como a imagem de referência à frente, e a imagem P13 como uma imagem de referência para trás. Isto é, os vetores de movimento MVf4 e MVh4 a

Petição 870170060093, de 18/08/2017, pág. 78/243

74/232 serem usados para a codificação do bloco BLa4 são um vetor de movimento indicando uma área (bloco) CRf4 que é incluída na imagem P10 e está localizada relativamente na mesma posição que o bloco alvo BLa4, e um vetor de movimento indicando uma área (bloco) CRh4 que é incluída na imagem P13 e está localizada relativamente na mesma posição que o bloco alvo BLa4, respectivamente.

[00275] Como descrito acima, na codificação de modo direto mostrada na figura 5(b), uma vez que o vetor de movimento do bloco alvo é forçosamente regulado para 0, quando o modo direto é selecionado, não é necessário enviar uma informação para o vetor de movimento do bloco alvo, e um escalonamento do vetor de movimento se torna desnecessário, resultando em uma redução da complexidade de processamento do sinal. Este método é aplicável, por exemplo, a um caso em que um bloco, o qual é incluído na imagem P13 como uma imagem de referência para trás da imagem B11 e está localizado na mesma posição que o bloco BLa4, é um bloco que não tem um vetor de movimento como um bloco codificado intraquadro. Assim sendo, mesmo quando um bloco o qual está incluído na imagem de referência para trás e está localizado na mesma posição que o bloco alvo é codificado sem um vetor de movimento, a eficiência de codificação pode ser melhorada usando-se o modo direto.

[00276] O processamento de modo direto mencionado acima (primeiro ao quarto exemplos) é aplicável não apenas quando o intervalo de tempos de exibição de imagem é constante, mas, também, quando o intervalo de tempos de exibição de imagem é variável.

Quinto Exemplo de Codificação de Modo Direto [00277] Em seguida, uma codificação de previsão de modo direto a ser realizada quando o intervalo de tempos de exibição de imagem é variável será descrita como um quinto exemplo de codificação de modo direto.

Petição 870170060093, de 18/08/2017, pág. 79/243

75/232 [00278] A figura 6(a) é um diagrama para explanação de um quinto exemplo de uma codificação de modo direto, em que a codificação de previsão de modo direto (segundo exemplo) é aplicada ao caso em que o intervalo de exibição de imagem é variável.

[00279] Neste caso, uma codificação de previsão bidirecional para um bloco alvo BLa5 na imagem alvo B11 é realizada pelo uso de um vetor de movimento (vetor de movimento de base) MVf5 de um bloco (bloco de base) BLb5, o qual é incluído na imagem (imagem de base) P13 como uma imagem de referência posicionada para trás da imagem B11 e está localizado na mesma posição que o bloco alvo BLa5, da mesma maneira que na codificação de previsão de modo direto (segundo exemplo) mostrada na figura 4(b). O vetor de movimento MVf5 é um vetor de movimento o qual é usado quando da codificação do bloco BLb5 na imagem P13, e indica uma área CRf5 na imagem P7, cuja área corresponde ao bloco BLb5. Ainda, os vetores de movimento MVg5 e MVh5 correspondentes ao bloco alvo são paralelos ao vetor de movimento MVf5. Ainda, esses vetores de movimento MVg5 e MVh5 são um vetor de movimento para frente indicando uma área CRg5 na imagem P10, correspondente ao bloco BLa5, e um vetor de movimento para trás indicando uma área Crh5 na imagem P13, correspondente ao bloco BLa5, respectivamente.

[00280] Também neste caso, as magnitudes MVF e MVB dos vetores de movimento MVg5 e MVh5 podem ser obtidas pelas fórmulas (1) e (2) descritas acima, respectivamente, como no processamento de modo direto do segundo exemplo.

Processo de Desvio de Bloco Específico [00281] Em seguida, será dada uma descrição de codificação de modo direto onde um bloco específico é tratado como um bloco de desvio.

[00282] Quando um dado de diferença correspondente a um bloco

Petição 870170060093, de 18/08/2017, pág. 80/243

76/232 alvo se torna zero na codificação de modo direto, a unidade de codificação de erro de previsão 103 não gerenciamento um dado codificado correspondente ao bloco alvo, e a unidade de geração de fluxo de bits 104 não extrai um fluxo de bits correspondente ao bloco alvo. Assim, um bloco cujo dado de diferença se torna zero é tratado como um bloco de desvio.

[00283] A partir deste ponto, um caso em que um bloco específico é tratado como um bloco de desvio será descrito.

[00284] A figura 6(b) mostra uma imagem específica F como um componente de um filme.

[00285] Nesta imagem F, dentre blocos adjacentes MB(r-1) ~ MB(r+3), os valores de dados de diferença (dado de erro de previsão) correspondentes a blocos MB(r-1), MB(r), e MB(r+3) são não-zeros, mas, os valores de dados de diferença (dados de erro de previsão) correspondentes aos blocos MB(r+1) e MB(r+2), os quais estão posicionados entre o bloco MB(r) e o bloco MB(r+3), são zero.

[00286] Neste caso, os blocos MB(r+1) e MB(r+2) são tratados como blocos de desvio no modo direto, e um fluxo de bits Bs correspondente a um filme não inclui os fluxos de bit correspondentes aos blocos MB(r+1) e MB(r+2).

[00287] A figura 6(c) é um diagrama para explanação de uma estrutura de fluxo no caso em que os blocos MB(r+1) e MB(r+2) são tratados como blocos de desvio, nos quais porções do fluxo de bits Bs correspondentes aos blocos MB(r) e MB(r+3) são mostradas.

[00288] Entre um fluxo de bits Bmb(r) correspondente ao bloco MB(r) e um fluxo de bits Bmb(r+3) correspondente ao bloco MB(r+3), um identificador de desvio Sf(Sk:2) indicando que há dois blocos considerados como blocos de desvio entre esses blocos é posicionado. Ainda, entre um fluxo de bits Bmb(r-1) correspondente ao MB(r-1) e o fluxo de bits Bmb(r) correspondente ao bloco MB(r), um identificador

Petição 870170060093, de 18/08/2017, pág. 81/243

77/232 de desvio Sf(Sk:0) indicando que não há um bloco considerado como um bloco de desvio entre esses blocos é posicionado.

[00289] O fluxo de bits Bmb(r) correspondente ao bloco MB(r) é composto por uma seção de cabeçalho Hmb e uma seção de dados Dmb, e a seção de dados Dmb inclui um dado de imagem codificado correspondente a este bloco. Ainda, a seção de cabeçalho Hmb inclui um indicador de modo Fm, indicando um tipo de macrobloco, isto é, um modo de codificação no qual este bloco é codificado, uma informação de imagem de referência Rp indicando uma imagem a qual é referida na codificação deste bloco, e uma informação Bmvf e Bmvb indicando vetores de movimento, os quais são usados na codificação deste bloco. Este bloco MB(r) é codificado por uma codificação de previsão bidirecional, e a informação Bmvf e Bmvb dos vetores de movimento indica os valores de um vetor de movimento para frente e de um vetor de movimento para trás, os quais são usados na codificação de previsão bidirecional, respectivamente. Ainda, os fluxos de bit correspondentes a outros blocos, tal como um fluxo de bits Bmb(r+3) correspondente ao bloco MB(r+3), têm a mesma estrutura que aquela do fluxo de bits Bmb(r) correspondente ao bloco MB(r).

[00290] Como descrito acima, no modo direto, a quantidade de códigos pode ser reduzida pelo tratamento de um bloco cujo dado de diferença se torna zero como um bloco de desvio, isto é, pelo desvio, no fluxo de bits, da informação correspondente a este bloco juntamente com a informação de modo.

[00291] Se um bloco é desviado ou não pode ser detectado a partir do identificador de desvio Sf, que é colocado imediatamente antes do fluxo de bits de cada bloco. Ainda, se um bloco é desviado ou não pode ser conhecido a partir da informação de número de bloco ou similar, que é descrita no fluxo de bits correspondente a cada bloco.

[00292] Mais ainda, no processamento de modo direto mostrado na

Petição 870170060093, de 18/08/2017, pág. 82/243

78/232 figura 4(a) (primeiro exemplo), o processamento de modo direto mostrado na figura 4(b) segundo exemplo, e o processamento de modo de direção mostrado na figura 5(a) (terceiro exemplo), todos os blocos cujos dados de diferença se tornam zero não são necessariamente tratados como blocos de desvio. Isto é, um bloco alvo é submetido a uma previsão bidirecional usando-se uma imagem que está posicionada imediatamente antes da imagem alvo como uma imagem de referência à frente, e um vetor de movimento cuja magnitude é zero, e apenas quando o dado de diferença do bloco alvo se torna zero este bloco alvo pode ser tratado como um bloco de desvio.

[00293] A propósito, a seleção de um modo de codificação para um bloco alvo é realizada, geralmente, de modo a se minimizar um erro de codificação correspondente a uma quantidade predeterminada de bits. O modo de codificação determinado pela unidade de seleção de modo 109 é extraído para a unidade de geração de fluxo de bits 104. Ainda, um dado de previsão que é obtido a partir da imagem de referência de acordo com o modo de codificação determinado na unidade de seleção de modo 109 é extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106. Entretanto, quando uma codificação intra-imagem é selecionada, nenhum dado de previsão é extraído. Ainda, quando a unidade de seleção de modo 109 seleciona uma codificação intra-imagem, a chave 111 é controlada de modo que o terminal de entrada Ta esteja conectado ao terminal de saída Tb1, e a chave 112 é controlada de modo que o terminal de saída Td esteja conectado ao terminal de entrada Tc1. Quando uma codificação de previsão interimagens é selecionada, a chave 111 é controlada de modo que o terminal de entrada Ta esteja conectado ao terminal de saída Tb2, e a chave 112 é controlada de modo que o terminal de saída Td seja conectado ao terminal de entrada Tc2.

[00294] A partir deste ponto, será dada uma descrição da operação

Petição 870170060093, de 18/08/2017, pág. 83/243

79/232 do aparelho de codificação de filme 10, no caso em que a unidade de seleção de modo 109 seleciona uma codificação de previsão interimagens.

[00295] A unidade de cálculo de diferença 102 recebe o dado de previsão Pd extraído da unidade de seleção de modo 109. A unidade de cálculo de diferença 102 calcula um dado de diferença entre o dado de imagem correspondente a um bloco alvo na imagem B11 e o dado de previsão, e extrai o dado de diferença como um dado de erro de previsão PEd. O dado de erro de previsão PEd é introduzido na unidade de codificação de erro de previsão 103. A 103 submete o dado de erro de previsão PEd introduzido a processos de codificação, tais como uma conversão de freqüência e uma quantificação, desse modo gerando o dado codificado Ed. O dado codificado Ed extraído a partir da unidade de codificação de erro de previsão 103 é introduzido na unidade de geração de fluxo de bits 104 e na unidade de decodificação de erro de previsão 104.

[00296] A unidade de geração de fluxo de bits 104 submete o dado codificado Ed introduzido a uma codificação de comprimento variável, e adiciona uma informação tal como um vetor de movimento e um modo de codificação ao dado codificado Ed, para a geração de um fluxo de bits Bs, e extrai este fluxo de bits Bs. Quando o modo de codificação é um executando uma referência à frente, uma informação (informação de imagem de referência) Rp, indicando qual das imagens P7, B9 e P10 é referida quando da detecção do vetor de movimento para frente, também é adicionada ao fluxo de bits Bs.

[00297] Em seguida, será dada uma descrição de um método para o gerenciamento da memória de quadro e de um método para a atribuição de uma informação de imagem de referência, na codificação da imagem B11, com referência à figura 3.

[00298] Quando a codificação da imagem B11 é começada, as

Petição 870170060093, de 18/08/2017, pág. 84/243

80/232 imagens P4, P7, P10, P13 e B9 são armazenadas na memória de quadro 117. A imagem B11 é submetida a uma codificação de previsão bidirecional, usando-se as imagens P7, B9 e P10 como imagens candidatas para uma referência à frente, e a imagem P13 como uma imagem candidata para uma imagem de referência para trás. A imagem já codificada B11 é armazenada na área de memória (N° 2), onde a imagem P4 tinha sido armazenada, porque a imagem P4 não é usada como uma imagem de referência na codificação das imagens a partir da imagem B11 em diante.

[00299] Na codificação da imagem B11, como um método para a adição de uma informação indicando qual das imagens P7, B9 e P10 é referida na detecção do vetor de movimento para frente para o bloco alvo (informação de imagem de referência), é empregado um método de atribuição sucessiva de índices às imagens candidatas de referência, começando a partir daquela que é mais próxima no sentido do tempo da imagem alvo (imagem B11). As imagens candidatas de referência são imagens as quais podem ser selecionadas como uma imagem de referência na codificação da imagem alvo.

[00300] Para ser específico, à imagem P10 é atribuído um índice de imagem de referência [0], à imagem B9 é atribuído um índice de imagem de referência [1] e à imagem P7 é atribuído um índice de imagem de referência [2].

[00301] Assim sendo, quando a imagem P10 é referida na codificação da imagem alvo, o índice de imagem de referência [0] é descrito no fluxo de bits correspondente ao bloco alvo como uma informação indicando que uma imagem candidata imediatamente anterior à imagem alvo é referida. Da mesma forma, quando a imagem B9 é referida, o índice de imagem de referência [1] é descrito no fluxo de bits correspondente ao bloco alvo como uma informação indicando que uma imagem candidata duas imagens anterior à imagem alvo é referida.

Petição 870170060093, de 18/08/2017, pág. 85/243

81/232

Ainda, quando a imagem P7 é referida, o índice de imagem de referência [2] é descrito no fluxo de bits correspondente ao bloco alvo como uma informação indicando que uma imagem candidata três imagens anterior à imagem alvo é referida.

[00302] A atribuição de códigos aos índices de imagem de referência [0], [1] e [2] é realizada de modo que um código de um comprimento mais curto seja atribuído a um índice menor.

[00303] Geralmente, uma imagem candidata que é no sentido do tempo mais próxima de uma imagem alvo é mais provável de ser usada como uma imagem de referência. Assim sendo, pela atribuição de códigos, como descrito acima, a quantidade total de códigos, cada um indicando qual das várias imagens candidatas é referida na detecção do vetor de movimento do bloco alvo, pode ser reduzida.

[00304] A unidade de decodificação de erro de previsão 105 submete o dado codificado introduzido correspondente ao bloco alvo a processos de decodificação, tais como quantificação inversa e conversão de freqüência inversa, para a geração do dado de diferença decodificado PDd do bloco alvo. O dado de diferença decodificado PDd é adicionado ao dado de previsão Pd na unidade de adição 106, e o dado decodificado Dd da imagem alvo, o qual é obtido pela adição, é armazenado na memória de quadro 117.

[00305] Os blocos remanescentes na imagem B11 são codificados de maneira similar à descrita acima. Quando todos os blocos na imagem B11 tiverem sido processados, a codificação da imagem B12 ocorre.

Processo de Codificação para a imagem B12 [00306] Em seguida, o processo de codificação para a imagem B12 será descrito.

[00307] Uma vez que a imagem B12 é uma imagem B, uma codificação de previsão interimagens a ser realizada para um bloco alvo na

Petição 870170060093, de 18/08/2017, pág. 86/243

82/232 imagem B12 é uma codificação de previsão interimagens bidirecional, na qual duas imagens já codificadas que estão posicionadas no sentido do tempo à frente ou para trás da imagem alvo são referidas. [00308] A partir deste ponto, será dada uma descrição de um caso onde uma codificação usando uma referência bidirecional é realizada como um processo de codificação para a imagem B12. Assim sendo, neste caso, como candidatas a uma imagem de referência à frente, duas imagens I ou P posicionadas próximas da imagem alvo na ordem de tempos de exibição ou uma imagem B posicionada mais próxima da imagem alvo na ordem de tempos de exibição são/é usada(s). Ainda, como uma imagem de referência para trás, uma imagem I ou P posicionada mais próxima da imagem alvo na ordem de tempos de exibição é usada. Assim sendo, as imagens candidatas de referência para a imagem B12 são as imagens P7, P10 e B11 (imagens à frente) e a imagem P13 (imagem para trás).

[00309] Na codificação de uma imagem B a ser usada como uma imagem de referência quando da codificação de uma outra imagem, a unidade de controle de codificação 110 controla as respectivas chaves, de modo que as chaves 113, 114 e 115 sejam LIGADAS. Uma vez que a imagem B12 é para ser usada como uma imagem de referência na codificação de uma outra imagem, a unidade de controle de codificação 110 controla as respectivas chaves de modo que as chaves 113, 114 e 115 sejam LIGADAS. Assim sendo, o dado de imagem correspondente ao bloco na imagem B12, o qual é lido a partir da memória de quadro 101, é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 109 e na unidade de cálculo de diferença 102.

[00310] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento para frente e um vetor de movimento para trás correspondentes ao bloco alvo na imagem B12, usando as imagens

Petição 870170060093, de 18/08/2017, pág. 87/243

83/232

P7, P10 e B11 armazenadas na memória de quadro 117 como imagens candidatas de referência à frente, e a imagem P13 armazenada na memória de quadro 117 como uma imagem de referência para trás. [00311] Os vetores de movimento detectados são extraídos para a unidade de seleção de modo 109.

[00312] A unidade de seleção de modo 109 determina um modo de codificação para o bloco alvo na imagem B12, usando os vetores de movimento detectados pela unidade de detecção de vetor de movimento 108. Por exemplo, um modo de codificação para a imagem B B12 é selecionado a partir de dentre o modo de codificação intraimagens, o modo de codificação de previsão interimagens usando um vetor de movimento para frente, o modo de codificação de previsão interimagens usando uma imagem de movimento para trás, o modo de codificação de previsão interimagens usando vetores de movimento bidirecionais, e o modo direto. Quando o modo direto é a codificação de previsão interimagens usando um vetor de movimento para frente, uma imagem mais adequada é selecionada como uma imagem de referência a partir de dentre as imagens P7, P10 e B11.

[00313] A partir deste ponto, um processo de codificação dos blocos na imagem B12 pelo modo direto será descrito.

Primeiro Exemplo de Codificação de Modo Direto [00314] A figura 7(a) mostra um caso em que um bloco (bloco alvo) BLa5 na imagem (imagem alvo) B12 é codificado no modo direto. Esta codificação de modo direto utiliza um vetor de movimento (vetor de movimento de base) MVc5 de um bloco (bloco de base) BLb5, o qual é incluído na imagem (imagem de base) P13 como uma imagem de referência posicionada para trás da imagem B12 e está localizado na mesma posição que o bloco alvo BLa5. O vetor de movimento MVc5 é um vetor de movimento o qual é usado quando da codificação do bloco BLb5, e é armazenado na unidade de armazenamento de vetor de

Petição 870170060093, de 18/08/2017, pág. 88/243

84/232 movimento 116. Este vetor de movimento MVc5 indica uma área CRc5 na imagem P10, cuja área corresponde ao bloco BLb5. O bloco BLa5 é submetido a uma codificação de previsão bidirecional, usando-se os vetores de movimento paralelos ao vetor de movimento MVc5, com base nas imagens B11 e P13 como imagens de referência para o bloco BLa5. Os vetores de movimento a serem usados na codificação do bloco BLa5 são um vetor de movimento MVe5 para frente indicando uma área CRd5 na imagem B11, correspondente ao bloco BLa5, e um vetor de movimento MVe5 para trás indicando uma área Cre5 na imagem P13, correspondente ao bloco BLa5. As magnitudes MVF e MVB dos vetores de movimento MVd5 e MVe5 são obtidas pelas fórmulas (1) e (2), mencionadas acima, respectivamente.

Segundo Exemplo de Codificação de Modo Direto [00315] Em seguida, um segundo exemplo de codificação de modo direto será descrito.

[00316] A figura 7(b) mostra um caso em que um bloco (bloco alvo) BLa6 na imagem (imagem alvo) B12 é codificado pelo modo direto. Esta codificação de modo direto utiliza um vetor de movimento (vetor de movimento de base) MVc6 de um bloco (bloco de base) BLb6, o qual é incluído na imagem (imagem de base) P13 como uma imagem de referência posicionada para trás da imagem B12 e está localizado na mesma posição que o bloco alvo BLa6. O vetor de movimento MVc6 é um vetor de movimento o qual é usado quando da codificação do bloco BLb6, e é armazenado na unidade de armazenamento de vetor de movimento 116. Este vetor de movimento MVc6 indica uma área CRc6 na imagem P7, cuja área corresponde ao bloco BLb6. O bloco BLa6 é submetido a uma codificação de previsão bidirecional, usandose vetores de movimento paralelos ao vetor de movimento MVc6, com base nas imagens B11 e P13 como imagens de referência. Os vetores de movimento a serem usados na codificação do bloco BLa6, são um

Petição 870170060093, de 18/08/2017, pág. 89/243

85/232 vetor de movimento MVg6 indicando uma área CRg6 na imagem B11, correspondente ao bloco BLa6, e um vetor de movimento MVh6 indicando uma área CRh6 na imagem P13, correspondente ao bloco BLa6. As magnitudes MVF e MVB dos vetores de movimento MVg2 e MVh6 são obtidas pelas fórmulas (1) e (2) mencionadas acima, respectivamente.

[00317] Como descrito acima, no modo direto, o vetor de movimento MVf6 do bloco BLb6, o qual é incluído na imagem a ser referida como uma imagem de referência para trás, quando da codificação do bloco alvo BLa6 e está localizado relativamente na mesma posição que o bloco alvo, é escalonado, desse modo obtendo-se o vetor de movimento para frente MVg6 e o vetor de movimento para trás MVh6 para o bloco alvo. Portanto, quando o modo direto é selecionado, não é necessário enviar uma informação do vetor de movimento do bloco alvo. Mais ainda, uma vez que a imagem já codificada a qual está posicionada mais próxima da imagem alvo na ordem dos tempos de exibição, é usada como uma imagem de referência à frente, a eficiência de previsão pode ser melhorada.

Terceiro Exemplo de Codificação de Modo Direto [00318] Em seguida, um terceiro exemplo de codificação de modo direto será descrito.

[00319] A figura 8(a) mostra um terceiro exemplo de um processo de codificação de um bloco (bloco alvo) Bla7 na imagem (imagem alvo) B12 pelo modo direto.

[00320] Esta codificação de modo direto utiliza um vetor de movimento (vetor de movimento de base) MVc7 de um bloco (bloco de base) BLb7, o qual é incluído na imagem (imagem de base) P13 como uma imagem de referência posicionada para trás da imagem B12 e está localizada na mesma posição que o bloco alvo BLa7. O vetor de movimento MVc7 é um vetor de movimento o qual é usado quando da

Petição 870170060093, de 18/08/2017, pág. 90/243

86/232 codificação do bloco BLb7, e é armazenado na unidade de armazenamento de vetor de movimento 116. Este vetor de movimento MVc7 indica uma área CRc7 na imagem P7, cuja área corresponde ao bloco BLb7. O bloco BLa7 é submetido a uma codificação de previsão bidirecional usando-se vetores de movimento paralelos ao vetor de movimento MVc7, a mesma imagem que a referida quando da codificação do bloco BLb7 (isto é, a imagem P7 como uma imagem de referência à frente) e a imagem P13 como uma imagem de referência para trás. Os vetores de movimento a serem usados na codificação do bloco BLa7, são um vetor de movimento MVd7 indicando uma área CRd7 na imagem P7, correspondente ao bloco BLa7, e um vetor de movimento MVe7 indicando uma área CRe7 na imagem P13, correspondente ao bloco BLa7.

[00321] As magnitudes MVF e MVB dos vetores de movimento MVd7 e MVe7 podem ser obtidas pelas fórmulas (2) e (3) mencionadas acima, respectivamente.

[00322] Quando a imagem a qual é referida da codificação do bloco BLb7 já foi apagada da memória de quadro 117, a imagem de referência à frente, que é no sentido do tempo mais próxima da imagem alvo, pode ser usada como a imagem de referência à frente no modo direto. A codificação de modo direto, neste caso, é idêntica àquela descrita como o primeiro exemplo de codificação de modo direto.

[00323] Como descrito acima, na codificação de modo direto mostrada na figura 8(a), o vetor de movimento MVf7 do bloco BLb7, o qual é incluído na imagem a ser usada como uma imagem de referência para trás, quando da codificação do bloco alvo, e está localizado relativamente na mesma posição que o bloco alvo, é escalonado, desse modo obtendo-se o vetor de movimento para frente MVd7 e o vetor de movimento para trás MVe7 correspondente ao bloco alvo. Portanto, quando o modo direto é selecionado, não é necessário enviar uma inPetição 870170060093, de 18/08/2017, pág. 91/243

87/232 formação do vetor de movimento do bloco alvo.

Quarto Exemplo de Codificação de Modo Direto [00324] Em seguida, um quarto exemplo de codificação de modo direto será descrito.

[00325] A figura 8(b) mostra um quarto exemplo de um processo de codificação de um bloco (bloco alvo) BLa8 na imagem (imagem alvo) B12 pelo modo direto.

[00326] Neste caso, o bloco alvo BLa8 é submetido a uma codificação de previsão bidirecional com um vetor de movimento sendo 0, com base na imagem mais próxima P10, que é selecionada como a imagem de referência à frente, e a imagem P13 como uma imagem de referência para trás. Isto é, os vetores de movimento MVf8 e MVh8 a serem usados para a codificação do bloco BLa8 são um vetor de movimento indicando uma área (bloco) CRf8 que é incluída na imagem B11 e está localizada relativamente na mesma posição que o bloco alvo BLa8, e um vetor de movimento indicando uma área (bloco) CRh8 que é incluída na imagem P13 e está localizada relativamente na mesma posição que o bloco alvo BLa8, respectivamente.

[00327] Como descrito acima, na codificação de modo direto mostrada na figura 8(b), o vetor de movimento do bloco alvo é forçosamente regulado para 0. Portanto, quando o modo direto é selecionado, não é necessário enviar uma informação para o vetor de movimento do bloco alvo, e um escalonamento do vetor de movimento se torna desnecessário, resultando em uma redução da complexidade de processamento do sinal. Este método é aplicável, por exemplo, a um caso em que um bloco, o qual é incluído na imagem P13 como uma imagem de referência para trás da imagem B12 e está localizado na mesma posição que o bloco BLa8, é um bloco que não tem um vetor de movimento como um bloco codificado intraquadro. Assim sendo, mesmo quando um bloco o qual está incluído na imagem de referência para

Petição 870170060093, de 18/08/2017, pág. 92/243

88/232 trás e está localizado na mesma posição que o bloco alvo é codificado sem um vetor de movimento, a eficiência de codificação pode ser melhorada usando-se o modo direto.

[00328] O processamento de modo direto mencionado acima (primeiro a quarto exemplos) é aplicável não apenas quando o intervalo de tempos de exibição de imagem é constante, mas, também, quando o intervalo de tempos de exibição de imagem é variável, como é o caso da imagem B11 mostrada na figura 6(a).

[00329] Mais ainda, na codificação de modo direto para a imagem B12, como a codificação de modo direto para a imagem B11, quando o dado de diferença correspondente ao bloco alvo se torna zero, a unidade de codificação de erro de previsão 103 não gera um dado codificado correspondente ao bloco alvo, e a unidade de geração de fluxo de bits 104 não extrai um fluxo de bits correspondente ao bloco alvo. Assim, um bloco cujo dado de diferença se torna zero é tratado como um bloco de desvio, como no caso da imagem B11 mostrada nas figuras 6(a) e 6(c).

[00330] Mais ainda, no processamento de modo direto mostrado na figura 7(a) (primeiro exemplo), o processamento de modo direto mostrado na figura 7(b) (segundo exemplo) e o processamento de modo direto mostrado na figura 8(a)(terceiro exemplo), todos os blocos cujos dados de diferença se tornam zero não são necessariamente tratados como blocos de desvio. Isto é, um bloco alvo é submetido a uma previsão bidirecional usando-se uma imagem que está posicionada imediatamente antes da imagem alvo como uma imagem de referência à frente, e um vetor de movimento cuja magnitude é zero, e apenas quando o dado de diferença do bloco alvo se torna zero este bloco alvo pode ser tratado como um bloco de desvio.

[00331] Quando o modo de codificação para o bloco alvo na imagem B12 é determinado pela unidade de seleção de modo 109, o dado

Petição 870170060093, de 18/08/2017, pág. 93/243

89/232 de erro de previsão PEd para o bloco alvo é gerado e extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106, como no processo de codificação para o bloco alvo na imagem B11. Entretanto, quando uma codificação intra-imagem é selecionada, nenhum dado de previsão é extraído da unidade de seleção de modo 109. Ainda, as chaves 111 e 112 são controladas da mesma maneira que a descrita para a codificação da imagem B11, de acordo com o que uma codificação intra-imagem ou uma codificação interimagens é selecionada como um modo de codificação pela unidade de seleção de modo 109.

[00332] A partir deste ponto, será dada uma descrição da operação do aparelho de codificação de filme 10 no caso em que a unidade de seleção de modo 109 seleciona uma codificação de previsão intraimagens quando da codificação da imagem P12.

[00333] Neste caso, a unidade de cálculo de diferença 102, a unidade de codificação de erro de previsão 103, a unidade de geração de fluxo de bits 104, a unidade de decodificação de erro de previsão 105, a unidade de adição 106 e a memória de quadro 117 são operadas da mesma maneira que a descrita para o caso em que a unidade de seleção de modo 109 seleciona uma codificação de previsão interimagens para a codificação da imagem P11.

[00334] Neste caso, contudo, uma vez que as imagens candidatas para uma imagem de referência à frente são diferentes daquelas para a codificação da imagem P11, quando o modo de codificação para o bloco alvo é um executando uma referência à frente, a informação de imagem de referência a ser adicionada ao fluxo de bits do bloco alvo se torna uma informação indicando qual das imagens P7, P10 e B11 é referida na detecção do vetor de movimento para frente.

[00335] Ainda, um método de gerenciamento de memória de quadro e um método de atribuição de informação de imagem de referênPetição 870170060093, de 18/08/2017, pág. 94/243

90/232 cia, os quais devem ser empregados na codificação da imagem B12 são idênticos àqueles empregados na codificação da imagem B11 mostrada na figura 3.

[00336] Como descrito acima, de acordo com a primeira modalidade da invenção, quando da codificação de uma imagem B (imagem alvo), uma imagem B é usada como uma imagem candidata para uma instalação de referência à frente, bem como imagens P. Portanto, uma imagem à frente posicionada mais próxima da imagem alvo B pode ser usada como uma imagem de referência para a imagem alvo B, por meio do que a acurácia de previsão de compensação de movimento para a imagem B pode ser aumentada, resultando em um aumento na eficiência de codificação.

[00337] Nesta primeira modalidade, nenhuma imagem B é usada como uma imagem de referência na codificação de uma imagem P. Portanto, mesmo quando um erro ocorre em uma imagem durante uma decodificação, uma recuperação a partir do erro pode ser perfeitamente realizada pelo resumo da decodificação a partir de uma imagem I ou uma P próxima à imagem onde o erro de dado codificado ocorre. Entretanto, os outros efeitos obtidos pela primeira modalidade não são mudados, mesmo quando uma imagem B é usada como uma imagem de referência na codificação de uma imagem P.

[00338] Ainda, uma vez que duas imagens P e uma imagem B são usadas como imagens candidatas para uma imagem de referência à frente na codificação de uma imagem B, o número de imagens candidatas para uma imagem de referência à frente para uma imagem B não é mudado, em comparação com o caso convencional, onde três imagens P são usadas como imagens candidatas para uma imagem de referência à frente para uma imagem B. Portanto, é possível evitar um aumento na capacidade da memória de quadro para a manutenção de imagens candidatas de referência e um aumento na quantidade de

Petição 870170060093, de 18/08/2017, pág. 95/243

91/232 processamento para detecção de movimento, cujos aumentos são causados pela inclusão da imagem B nas imagens candidatas para uma imagem de referência à frente para uma imagem B.

[00339] Ainda, nesta primeira modalidade, uma informação indicando que uma imagem B é submetida a uma codificação de previsão interimagens com referência a uma imagem à frente B, e uma informação indicando quantas imagens I ou P e quantas imagens B são usadas como imagens candidatas para uma referência à frente são descritas como uma informação de cabeçalho de um fluxo de bits a ser gerado. Portanto, é possível conhecer a capacidade de uma memória de quadro que é necessária, quando da decodificação do fluxo de bits gerado no aparelho de codificação de filme.

[00340] Mais ainda, quando uma informação tal como um vetor de movimento, um modo de codificação e similares é adicionada a um fluxo de bits, se o modo de codificação for um executando uma referência à frente, uma informação de imagem de referência para a identificação de imagens de referência, a qual é atribuída a imagens candidatas a serem referidas, é adicionada ao fluxo de bits e, ainda, uma informação de imagem de referência atribuída a uma imagem candidata que é mais próxima no sentido do tempo da imagem alvo é expressa com um código de comprimento de código mais curto, de acordo com um método de gerenciamento de memória de quadro para imagens de referência. Portanto, o número total de códigos expressando a informação de imagem de referência pode ser reduzido. Ainda, no gerenciamento da memória de quadro, uma vez que a memória de quadro é gerenciada independentemente do tipo de imagem, a capacidade da memória de quadro pode ser minimizada.

[00341] Mais ainda, nesta primeira modalidade, quando a memória de quadro para imagens de referência é gerenciada com uma área para imagens P e uma área para imagens B sendo separadas uma da

Petição 870170060093, de 18/08/2017, pág. 96/243

92/232 outra, o gerenciamento da memória de quadro é facilitado.

[00342] Ainda, quando um bloco em uma imagem B é codificado no modo direto, uma imagem que está posicionada mais próxima desta imagem B na ordem de tempos de exibição é usada como uma imagem de referência à frente, por meio do que a eficiência de previsão no modo direto para a imagem B pode ser melhorada.

[00343] Mais ainda, quando um bloco em uma imagem B é para ser codificado no modo direto, uma imagem que é referida para frente na codificação de uma imagem de referência para trás é usada com uma imagem de referência à frente, por meio do que a eficiência de previsão no modo direto para a imagem B pode ser melhorada.

[00344] Mais ainda, quando um bloco em uma imagem B é para ser codificado no modo direto, uma previsão bidirecional com um vetor de movimento sendo zero é realizada, com base em uma imagem de referência à frente e uma imagem de referência para trás, por meio do que o escalonamento do vetor de movimento no modo direto se torna desnecessário, resultando em uma redução na complexidade de processamento de informação. Neste caso, mesmo quando um bloco, o qual é incluído na imagem de referência para trás e está localizado na mesma posição que o bloco alvo é codificado sem um vetor de movimento, a eficiência de codificação pode ser melhorada, usando-se o modo direito.

[00345] Mais ainda, quando um bloco em uma imagem B é para ser codificado no modo direto, se um erro de previsão em relação ao bloco alvo se torna zero, uma informação relativa ao bloco alvo não é descrita no fluxo de bits, por meio do que a quantidade de códigos pode ser reduzida.

[00346] Nesta primeira modalidade, uma compensação de movimento é realizada em unidades de espaços de imagem (macroblocos), cada uma compreendendo 16 pixels na direção horizontal x 16 pixels

Petição 870170060093, de 18/08/2017, pág. 97/243

93/232 na direção vertical, e codificando de uma imagem de erro de precisão é executado em unidades de espaços de imagem (sub-blocos), cada um compreendendo 8 pixels na direção horizontal x 8 pixels na direção vertical. Entretanto, o número de pixels em cada macrobloco (subbloco) na compensação de movimento (codificação de uma imagem de erro de previsão) pode ser diferente daquele descrito para a primeira modalidade.

[00347] Ainda, embora nesta primeira modalidade o número de imagens contínuas B seja dois, o número de imagens contínuas B pode ser três ou mais.

[00348] Por exemplo, o número de imagens B posicionadas entre uma imagem I e uma imagem P ou entre duas imagens P pode ser três ou quatro.

[00349] Ainda, nesta primeira modalidade, um modo de codificação para uma imagem P é selecionado a partir de dentre uma codificação intra-imagem, uma codificação de previsão interimagens usando um vetor de movimento, e uma codificação de previsão interimagens usando nenhum vetor de movimento, enquanto um modo de codificação para uma imagem B é selecionado a partir de dentre a codificação intra-imagem, a codificação de previsão interimagens usando um vetor de movimento para frente, a codificação de previsão interimagens usando um vetor de movimento para trás, a codificação de previsão interimagens usando vetores de movimento bidirecionais, e o modo direto. Entretanto, o modo de codificação para uma imagem P ou para uma imagem B pode ser outro além daqueles mencionados acima. [00350] Por exemplo, quando o modo direto não é usado como um modo de codificação para uma imagem B, a unidade de armazenamento de vetor de movimento 116 no aparelho de codificação de filme 10 é dispensado.

[00351] Ainda, embora nesta primeira modalidade a imagem B11 ou

Petição 870170060093, de 18/08/2017, pág. 98/243

94/232 a B12 como uma imagem B se torne uma imagem candidata para uma imagem de referência na codificação de uma outra imagem, não é necessário armazenar uma imagem B a qual não é para ser usada como uma imagem de referência na codificação de uma outra imagem, na memória de quadro de referência 117. Neste caso, a unidade de controle de codificação 110 desliga as chaves 114 e 115.

[00352] Ainda, embora nesta primeira modalidade três imagens sejam usadas como imagens candidatas para uma referência à frente na codificação de uma imagem P, a presente invenção não está restrita a isso. Por exemplo, duas imagens ou quatro ou mais imagens podem ser usadas como imagens candidatas para uma referência à frente na codificação de uma imagem P.

[00353] Embora nesta primeira modalidade duas imagens P e uma imagem B sejam usadas como imagens candidatas para uma referência à frente na codificação de uma imagem B, as imagens candidatas para uma referência à frente na codificação de uma imagem B não estão restritas àquelas mencionadas acima.

[00354] Por exemplo, na codificação de uma imagem B, as imagens candidatas para uma referência à frente podem ser uma imagem P e duas imagens B, ou duas imagens P e duas imagens B, ou três imagens mais próximas da imagem alvo, independentemente do tipo de imagem. Ainda, não uma imagem B mais próxima da imagem alvo no eixo de tempo de exibição, mas uma imagem B distante da imagem alvo no eixo de tempo de exibição pode ser usada como uma imagem candidata de referência.

[00355] Ainda, em um caso onde na codificação de um bloco em uma imagem B, uma imagem para trás é referida e apenas uma imagem mais próxima da imagem alvo é usada como uma imagem candidata para uma referência à frente, não é necessário descrever uma informação indicando qual imagem é referida na codificação do bloco

Petição 870170060093, de 18/08/2017, pág. 99/243

95/232 alvo (informação de imagem de referência) no fluxo de bits.

[00356] Ainda, nesta primeira modalidade, quando da codificação de uma imagem B, uma imagem B a qual está posicionada à frente de uma imagem P que está posicionada à frente e mais próxima da imagem alvo é referida. Entretanto, na codificação de uma imagem B, uma imagem B a qual está posicionada à frente de uma imagem I ou P que está à frente e mais próxima da imagem alvo não é necessariamente referida. Neste caso, quando da decodificação de um fluxo de bits gerado, mesmo se um erro ocorrer durante a decodificação, uma recuperação a partir do erro pode ser perfeitamente realizada pelo resumo da decodificação a partir de uma imagem I ou P próxima à imagem onde o erro ocorre.

[00357] Por exemplo, as figuras 9(a) e 9(b) são diagramas que ilustram um caso onde, quando da codificação de uma imagem B, uma imagem B a qual está posicionada à frente de uma imagem P que está posicionada à frente e mais próxima da imagem alvo é referida.

[00358] A figura 9(a) ilustra um arranjo de imagem, e as relações entre as imagens B e as imagens de referência. Para ser específico, na figura 9(a), duas imagens B são posicionadas interimagens P adjacentes, e uma imagem P e duas imagens B são usadas como imagens candidatas para uma imagem de referência à frente para uma imagem B (isto é, uma imagem a ser referida quando da codificação da imagem alvo B).

[00359] A figura 9(b) ilustra um outro arranjo de imagem, e as relações entre as imagens B e as imagens de referência. Para se ser específico, na figura 9(b), quatro imagens B são posicionadas interimagens adjacentes P, e duas imagens, as quais são mais próximas no sentido do tempo da imagem alvo, independentemente do tipo de imagem, são usadas como imagens candidatas para uma imagem de referência à frente para uma imagem B.

Petição 870170060093, de 18/08/2017, pág. 100/243

96/232 [00360] Ainda, as figuras 10(a) e 10(b) são diagramas que ilustram um caso em que, quando da codificação de uma imagem B, uma imagem B a qual é posicionada à frente de uma imagem I ou P que é posicionada à frente e mais próxima da imagem alvo não é referida. [00361] Para ser específico, na figura 10(a), duas imagens B são posicionadas entre as imagens P adjacentes, uma imagem P e uma imagem B são usadas como imagens candidatas para uma imagem de referência à frente para uma imagem B, e uma imagem B a qual está posicionada à frente de uma imagem P que está posicionada à frente e mais próxima da imagem alvo não é usada como uma imagem candidata para a imagem de referência à frente.

[00362] Na figura 10(b), quatro imagens B são posicionadas interimagens B adjacentes, uma imagem P e uma imagem B são usadas como imagens candidatas para uma imagem de referência à frente para uma imagem B, e uma imagem B a qual está posicionada à frente de uma imagem P que está posicionada à frente e mais próxima da imagem alvo não é usada como uma imagem candidata para uma imagem de referência à frente.

[00363] Ainda, nesta primeira modalidade, três imagens são usadas como imagens candidatas de referência para uma imagem P, e duas imagens P e uma imagem B são usadas como imagens candidatas para uma referência à frente para uma imagem B, isto é, o número de imagens as quais podem ser referidas quando da codificação de uma imagem P é igual ao número de imagens que podem ser referidas à frente quando da codificação de uma imagem B. Entretanto, o número de imagens as quais podem ser referidas à frente quando da codificação de uma imagem B pode ser menor do que o número de imagens as quais podem ser referidas quando da codificação de uma imagem P.

[00364] Mais ainda, embora nesta primeira modalidade quatro méPetição 870170060093, de 18/08/2017, pág. 101/243

97/232 todos sejam descritos como exemplos de codificação de modo direto, um desses quatro métodos ou alguns desses quatro métodos podem ser empregados no modo direto. Entretanto, quando do emprego de vários métodos, é desejável descrever uma informação indicando os modos diretos empregados (informação de modo DM) no fluxo de bits. [00365] Por exemplo, quando um método é usado por toda a seqüência, a informação de modo DM é descrita no cabeçalho de toda a seqüência. Quando um método é selecionado para cada imagem, a informação de modo DM é descrita no cabeçalho da imagem. Quando um método é selecionado para cada bloco, a informação de modo DM é descrita no cabeçalho do bloco.

[00366] Embora uma imagem ou um bloco seja descrito como uma unidade para a qual um dos métodos de codificação de modo direto é selecionado, ela pode ser um GOP (Grupo de Imagens) compreendendo várias imagens, um GOB (Grupo de Blocos) compreendendo vários blocos, ou uma fatia, a qual é obtida pela divisão de uma imagem.

[00367] Ainda, embora nesta primeira modalidade um método de gerenciamento de memória de quadro seja descrito com referência à figura 3, os métodos de gerenciamento de memória de quadro aplicáveis não estão restritos àqueles mostrados na figura 3.

[00368] A partir deste ponto, outros métodos de gerenciamento de memória de quadro serão descritos.

[00369] Inicialmente, um primeiro exemplo de um método de gerenciamento de memória de quadro, no qual todas as imagens usadas como imagens de referência são separadas em imagens P e imagens B a serem gerenciadas, será descrito com referência à figura 11. [00370] Neste caso, a memória de quadro 117 tem áreas de memória para seis imagens no total, isto é, áreas de memória de imagem P (N° 1) ~ (N° 4) e áreas de memória de imagem B (N° 1) e (N° 2). Um

Petição 870170060093, de 18/08/2017, pág. 102/243

98/232 armazenamento para cada imagem não está restrito a uma área na memória de quadro, e pode ser uma memória.

[00371] Quando a codificação da imagem P13 é começada, as imagens P1, P4, P7 e P10 estão armazenadas nas áreas de memória de imagem P (N° 1) ~ (N° 4) e as imagens B8 e B9 estão armazenadas nas áreas de memória de imagem B (N° 1) e (N° 2), respectivamente. A imagem P13 é codificada usando-se as imagens P4, P7 e P10 como imagens candidatas para uma imagem de referência, e a imagem codificada P13 é armazenada na área (N° 1), onde a imagem P1 tenha sido armazenada, porque a imagem P1 não é usada como uma imagem de referência quando da codificação da imagem P13 e das imagens subseqüentes.

[00372] Neste caso, um método para a atribuição de uma informação de imagem de referência às imagens P4, P7 e P10 como imagens candidatas é idêntico ao método mostrado na figura 3, isto é, um índice de imagem de referência menor é atribuído a uma imagem candidata que é mais próxima no sentido do tempo da imagem alvo.

[00373] Para ser específico, um índice de imagem de referência [0] é atribuído a uma imagem candidata à frente que é mais próxima da imagem alvo, um índice de imagem de referência [1] é atribuído a uma imagem candidata que é a segunda mais próxima da imagem alvo, e um índice de imagem de referência [2] é atribuído a uma imagem candidata que está mais distante da imagem alvo.

[00374] Na figura 11, às imagens a serem usadas como imagens de referência para trás são atribuídos códigos [b] como uma informação de imagem de referência, e às imagens as quais não usadas como imagens de referência quando da codificação da imagem alvo e das imagens subseqüentes são atribuídos códigos [n].

[00375] Em seguida, um segundo exemplo de um método de gerenciamento de memória de quadro, no qual todas as imagens usadas

Petição 870170060093, de 18/08/2017, pág. 103/243

99/232 como imagens de referência são separadas em imagens P e imagens B a serem gerenciadas, será descrito com referência à figura 12. [00376] Uma vez que o gerenciamento de memória neste segundo exemplo é idêntico àquele no primeiro exemplo mostrado na figura 11, uma descrição repetida não é necessária.

[00377] Neste segundo exemplo, como um método para a atribuição de índices de imagem de referência, uma atribuição de índices às imagens armazenadas nas áreas de memória de imagem P é realizada com prioridade. Entretanto, na codificação da imagem P 13, uma vez que nenhuma imagem B é usada como uma imagem de referência, nenhum índice é atribuído às imagens B. Assim sendo, um índice de imagem de referência [0] é atribuído à imagem P10, um índice de imagem de referência [1] é atribuído à imagem P7 e um índice de imagem de referência [2] é atribuído à imagem P4.

[00378] Em seguida, um terceiro exemplo de um método de gerenciamento de memória de quadro no qual todas as imagens usadas como imagens de referência são separadas em imagens P e imagens B a serem gerenciadas será descrito com referência à figura 13.

[00379] Uma vez que o gerenciamento de memória neste terceiro exemplo é idêntico àquele no primeiro exemplo mostrado na figura 11, uma descrição repetida não é necessária.

[00380] Neste terceiro exemplo, como um método para a atribuição de índices de imagem de referência, uma atribuição de índices às imagens armazenadas nas áreas de memória de imagem B é realizada com prioridade. Entretanto, na codificação da imagem P 13, uma vez que nenhuma imagem B é usada como uma imagem de referência, nenhum índice é atribuído às imagens B. Assim sendo, um índice de imagem de referência [0] é atribuído à imagem P10, um índice de imagem de referência [1] é atribuído à imagem P7 e um índice de imagem de referência [2] é atribuído à imagem P4.

Petição 870170060093, de 18/08/2017, pág. 104/243

100/232 [00381] Em seguida, um quarto exemplo de um método de gerenciamento de memória de quadro no qual todas as imagens usadas como imagens de referência são separadas em imagens P e imagens B a serem gerenciadas será descrito com referência à figura 14.

[00382] Uma vez que o gerenciamento de memória neste quarto exemplo é idêntico àquele do primeiro exemplo mostrado na figura 11, uma descrição repetida não é necessária.

[00383] Neste terceiro exemplo, como um método para a atribuição de índices de imagem de referência, as imagens armazenadas na área de memória de imagem P ou as imagens armazenadas na área de memória de imagem B são selecionadas para cada imagem alvo a ser codificada, e índices de imagem de referência são dados às imagens selecionadas com prioridade.

[00384] Para ser específico, de acordo com o tipo de uma imagem de referência que é mais próxima no sentido do tempo da imagem alvo, é determinado que à imagem armazenada na área de memória de imagem P ou à imagem armazenada na área de memória de imagem B deve ser dada prioridade na atribuição de índices de imagem de referência.

[00385] Na codificação da imagem P13, uma vez que nenhuma imagem B é usada como uma imagem de referência, os índices de imagem de referência são atribuídos às imagens armazenadas na área de memória de imagem P com prioridade. Assim sendo, um índice de imagem de referência [0] é atribuído à imagem P10, um índice de imagem de referência [1] é atribuído à imagem P7 e um índice de imagem de referência [2] é atribuído à imagem P4. Neste caso, uma informação indicando que os índices de imagem de referência são dados às imagens armazenadas nas áreas de memória de imagem P com prioridade é descrita no cabeçalho de cada imagem.

[00386] Nos métodos de atribuição de índice de imagem de refePetição 870170060093, de 18/08/2017, pág. 105/243

101/232 rência mostrados nas figuras 3 e 11 a 14, quanto menor for o índice de imagem de referência, mais curto é o comprimento de um código indicando o índice de imagem de referência. Geralmente, uma vez que uma imagem que é mais próxima no sentido do tempo da imagem alvo é mais provável de ser usada como uma imagem de referência, a quantidade total de códigos expressando os índices de imagem de referência pode ser reduzida pela determinação dos comprimentos dos códigos expressando os índices de imagem de referência, como mencionado acima.

[00387] Embora os cinco métodos mostrados nas figuras 3 e 11 a 14 sejam descritos em relativo a um gerenciamento de memória de quadro e a uma atribuição de índice de imagem de referência, um desses métodos pode ser previamente selecionado para uso. Ainda, alguns desses métodos podem ser usados pela comutação deles. Neste caso, entretanto, é desejável descrever uma informação sobre os métodos sendo usados, como uma informação de cabeçalho ou similar.

[00388] Ainda, quando uma informação indicando que cada imagem P é submetida a uma codificação de previsão interimagens usando-se três imagens candidatas de referência é descrita como uma informação de cabeçalho, é possível saber a capacidade de uma memória de quadro que é necessária na decodificação do fluxo de bits Bs gerado no aparelho de codificação de filme 10, de acordo com a primeira modalidade. Essa informação de cabeçalho pode ser descrita no cabeçalho de toda a seqüência, o cabeçalho de cada GOP (Grupo de Imagens) compreendendo várias imagens, ou o cabeçalho de cada imagem.

[00389] Subseqüentemente, como um método de gerenciamento de memória de quadro e um método de atribuição de informação de imagem de referência a serem usados na codificação da imagem B11, ouPetição 870170060093, de 18/08/2017, pág. 106/243

102/232 tros métodos além daqueles mostrados na figura 3 (isto é, métodos de separação das imagens candidatas de referência em imagens P e imagens B para o gerenciamento) serão descritos.

[00390] Inicialmente, será dada uma descrição de um primeiro exemplo de um método para a separação das imagens candidatas de referência em imagens P e imagens B a serem gerenciadas, com referência à figura 11.

[00391] Quando a codificação da imagem B11 é iniciada, na memória de quadro 117, as imagens P4, P7, P10 e P13 são armazenadas nas áreas de memória de imagem P, enquanto as imagens B8 e B9 são armazenadas nas áreas de memória de imagem B. A imagem P11 é codificada usando-se as imagens P7, B9 e P10 como imagens candidatas para uma imagem à frente e a imagem P13 como uma imagem candidata para uma referência para trás e, então, a imagem P11 codificada é armazenada na área onde a imagem P8 tinha sido armazenada, porque a imagem P8 não é usada como uma imagem de referência na codificação da imagem P11 e das imagens subseqüentes. [00392] Neste caso, como um método para a atribuição de uma informação de imagem de referência a cada imagem (isto é, uma informação indicando qual das imagens candidatas de referência P7, B9 e P10, é usada como uma imagem de referência na detecção do vetor de movimento para frente), um método para a atribuição de índices de imagem de referência às imagens candidatas de referência, começando a partir daquela que é mais próxima no sentido do tempo da imagem alvo, é usado como descrito em relação à figura 3.

[00393] Isto é, um índice de imagem de referência [0] é atribuído a uma imagem candidata (imagem P10) que é imediatamente anterior à imagem alvo (imagem B11), um índice de imagem de referência [1] é atribuído a uma imagem candidata (imagem B9) que é duas imagens anterior à imagem alvo, e um índice de imagem de referência [3] é

Petição 870170060093, de 18/08/2017, pág. 107/243

103/232 atribuído a uma imagem candidata (imagem 7) que é três imagens anterior à imagem alvo.

[00394] Em seguida, um segundo exemplo de um método de gerenciamento de memória de quadro no qual as imagens candidatas de referência são separadas em imagens P e imagens B a serem gerenciadas na codificação da imagem B11 será descrito com referência à figura 12.

[00395] Uma vez que o gerenciamento de memória neste segundo exemplo é idêntico àquele no primeiro exemplo mostrado na figura 11, uma descrição repetida não é necessária.

[00396] Neste segundo exemplo, como um método para a atribuição de índices de imagem de referência, uma atribuição de índices às imagens armazenadas nas áreas de memória de imagem P é realizada com prioridade. Assim sendo, um índice de imagem de referência [0] é atribuído à imagem P10, um índice de imagem de referência [1] é atribuído à imagem P7 e um índice de imagem de referência [2] é atribuído à imagem B9.

[00397] Em seguida, um terceiro exemplo de um método de gerenciamento de memória de quadro no qual as imagens candidatas de referência são separadas em imagens P e imagens B a serem gerenciadas na codificação da imagem B11 será descrito com referência à figura 13.

[00398] Uma vez que o gerenciamento de memória neste terceiro exemplo é idêntico àquele no primeiro exemplo mostrado na figura 11, uma descrição repetida não é necessária.

[00399] Neste terceiro exemplo, como um método para a atribuição de índices de imagem de referência, uma atribuição de índices às imagens armazenadas nas áreas de memória de imagem B é realizada com prioridade. Assim sendo, um índice de imagem de referência [0] é atribuído à imagem B9, um índice de imagem de referência [1] é

Petição 870170060093, de 18/08/2017, pág. 108/243

104/232 atribuído à imagem P10 e um índice de imagem de referência [2] é atribuído à imagem P7.

[00400] Em seguida, um quarto exemplo de um método de gerenciamento de memória de quadro no qual as imagens candidatas de referência são separadas em imagens P e imagens B a serem gerenciadas na codificação da imagem B11 será descrito com referência à figura 14.

[00401] Uma vez que o gerenciamento de memória neste quarto exemplo é idêntico àquele do primeiro exemplo mostrado na figura 11, uma descrição repetida não é necessária.

[00402] Neste quarto exemplo, como um método para a atribuição de índices de imagem de referência, as imagens armazenadas na área de memória de imagem P ou as imagens armazenadas na área de memória de imagem B são selecionadas para cada imagem alvo a ser codificada, e índices de imagem de referência são dados às imagens selecionadas com prioridade.

[00403] Para ser específico, é determinado a qual dentre a memória de imagem P e a memória de imagem B devem ser atribuídos índices de imagem de referência, de acordo com o tipo da imagem candidata de referência que é mais próxima no sentido do tempo da imagem alvo a ser codificada.

[00404] Na codificação da imagem B11, uma vez que a imagem de referência à frente que é mais próxima no sentido do tempo da imagem alvo é a imagem P10, os índices de imagem de referência são atribuídos às imagens armazenadas na área de memória de imagem P com prioridade.

[00405] Assim sendo, um índice de imagem de referência [0] é atribuído à imagem P10, um índice de imagem de referência [1] é atribuído à imagem P7, e um índice de imagem de referência [2] é atribuído à imagem B9. Neste caso, uma informação indicando que os índices de

Petição 870170060093, de 18/08/2017, pág. 109/243

105/232 imagem de referência são dados às imagens armazenadas nas áreas de memória de imagem P com prioridade é descrita no cabeçalho de cada imagem.

[00406] Nos métodos de atribuição de índices de imagem de referência, quando a codificação da imagem B11 (os cinco métodos mostrados nas figuras 3 e 11 a 14), como no caso de codificação da imagem P13, quanto menor for o índice de imagem de referência, mais curto é o comprimento de um código indicando o índice de imagem de referência.

[00407] Ainda, na codificação da imagem B B11, como no caso da codificação da imagem P P13, um dos cinco métodos pode ser previamente selecionado para uso. Ainda, alguns desses métodos podem ser usados pela alternância deles. Entretanto, no caso em que vários métodos são usados pela alternância deles, é desejável que uma informação sobre os métodos sendo usados deva ser descrita como uma informação de cabeçalho ou similar.

[00408] Ainda, pela descrição, como uma informação de cabeçalho, de uma informação indicando que uma imagem B é submetida a uma codificação de previsão interimagens usando-se uma imagem à frente B como uma imagem candidata de referência, e uma informação indicando que as imagens candidatas para referência à frente, as quais são usadas na codificação da imagem B, são duas imagens I ou P e uma imagem B, é possível conhecer a capacidade de armazenamento de uma memória de quadro que é necessária na decodificação do fluxo de bits gerado no aparelho de codificação de filme 10, de acordo com a primeira modalidade. Essa informação de cabeçalho pode ser descrita no cabeçalho de toda a seqüência, no cabeçalho de cada GOP (Grupo de Imagens) compreendendo várias imagens, ou no cabeçalho de cada imagem.

[00409] Finalmente, como um método de gerenciamento de memóPetição 870170060093, de 18/08/2017, pág. 110/243

106/232 ria de quadro e um método de atribuição de informação de imagem de referência a serem empregados na codificação da imagem B12, outros métodos além daqueles mostrados na figura 3 (isto é, métodos de separação de imagens candidatas de referência em imagens P e imagens B a serem gerenciadas) serão descritos.

[00410] Uma vez que o primeiro ao terceiro exemplos mostrados nas figuras 11 a 13 são idênticos aqueles no caso da codificação da imagem B11, uma descrição repetida não é necessária.

[00411] Então, apenas um quarto exemplo de gerenciamento de imagens candidatas de referência sendo separadas em imagens P e imagens B será descrito para a imagem B12, com referência à figura 14.

[00412] Uma vez que o gerenciamento de memória neste quarto exemplo é idêntico àquele do primeiro exemplo, no qual imagens candidatas de referência são separadas em imagens P e imagens B a serem gerenciadas na codificação da imagem B11, uma descrição repetida não é necessária.

[00413] Neste quarto exemplo, quanto a um método de atribuição, para cada imagem, uma informação indicando qual das imagens candidatas de referência P7, P10 e B11 é referida na detecção do vetor de movimento para frente, um método de determinação, para cada imagem a ser codificada, às imagens candidatas armazenadas nas áreas de memória de imagem P ou às imagens candidatas armazenadas nas áreas de memória de imagem B deve ser dada prioridade, é usado. [00414] Para ser específico, na codificação da imagem B12, à qual das imagens candidatas na área de memória de imagem P e à qual na área de memória de imagem B deve ser atribuído um índice de imagem de referência com prioridade, é determinado de acordo com o tipo da imagem de referência que é mais próxima no sentido do tempo da imagem alvo.

Petição 870170060093, de 18/08/2017, pág. 111/243

107/232 [00415] Na codificação da imagem B12, uma vez que a imagem de referência à frente que é mais próxima no sentido do tempo da imagem alvo (imagem B12) é a imagem B11, às imagens armazenadas na área de memória de imagem B são atribuídos índices com prioridade. [00416] Assim sendo, um índice de imagem de referência [0] é atribuído à imagem B11, um índice de imagem de referência [1] é atribuído à imagem P10, e um índice de imagem de referência [2] é atribuído à imagem P7. Neste caso, uma informação indicando que uma atribuição de índices de imagem de referência às imagens nas áreas de memória de imagem B tem prioridade é descrita no cabeçalho de cada imagem.

[00417] Ainda, como no caso da codificação da imagem B11, é descrito, como uma informação de cabeçalho, que a imagem B é submetida a uma codificação de previsão interimagens usando-se, também, a imagem à frente B como uma imagem candidata de referência, e que artigos absorventes imagens candidatas de referência à frente usadas na codificação da imagem B são duas imagens I ou P e uma imagem B.

[00418] Mais ainda, na primeira modalidade, os cinco exemplos de métodos de gerenciamento de memória de quadro (figuras 3, 11 a 14) são descritos com respeito ao caso em que há três imagens candidatas de referência para uma imagem P, e há duas imagens P e uma imagem B como imagens candidatas de referência à frente para uma imagem B. Entretanto, cada um dos cinco exemplos de métodos de gerenciamento de memória de quadro pode ser aplicado a casos em que o número de imagens candidatas de referência é diferente daqueles mencionados para a primeira modalidade. Quando o número de imagens candidatas de referência difere daquele da primeira modalidade, a capacidade da memória de quadro difere daquela da primeira modalidade.

Petição 870170060093, de 18/08/2017, pág. 112/243

108/232 [00419] Ainda, nesta primeira modalidade, nos métodos de gerenciamento da memória de quadro na qual imagens candidatas de referência são separadas em imagens P e imagens B (quatro exemplos mostrados nas figuras 11 a 14), as imagens P são armazenadas nas áreas de memória de imagem P, enquanto as imagens B são armazenadas nas áreas de memória de imagem B. Entretanto, uma memória de imagem de curta duração e uma memória de imagem de longa duração, as quais são definidas em H.263++, podem ser usadas como áreas de memória onde as imagens são armazenadas. Por exemplo, a memória de imagem de curta duração e a memória de imagem de longa duração podem ser usadas como uma área de memória de imagem P e uma área de memória de imagem B, respectivamente.

Modalidade 2 [00420] A partir deste ponto, uma segunda modalidade da presente invenção será descrita.

[00421] A figura 15 é um diagrama de blocos para explanação de um aparelho de decodificação de filme 20, de acordo com uma segunda modalidade da presente invenção.

[00422] O aparelho de decodificação de filme 20 decodifica o fluxo de bits Bs extraído do aparelho de codificação de filme 10, de acordo com a primeira modalidade.

[00423] Para ser específico, o aparelho de decodificação de filme 20 inclui uma unidade de análise de fluxo de bits 201, para análise do fluxo de bits banco de dados, para extração de vários tipos de dados; uma unidade de decodificação de erro de previsão 202 para a decodificação de dados codificados Ed extraídos da unidade de análise de fluxo de bits 201 para o dado de erro de previsão de saída PDd; e uma unidade de decodificação de modo 223 para a extração de um sinal de controle de chave Cs com base na informação de modo (modo de codificação) Ms relativa à seleção de modo, a qual é extraída pela unidaPetição 870170060093, de 18/08/2017, pág. 113/243

109/232 de de análise de fluxo de bits 201.

[00424] O aparelho de decodificação de filme 20 ainda inclui uma memória de imagem de referência 207 para a manutenção do dado de imagem decodificado DId, e extração do dado de imagem armazenado como um dado de referência Rd ou extração de um dado de imagem Od; uma unidade de decodificação de compensação de movimento 205 para a geração de dados de previsão Pd, com base no dado (dado de imagem de referência) Rd que é lido a partir da memória de imagem de referência 207, uma informação de um vetor de movimento MV, que é extraída pela unidade de análise de fluxo de bits 201, e do modo de codificação Ms, que é extraído a partir da unidade de decodificação de modo 223; e uma unidade de adição 208 para adição do dado de previsão Pd ao dado de saída PDd, a partir da unidade de decodificação de erro de previsão 202 para a geração do dado codificado Ad.

[00425] O aparelho de decodificação de filme 20 ainda inclui uma unidade de controle de memória 204 para o controle da memória de imagem de referência 207 com um sinal de controle de memória Cm, com base na informação de cabeçalho Ih que é extraída pela unidade de análise de fluxo de bits 201; uma chave de seleção 209 posicionada entre a unidade de decodificação de erro de previsão 202 e a unidade de adição 208; e uma chave de seleção 210 posicionada entre a unidade de adição 208 e a memória de imagem de referência 207. [00426] A chave de seleção 201 tem um terminal de entrada Te e dois terminais de saída Tf1 e Tf2, e o terminal de entrada Te é conectado a um dos terminais de saída Tf1 e Tf2, de acordo com o sinal de controle de chave Cs. A chave de seleção 210 tem dois terminais de entrada Tg1 e Tg2 e um terminal de saída Th, e o terminal de saída Th é conectado a um dos terminais de entrada Tg1 e Tg2, de acordo com o sinal de controle de chave Cs. Ainda, na chave de seleção 209, o

Petição 870170060093, de 18/08/2017, pág. 114/243

110/232 dado de saída PDd da unidade de decodificação de erro de previsão 202 é aplicado ao terminal de entrada Te, e o dado de saída PDd da unidade de decodificação de erro de previsão 202 é extraído de um terminal de saída Tf1 para o terminal de entrada Tg1 da chave de seleção 210, enquanto o dado de saída PDd é extraído do outro terminal de saída Tf2 para a unidade de adição 208. Na chave de seleção 210, o dado de saída PDd da unidade de decodificação de erro de previsão 202 é aplicado a um terminal de entrada Tg1, enquanto o dado de saída Ad da unidade de adição 208 é introduzido no outro terminal de entrada Tg1, e o dado de saída PDd ou o dado de saída Ad é extraído a partir do terminal de saída Th para a memória de imagem de referência 207 como um dado de imagem decodificado DId.

[00427] Ainda, o aparelho de decodificação de filme 20 inclui uma unidade de armazenamento de vetor de movimento 226 para manutenção do vetor de movimento MV a partir da unidade de decodificação de compensação de movimento 205, e extração do vetor de movimento MV armazenado para a unidade de decodificação de compensação de movimento 205.

[00428] Em seguida, será descrita a operação.

[00429] Na descrição a seguir, uma imagem, a qual está posicionada para frente ou para trás de uma imagem alvo a ser decodificada em um eixo de tempo de exibição é referida como uma imagem a qual é para frente ou para trás no sentido do tempo da imagem alvo, ou, simplesmente, como uma imagem à frente ou uma imagem para trás. [00430] O fluxo de bits Bs gerado no aparelho de codificação de filme 10 da primeira modalidade é introduzido no aparelho de decodificação de filme 20 mostrado na figura 15. Nesta segunda modalidade, um fluxo de bits de uma imagem P é obtido ela execução de uma codificação de previsão interimagens com referência a uma imagem selecionada a partir de dentre três imagens candidatas (imagens I ou P),

Petição 870170060093, de 18/08/2017, pág. 115/243

111/232 as quais estão posicionadas próximas a e no sentido do tempo à frente ou para trás da imagem P. Ainda, um fluxo de bits de uma imagem B é obtido pela execução de uma codificação de previsão interimagens com referência a duas imagens selecionadas a partir de dentre quatro imagens candidatas posicionadas à frente ou para trás da imagem B (isto é, duas imagens à frente I ou P que estão no sentido do tempo mais próximas da imagem alvo, uma imagem B que está no sentido do tempo mais próxima da imagem alvo, e uma imagem I ou P que está posicionada no sentido do tempo para trás da imagem alvo). As quatro imagens candidatas para a imagem alvo B incluem uma outra imagem B, que está posicionada no sentido do tempo à frente da imagem alvo B.

[00431] Ainda, quais imagens candidatas são referidas quando da codificação da imagem alvo P ou de uma imagem B pode ser descrita como uma informação de cabeçalho do fluxo de bits. Assim sendo, é possível saber quais imagens são referidas quando da codificação da imagem alvo, pela extração da informação de cabeçalho na unidade de análise de fluxo de bits 201. Esta informação de cabeçalho Ih também é extraída para a unidade de controle de memória 204.

[00432] Neste caso, os dados codificados correspondente às imagens no fluxo de bits são dispostos na ordem de codificação, como mostrado na figura 16(a).

[00433] Para ser específico, os dados codificados das imagens no fluxo de bits Bs são dispostos na ordem de P4, B2, B3, P7, B5, B6, P10, B8, B9, P13, B11, B12, P16, B14 e B15. Em outras palavras, neste arranjo de imagem, as respectivas imagens são sucessivamente dispostas a partir de uma tendo um tempo de decodificação mais anterior em um eixo de tempo de decodificação Y, que indica os tempos de decodificação Tdec das imagens (arranjo na ordem de decodificação). [00434] A figura 16(b) mostra um arranjo de imagens no qual as

Petição 870170060093, de 18/08/2017, pág. 116/243

112/232 imagens dispostas na ordem de decodificação são rearranjadas na ordem de exibição. Isto é, na figura 16(b), as imagens B2, B3, P4, B5, B6, P7, B8, B9, P10, B11, B12, P13, B14, B15 e P16 são sucessivamente dispostas a partir de uma tendo um tempo de exibição mais anterior em um eixo de tempo de exibição X, que indica os tempos de exibição Tdis das respectivas imagens (arranjo na ordem de exibição). [00435] A partir deste ponto, os processos de decodificação para as imagens P13, B11 e B12 serão descritos, nesta ordem.

Processo de Decodificação para a imagem P13 [00436] O fluxo de bits da imagem P13 é introduzido na unidade de análise de fluxo de bits 201. A unidade de análise de fluxo de bits 201 extrai vários tipos de dados do fluxo de bits introduzido. Os respectivos dados são como se segue: uma informação para a seleção de modo de realização, isto é, uma informação indicando um modo de codificação Ms (a partir deste ponto referido simplesmente como um modo de codificação); uma informação indicando um vetor de movimento MV (a partir deste ponto referido simplesmente como um vetor de movimento), uma informação de cabeçalho, um dado codificado (informação de imagem) e similares. O modo de codificação Ms é extraído para a unidade de decodificação de modo 203. Ainda, o vetor de movimento MV extraído é extraído para a unidade de decodificação de compensação de movimento 205. Mais ainda, o dado codificado de erro de previsão Ed extraído pela unidade de análise de fluxo de bits 201 é extraído para a unidade de decodificação de erro de previsão 202.

[00437] A unidade de decodificação de modo 203 controla as chaves 209 e 210 com base no modo de codificação Ms extraído do fluxo de bits. Quando o modo de codificação indica uma codificação interimagens, a chave 209 é controlada de modo que o terminal de entrada Te seja conectado ao terminal de saída Tf1, e a chave 210 é controlada de modo que o terminal de saída Th seja conectado ao terminal de

Petição 870170060093, de 18/08/2017, pág. 117/243

113/232 entrada Tg1. Ainda, quando o modo de codificação indica uma codificação de previsão interimagens, a chave 209 é controlada de modo que o terminal de entrada Te seja conectado ao terminal de saída Tf2, e a chave 210 é controlada de modo que o terminal de saída Th seja conectado ao terminal de entrada Tg2. Ainda, a unidade de decodificação de modo 203 extrai o modo de codificação Ms para a unidade de decodificação de compensação de movimento 205.

[00438] A partir deste ponto, será dada uma descrição do caso em que o modo de codificação é uma codificação de previsão interimagens.

[00439] A unidade de decodificação de erro de previsão 202 decodifica o dado codificado introduzido Ed, para a geração do dado de erro de previsão PDd. O dado de erro de previsão PDd gerado é extraído para a chave 209. Neste caso, uma vez que o terminal de entrada Te da chave 209 é conectado ao terminal de saída Tf2, o dado de erro de previsão PDd é extraído para a unidade de adição 208.

[00440] A unidade de decodificação de compensação de movimento 205 executa uma compensação de movimento com base no vetor de movimento MV e no índice de imagem de referência Rp, os quais são extraídos pela unidade de análise 201, e obtém uma imagem de compensação de movimento a partir da memória de imagem de referência 207. Esta imagem de compensação de movimento é uma imagem em uma área na imagem de referência, cuja área corresponde a um bloco alvo a ser decodificado.

[00441] A imagem P13 foi codificada usando-se as imagens P4, P7 e P10 como imagens candidatas para uma referência à frente. Quando da decodificação da imagem P13, essas imagens candidatas já foram decodificadas e estão armazenadas na memória de imagem de referência 207.

[00442] Assim, a unidade de decodificação de compensação de

Petição 870170060093, de 18/08/2017, pág. 118/243

114/232 movimento 205 determina qual das imagens P4, P7 e P10 é usada como uma imagem de referência quando da codificação do bloco alvo da imagem P13. Então, a unidade de decodificação de compensação de movimento 205 obtém uma imagem em uma área na imagem de referência, cuja área corresponde ao bloco alvo, como uma imagem de compensação de movimento da memória de imagem de referência 207, com base no vetor de movimento.

[00443] A partir deste ponto, será dada uma descrição de como as imagens armazenadas na memória de imagem de referência 207 mudam com o tempo, e de um método para a determinação de uma imagem de referência, com referência à figura 3.

[00444] A memória de imagem de referência 207 é controlada pela unidade de controle de memória 204, com base em uma informação indicando que tipo de referência foi criada para a obtenção das imagens P e das imagens B (informação de imagem de referência), cuja informação é extraída a partir da informação de cabeçalho do fluxo de bits.

[00445] Como mostrado na figura 3, a memória de imagem de referência 207 tem áreas de memória (N° 1) ~ (N° 5) para cinco imagens. Quando a decodificação da imagem P13 é iniciada, as imagens B8, P4, P7, P10 e B9 são armazenadas na memória de imagem de referência 207. A imagem P13 é decodificada usando-se as imagens P4, P7 e P10 como imagens candidatas para uma imagem de referência. A imagem P13 decodificada é armazenada na área de memória, onde a imagem P8 tinha sido armazenada. A razão é como se segue. Enquanto as imagens P4, P7 e P10 são usadas como imagens candidatas para uma imagem de referência quando da decodificação da imagem P13 e das imagens seguintes, a imagem P8 não é usada como uma imagem de referência quando da decodificação dessas imagens. [00446] Na figura 3, cada imagem circulada é uma imagem (imaPetição 870170060093, de 18/08/2017, pág. 119/243

115/232 gem alvo) a qual é finalmente armazenada na memória de imagem de referência 207, quando a decodificação da imagem alvo for completada.

[00447] Neste caso, qual imagem foi referida na detecção do vetor de movimento do bloco alvo na imagem P13 pode ser determinado a partir da informação de imagem de referência que é adicionada ao vetor de movimento.

[00448] Concretamente, a informação de imagem de referência é de índices de imagem de referência, e os índices de imagem de referência são atribuídos às imagens candidatas de referência para a imagem P13. Esta atribuição dos índices de imagem de referência às imagens candidatas de referência é realizada de modo que um índice menor seja atribuído a uma imagem candidata de referência que seja no sentido do tempo mais próxima da imagem alvo (imagem P13). [00449] Para ser específico, quando a imagem P10 tiver sido referida na codificação do bloco alvo da imagem P13, uma informação indicando que a imagem candidata (imagem P10) imediatamente anterior à imagem alvo foi usada como uma imagem de referência (por exemplo, um índice de imagem de referência [0]) é descrita no fluxo de bits do bloco alvo. Ainda, quando a imagem P7 tiver sido referida na codificação do bloco alvo, uma informação indicando que a imagem candidata a qual é duas imagens anterior à imagem alvo foi usada como uma imagem de referência (por exemplo, o índice de imagem de referência [1]) é descrita no fluxo de bits do bloco alvo. Mais ainda, quando a imagem P4 tiver sido referida na codificação do bloco alvo da imagem P13, uma informação indicando que a imagem candidata a qual é três imagens anterior à imagem alvo foi usada como uma imagem de referência (por exemplo, o índice de imagem de referência [2]) é descrita no fluxo de bits do bloco alvo.

[00450] É possível conhecer qual das imagens candidatas foi usada

Petição 870170060093, de 18/08/2017, pág. 120/243

116/232 como uma imagem de referência na codificação do bloco alvo, pelo índice de imagem de referência.

[00451] Desta forma, a unidade de decodificação de compensação de movimento 205 obtém a imagem de compensação de movimento, isto é, a imagem na área da imagem de referência correspondente ao bloco alvo a partir da memória de imagem de referência 207, de acordo com o vetor de movimento e com a informação de imagem de referência.

[00452] A imagem de compensação de movimento assim gerada é extraída para a unidade de adição 208.

[00453] Ainda, quando da execução da decodificação de uma imagem P, a unidade de decodificação de compensação de movimento 205 extrai o vetor de movimento MV e a informação de imagem de referência Rp para a unidade de armazenamento de vetor de movimento 226.

[00454] A unidade de adição 208 adiciona o dado de erro de previsão PDd e o dado (dado de previsão) Pd da imagem de compensação de movimento para gerar o dado decodificado Ad. O dado decodificado Ad assim gerado é extraído como um dado de imagem decodificado DId, através da chave 210 para a memória de imagem de referência 207.

[00455] Desta forma, os blocos na imagem P13 são sucessivamente decodificados. Quando todos os blocos na imagem P13 tiverem sido decodificados, a decodificação da imagem B11 ocorre.

Processo de Decodificação para a Imagem B11 [00456] Uma vez que a unidade de análise de fluxo de bits 201, a unidade de decodificação de modo 203 e a unidade de decodificação de erro de previsão 202 operam da mesma forma que o descrito para a decodificação da imagem P13, uma descrição repetida não é necessária.

Petição 870170060093, de 18/08/2017, pág. 121/243

117/232 [00457] A unidade de decodificação de compensação de movimento 205 gera um dado de compensação de movimento a partir da informação introduzida, tal como o vetor de movimento. A unidade de análise de fluxo de bits 201 extrai o vetor de movimento e o índice de imagem de referência para a unidade de decodificação de compensação de movimento 205. A imagem P11 é obtida pela codificação de previsão, usando-se as imagens P7, B9 e P10 como imagens candidatas para uma referência à frente, e a imagem P13 como uma imagem candidata para uma referência para trás. Na decodificação da imagem alvo, essas imagens candidatas de referência já foram decodificadas, e estão armazenadas na memória de imagem de referência 207. [00458] A partir deste ponto, será dada uma descrição de como as imagens armazenadas na memória de imagem de referência 207 mudam com o tempo, e um método para a determinação de uma imagem de referência, com referência à figura 3.

[00459] A memória de imagem de referência 207 é controlada pela unidade de controle de memória 204, com base em uma informação Ih indicando que tipo de referência foi realizada na codificação das imagens P e das imagens B, cuja informação é extraída a partir da informação de cabeçalho do fluxo de bits.

[00460] Quando a decodificação da imagem P11 é iniciada, as imagens P13, P4, P7, P10 e B9 são armazenadas na memória de imagem de referência 207, como mostrado na figura 3. A imagem B11 é decodificada usando-se as imagens P7, B9 e P10 como imagens candidatas para uma referência à frente e a imagem P13 como uma imagem de referência para trás. A imagem B11 decodificada é armazenada na área de memória onde a imagem P4 foi armazenada, porque a imagem P4 não é usada como uma candidata para uma imagem de referência quando da decodificação da imagem B11 e das imagens seguintes.

Petição 870170060093, de 18/08/2017, pág. 122/243

118/232 [00461] Neste caso, qual imagem candidata foi referida na detecção do vetor de movimento para frente pode ser determinado a partir da informação de imagem de referência adicionada ao vetor de movimento.

[00462] Para ser específico, quando a imagem P10 tiver sido referida na codificação do bloco alvo da imagem B11, uma informação indicando que a imagem candidata (imagem P10) imediatamente anterior à imagem alvo foi usada como uma imagem de referência (por exemplo, um índice de imagem de referência [0]) é descrita no fluxo de bits do bloco alvo. Ainda, quando a imagem B9 tiver sido referida na codificação do bloco alvo, uma informação indicando que a imagem candidata a qual é duas imagens anterior à imagem alvo foi usada como uma imagem de referência (por exemplo, o índice de imagem de referência [1]) é descrita no fluxo de bits do bloco alvo. Mais ainda, quando a imagem P7 tiver sido referida na codificação do bloco alvo da imagem P13, uma informação indicando que a imagem candidata a qual é três imagens anterior à imagem alvo foi usada como uma imagem de referência (por exemplo, o índice de imagem de referência [2]) é descrita no fluxo de bits do bloco alvo.

[00463] Assim sendo, é possível conhecer qual das imagens candidatas foi usada como uma imagem de referência na codificação do bloco alvo, a partir do índice de imagem de referência.

[00464] Quando o modo selecionado é uma codificação de previsão bidirecional, a unidade de decodificação de compensação de movimento 205 determina qual das imagens P7, B9 e P10 foi usada para uma referência à frente, a partir do índice de imagem de referência. Então, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de compensação de movimento para frente a partir da memória de imagem de referência 207, com base no vetor de movimento para frente e, ainda, obtém uma imagem de compensação

Petição 870170060093, de 18/08/2017, pág. 123/243

119/232 de movimento para trás a partir da memória de imagem de referência 207, com base no vetor de movimento para trás.

[00465] Então, a unidade de decodificação de compensação de movimento 205 executa uma adição e uma ponderação da imagem de compensação de movimento para frente e da imagem de compensação de movimento para trás, para gerar uma imagem de compensação de movimento.

[00466] Em seguida, um processo de geração de uma imagem de compensação de movimento usando vetores de movimento para frente e para trás será descrito.

Modo de Previsão Bidirecional [00467] A figura 17 ilustra um caso em que a imagem alvo a ser decodificada é a imagem B11, e uma codificação de previsão bidirecional é realizada em um bloco (bloco alvo) BLa1 a ser decodificado na imagem B11.

[00468] Inicialmente, uma descrição será dada de um caso onde a imagem de referência à frente é a imagem P10 e a imagem de referência para trás é a imagem P13.

[00469] Neste caso, o vetor de movimento para frente é um vetor de movimento MVe01 indicando uma área CRe01 na imagem P10, cuja área corresponde ao bloco BLa01. O vetor de movimento para trás é um vetor de movimento MVg01 indicando uma área CRg01 na imagem P13, correspondente ao bloco BLa01.

[00470] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na CRe01 na imagem P10 como uma imagem de referência à frente, e uma imagem na área CRg01 na imagem P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa a adição e a ponderação de dados de imagem nas imagens em ambas as áreas CRe01 e CRg01, para a obtenção de uma imagem de compensação de moviPetição 870170060093, de 18/08/2017, pág. 124/243

120/232 mento correspondente ao bloco alvo BLa01.

[00471] Em seguida, será dada uma descrição do caso em que a imagem de referência à frente é a imagem B9 e a imagem de referência para trás é a imagem P13.

[00472] Neste caso, o vetor de movimento para frente é um vetor de movimento MVf01 indicando uma área CRf01 na imagem B9, cuja área corresponde ao bloco BLa01. O vetor de movimento para trás é um vetor de movimento MVg01 indicando uma área CRg01 na imagem P13, correspondente ao bloco BLa01.

[00473] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na CRf01 na imagem B9 como uma imagem de referência à frente, e uma imagem na área CRg01 na imagem P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa a adição e a ponderação de dados de imagem nas imagens em ambas as áreas CRf01 e CRg01, para a obtenção de uma imagem de compensação de movimento correspondente ao bloco alvo BLa01.

Modo Direto [00474] Ainda, quando o modo de codificação é o modo direto, a unidade de decodificação de compensação de movimento 205 obtém um vetor de movimento (vetor de movimento de base) de um bloco que é incluído na imagem de referência para trás P13 para a imagem alvo B11 e é posicionado relativamente na mesma posição que o bloco alvo, cujo vetor de movimento é armazenado na unidade de armazenamento de vetor de movimento 226. A unidade de decodificação de compensação de movimento 205 obtém uma imagem de referência à frente e uma imagem de referência para trás a partir da memória de imagem de referência 207, pelo uso do vetor de movimento de base. Então, a unidade de decodificação de compensação de movimento 205 executa uma adição e uma ponderação dos dados de imagem paPetição 870170060093, de 18/08/2017, pág. 125/243

121/232 ra a imagem de referência à frente e para a imagem de referência para trás, desse modo gerando uma imagem de compensação de movimento correspondente ao bloco alvo. Na descrição a seguir, um bloco em uma imagem, cuja posição relativa em respeito a uma imagem é igual àquela de um bloco específico em uma outra imagem é simplesmente referido como um bloco o qual está localizado na mesma posição que um bloco específico em uma imagem.

[00475] A figura 18(a) mostra um caso em que o bloco BLa10 na imagem B11 é decodificado no modo direto com referência à imagem P10 que é imediatamente anterior à imagem B11 (primeiro exemplo de decodificação de modo direto).

[00476] Um vetor de movimento de base a ser usado para a decodificação de modo direto do bloco BLa10 é um vetor de movimento para frente (vetor de movimento de base) MVh10 de um bloco (bloco de base) BLg10 localizado na mesma posição que o bloco BLa10, cujo bloco BLg10 é incluído na imagem (imagem de base) P13 que é referida para trás quando da decodificação do bloco BLa10. O vetor de movimento para frente MVh10 indica uma área CRh10 correspondente ao bloco de base BLg10, na imagem P10 que é imediatamente anterior à imagem B11.

[00477] Neste caso, como um vetor de movimento para frente MVk10 do bloco alvo BLa10 a ser decodificado, um vetor de movimento o qual é paralelo ao vetor de movimento de base MVh10 e indica uma área CRk10 incluída na imagem P10 e correspondente ao bloco alvo BLa10 é empregado. Ainda, como um vetor de movimento para trás MVi10 do bloco alvo BLa10 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVh10 e indica uma área CRi10 incluída na imagem P13 e correspondente ao bloco alvo BLa10 é empregado.

[00478] Assim sendo, a unidade de decodificação de compensação

Petição 870170060093, de 18/08/2017, pág. 126/243

122/232 de movimento 205 obtém uma imagem na área CRk10 da imagem de referência à frente P10 como uma imagem de referência à frente e uma imagem na área CRi10 da imagem de referência para trás P13 como uma imagem de referência para trás a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação dos dados de imagem de ambas as imagens, para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa10.

[00479] Neste caso, a magnitude (MVF) do vetor de movimento de base MVk10 e a magnitude (MVB) do vetor de movimento para trás MVi10 são obtidas pelas fórmulas (1) e (2) descritas acima, usando-se a magnitude (MVR) do vetor de movimento de base MVh10.

[00480] As magnitudes MVF e MVB dos respectivos vetores de movimento mostram a componente horizontal e a componente vertical do vetor de movimento, respectivamente.

[00481] Ainda, TRD indica uma distância de base de tempo entre a imagem de referência para trás P13 par ao bloco alvo BLa10 na imagem B11 e a imagem P10 a qual é referida para frente quando da decodificação do bloco (bloco de base) BLg10 na imagem de referência para trás (imagem de base) P13. Ainda, TRF é a distância de base de tempo entre a imagem alvo B11 e a imagem de referência imediatamente anterior P10, e TRB é a distância de base de tempo entre a imagem alvo B11 e a imagem P10, a qual é referida quando da decodificação do bloco BLg10 na imagem de referência para trás P13. [00482] A figura 18(b) mostra um caso em que um bloco BLa20 na imagem B11 é decodificado no modo direto com referência à imagem P10 que é imediatamente anterior à imagem B11 (segundo exemplo de decodificação de modo direto).

[00483] Neste segundo exemplo de decodificação de modo direto, em contraste com o primeiro exemplo de decodificação de modo direto

Petição 870170060093, de 18/08/2017, pág. 127/243

123/232 mostrado na figura 18(a), uma imagem a qual é referida para frente na decodificação do bloco de base (isto é, o bloco posicionado na mesma posição que o bloco alvo, na imagem de referência para trás para o bloco alvo) é a imagem P7.

[00484] Isto é, um vetor de movimento de base a ser usado para uma decodificação de modo direto do bloco BLa20 é um vetor de movimento para frente MVh20 de um bloco BLg20 localizado na mesma posição que o bloco BLa20, cujo bloco BLg20 é incluído na imagem P13 que é referida para trás quando da decodificação do bloco BLa20. O vetor de movimento para frente MVh20 indica uma área CRh20 correspondente ao bloco alvo BLa20 na imagem P7 que está posicionada à frente da imagem alvo B11.

[00485] Neste caso, como um vetor de movimento para frente MVk20 do bloco alvo BLa20 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVh20 e indica uma área CRk20 incluída na imagem P10 e correspondente ao bloco alvo BLa20, é empregado. Ainda, como um vetor de movimento para trás MVi20 do bloco alvo BLa20 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVh20 e indica uma área CRi20 incluída na imagem P13 e correspondente ao bloco alvo BLa20, é empregado.

[00486] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área CRk20 da imagem de referência à frente P10 como uma imagem de referência à frente, e uma imagem na área CRi20 da imagem de referência para trás P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação do dado de imagem de ambas as imagens, para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa20.

Petição 870170060093, de 18/08/2017, pág. 128/243

124/232 [00487] Neste caso, a magnitude (MVF) do vetor de movimento para frente MVk20 e a magnitude (MVB) do vetor de movimento para trás Mvi20 são obtidas pelas fórmulas (1) e (2) descritas acima, usando-se a magnitude (MVR) do vetor de movimento de base MVh20, como descrito para o primeiro exemplo de decodificação de modo direto. [00488] A figura 19(a) mostra um caso em que um bloco BLa30 na imagem B11 é decodificado no modo direto com referência à imagem P7, a qual está posicionada à frente da imagem P10 que está posicionada imediatamente anterior à imagem B11 (terceiro exemplo de decodificação de modo direto).

[00489] Neste terceiro exemplo de decodificação de modo direto, em contraste com o primeiro e o segundo exemplos de codificação de modo direto mostrados nas figuras 18(a) e 18(b), uma imagem a ser referida para frente na decodificação do bloco alvo não é uma imagem imediatamente anterior à imagem alvo, mas uma imagem que é referida para frente na decodificação do bloco alvo (um bloco na mesma posição que o bloco alvo) na imagem de base. A imagem de base é uma imagem que é referida para trás na decodificação do bloco alvo. [00490] Isto é, um vetor de movimento de base a ser usado na decodificação de modo direto do bloco BLa30 é um vetor de movimento para frente MVh30 de um bloco BLg30 localizado na mesma posição que o bloco BLa30, cujo bloco BLg30 é incluído na imagem P13 que é referida para trás na decodificação do bloco BLa30. O vetor de movimento para frente MVh30 indica uma área CRh30 correspondente ao bloco de base BLg30 na imagem P7 que está posicionada à frente da imagem alvo B11.

[00491] Neste caso, como um vetor de movimento para frente MVk30 do bloco alvo BLa30 a ser decodificado, um vetor de movimento o qual é paralelo ao vetor de movimento de base MVh30 e indica uma área CRk30 incluída na imagem P7 e correspondente ao bloco

Petição 870170060093, de 18/08/2017, pág. 129/243

125/232 alvo BLa30 é empregado. Ainda, como um vetor de movimento para trás MVi30 do bloco alvo BLa30 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVh30 e indica uma área CRi30 incluída na imagem P13 e correspondente ao bloco alvo BLa30 é empregado.

[00492] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área CRk30 da imagem de referência à frente P7 como uma imagem de referência à frente e uma imagem na área CRi30 da imagem de referência para trás P13 como uma imagem de referência para trás a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação dos dados de imagem de ambas as imagens, para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa30.

[00493] Neste caso, a magnitude (MVF) do vetor de movimento de base MVk30 e a magnitude (MVB) do vetor de movimento para trás MVi30 são obtidas pelas fórmulas (1) e (2) descritas acima, usando-se a magnitude (MVR) do vetor de movimento de base MVh30.

[00494] Quando a imagem a ser referida na decodificação do bloco BLg30 já foi apagada da memória de imagem de referência 207, a imagem de referência à frente P10 que é mais próxima no sentido do tempo da imagem alvo é usada como uma imagem de referência à frente no terceiro exemplo de decodificação de modo direto. Neste caso, o terceiro exemplo de decodificação de modo direto é idêntico ao primeiro exemplo de decodificação de modo direto.

[00495] A figura 19(b) mostra um caso em que um bloco BLa40 é decodificado no modo direto pelo uso de um vetor de movimento cuja magnitude é zero (quarto exemplo de decodificação de modo direto). [00496] Neste quarto exemplo de decodificação de modo direto, a magnitude do vetor de movimento de referência empregado no primeiPetição 870170060093, de 18/08/2017, pág. 130/243

126/232 ro e no segundo exemplos mostrados nas figuras 18(a) e 18(b) é zero. [00497] Neste caso, como um vetor de movimento para frente MVk40 e um vetor de movimento para trás MVi40 do bloco BLa40 a ser decodificado, um vetor de movimento cuja magnitude é zero é empregado.

[00498] Isto é, o vetor de movimento para frente MVk40 indica uma área (bloco) CRk40 do mesmo tamanho que o bloco alvo, cuja área é incluída na imagem P10 e posicionada na mesma posição que o bloco alvo BLa40. Ainda, o vetor de movimento para trás MVi40 indica uma área (bloco) CRi40 do mesmo tamanho que o bloco alvo, cuja área é incluída na imagem P13 e posicionada na mesma posição que o bloco alvo BLa40.

[00499] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área (bloco) CRk40 da imagem de referência à frente P10 como uma imagem de referência à frente, e uma imagem na área (bloco) CRi40 da imagem de referência para trás P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação de dados de imagem de ambas as imagens para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa40. Este método é aplicável a, por exemplo, um caso em que um bloco o qual é incluído na imagem P13 como uma imagem de referência para trás da imagem B11 e está localizado na mesma posição que o bloco BLa40 é um bloco que não tem um vetor de movimento como um bloco codificado intraquadro. [00500] O dado da imagem de compensação de movimento assim gerado é extraído para a unidade de adição 208. A unidade de adição 208 gera o dado de erro de previsão introduzido e o dado de imagem de compensação de movimento para gerar um dado de imagem decodificado. O dado de imagem decodificado assim gerado é extraído

Petição 870170060093, de 18/08/2017, pág. 131/243

127/232 através da chave 210 para a memória de imagem de referência 207, e a imagem decodificada é armazenada na memória de imagem de referência 207.

[00501] A unidade de controle de memória 204 controla a memória de imagem de referência 207 com base na informação de cabeçalho Ih indicando que tipo de referência foi realizada na codificação das imagens P e das imagens B extraídas a partir da informação de cabeçalho do fluxo de bits.

[00502] Como descrito acima, os blocos na imagem B11 são sucessivamente decodificados. Quando todos os blocos na imagem B11 foram decodificados, a decodificação da imagem B12 ocorre.

[00503] Na decodificação de imagem B descrita acima, um bloco específico é às vezes tratado como um bloco de desvio. A partir deste ponto, a decodificação de um bloco de desvio será brevemente descrita.

[00504] Quando é descoberto que um bloco específico é tratado como um bloco de desvio durante uma decodificação de um fluxo de bits introduzido, a partir do identificador de desvio ou de uma informação de número de bloco que é descrita no fluxo de bits, uma compensação de movimento, isto é, uma aquisição de uma imagem de previsão correspondente a um bloco alvo é realizada no modo direto. [00505] Por exemplo, como mostrado na figura 6(b), quando os blocos MB(r+1) e MB(r+2) entre o bloco MB(r) e o bloco MB(r+3) na imagem B11 são tratados como blocos de desvio, a unidade de análise de fluxo de bits 201 detecta o identificador de desvio Sf a partir do fluxo de bits Bs. Quando o identificador de desvio Sf é introduzido na unidade de decodificação de modo 223, a unidade de decodificação de modo 223 instrui a unidade de decodificação de compensação de movimento 205 a executar uma compensação de movimento no modo direto.

Petição 870170060093, de 18/08/2017, pág. 132/243

128/232 [00506] Então, a unidade de decodificação de compensação de movimento 205 obtém as imagens de previsão dos blocos MB(r+1) e MB(r+2), com base em uma imagem (imagem de referência à frente) de um bloco o qual é incluído na imagem de referência à frente P10 e posicionado na mesma posição que o bloco tratado como um bloco de desvio, e uma imagem (imagem de referência para trás) de um bloco na mesma posição que o bloco tratado como um bloco de desvio, e, então, extrai o dado das imagens de previsão para a unidade de adição 208. A unidade de decodificação de erro de previsão 202 extrai um dado cujo valor é zero, como um dado de diferença dos blocos tratados como blocos de desvio. Na unidade de adição 208, uma vez que o dado de diferença dos blocos tratados como blocos de desvio é zero, os dados das imagens de previsão dos blocos MB(r+1) e MB(r+2) são extraídos para a memória de imagem de referência 207 como imagens decodificadas dos blocos MB(r+1) e MB(r+2).

[00507] Mais ainda, no processamento de modo direto mostrado na figura 18(a) (primeiro exemplo), o processamento de modo direto mostrado na figura 18(b) (segundo exemplo) e o processamento de modo direto mostrado na figura 19(a) (terceiro exemplo), todos os blocos cujos dados de diferença se tornam zero não são necessariamente tratados como blocos de desvio. Isto é, um bloco alvo é submetido a uma previsão bidirecional usando-se uma imagem que está posicionada imediatamente antes da imagem alvo como uma imagem de referência à frente, e um vetor de movimento cuja magnitude é zero, e apenas quando o dado de diferença do bloco alvo se torna zero este bloco alvo pode ser tratado como um bloco de desvio.

[00508] Neste caso, quando é descoberto, a partir do identificador de desvio ou similar no fluxo de bits Bs, que um bloco específico é tratado como um bloco de desvio, uma compensação de movimento deve ser realizada por uma previsão bidirecional cujo movimento é zero,

Petição 870170060093, de 18/08/2017, pág. 133/243

129/232 usando-se uma imagem de referência imediatamente anterior como uma imagem de referência à frente.

Processo de Decodificação para a Imagem B12 [00509] Uma vez que a unidade de análise de fluxo de bits 201, a unidade de decodificação de modo 223 e a unidade de decodificação de erro de previsão 202 operam da mesma forma que o descrito para a codificação da imagem P10, uma descrição repetida não é necessária.

[00510] A unidade de decodificação de compensação de movimento 205 gera um dado de imagem de compensação de movimento a partir da informação introduzida tal como o vetor de movimento. O vetor de movimento MV e o índice de imagem de referência Rp são introduzidos na unidade de decodificação de compensação de movimento 205. A imagem P12 foi codificada usando-se as imagens P7, P10 e B11 como imagens candidatas para uma referência à frente, e a imagem P13 como uma imagem candidata para uma referência para trás. Na decodificação da imagem alvo, essas imagens candidatas já foram decodificadas, e estão armazenadas na memória de imagem de referência 207.

[00511] A mudança no sentido do tempo das imagens armazenadas na memória de imagem de referência 207, e o método para a determinação de uma imagem de referência são idênticos àqueles no caso de decodificação da imagem B11 descrito em respeito à figura 3.

[00512] Quando o modo de codificação é uma codificação de previsão bidirecional, a unidade de decodificação de compensação de movimento 205 determina qual das imagens P7, P10 e B11 foi usada para uma referência à frente, a partir do índice de imagem de referência. Então, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de referência à frente a partir da 207, com base no vetor de movimento para frente e, ainda, obtém uma imagem

Petição 870170060093, de 18/08/2017, pág. 134/243

130/232 de referência para trás a partir da memória de imagem de referência 207, com base no vetor de movimento para trás. Então, a unidade de decodificação de compensação de movimento 205 executa uma adição e uma ponderação de dados de imagem da imagem de referência para frente e da imagem de referência para trás para gerar uma imagem de compensação de movimento correspondente ao bloco alvo. Modo de Previsão Bidirecional [00513] A figura 20 ilustra um caso em que a imagem alvo a ser decodificada é a imagem B12, e uma decodificação de previsão bidirecional é realizada para um bloco (bloco alvo) BLa02 a ser decodificado na imagem B12.

[00514] Inicialmente, será dada uma descrição de um caso em que uma imagem de referência à frente é a imagem B11 e uma imagem de referência para trás é a imagem P13.

[00515] Neste caso, o vetor de movimento para frente é um vetor de movimento MVe02 indicando uma área CRe02 na imagem B11, cuja área corresponde ao bloco BLa02. O vetor de movimento para trás é um vetor de movimento MVg02 indicando uma área CRg02 na imagem P13, correspondente ao bloco BLa02.

[00516] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na CRe02 na imagem B11 como uma imagem de referência à frente, e uma imagem na área CRg02 na imagem P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa a adição e a ponderação de dados de imagem nas imagens em ambas as áreas CRe02 e CRg02, para a obtenção de uma imagem de compensação de movimento correspondente ao bloco alvo BLa02.

[00517] Em seguida, será dada uma descrição do caso em que a imagem de referência à frente é a imagem P10 e a imagem de referência para trás é a imagem P13.

Petição 870170060093, de 18/08/2017, pág. 135/243

131/232 [00518] Neste caso, o vetor de movimento para frente é um vetor de movimento MVf02 indicando uma área CRf02 na imagem P10, cuja área corresponde ao bloco BLa02. O vetor de movimento para trás é um vetor de movimento MVg02 indicando uma área CRg02 na imagem P13, correspondente ao bloco BLa02.

[00519] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na CRf02 na imagem P10 como uma imagem de referência à frente, e uma imagem na área CRg02 na imagem P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa a adição e a ponderação de dados de imagem nas imagens em ambas as áreas CRf02 e CRg02, para a obtenção de uma imagem de compensação de movimento correspondente ao bloco alvo BLa02.

Modo Direto [00520] Ainda, quando o modo de codificação é o modo direto, a unidade de decodificação de compensação de movimento 205 obtém um vetor de movimento (vetor de movimento de base) de um bloco de referência (um bloco cuja posição relativa é a mesma que aquela da posição alvo) na imagem de referência para trás P13 para a imagem alvo B12, cujo vetor de movimento é armazenado na unidade de armazenamento de vetor de movimento 226. A unidade de decodificação de compensação de movimento 205 obtém uma imagem de referência à frente e uma imagem de referência para trás a partir da memória de imagem de referência 207, pelo uso do vetor de movimento de base. Então, a unidade de decodificação de compensação de movimento 205 executa uma adição e uma ponderação dos dados de imagem para a imagem de referência à frente e para a imagem de referência para trás, desse modo gerando uma imagem de compensação de movimento correspondente ao bloco alvo.

[00521] A figura 21(a) mostra um caso em que o bloco BLa50 na

Petição 870170060093, de 18/08/2017, pág. 136/243

132/232 imagem B12 é decodificado no modo direto com referência à imagem B11 que é imediatamente anterior à imagem B12 (primeiro exemplo de decodificação de modo direto).

[00522] Um vetor de movimento de base a ser usado para a decodificação de modo direto do bloco BLa50 é um vetor de movimento para frente MVj50 do bloco de base (isto é, o bloco BLg50 localizado na mesma posição que o bloco BLa50) na imagem P13 que é referida para trás quando da decodificação do bloco BLa50. O vetor de movimento para frente MVj50 indica uma área CRj50 correspondente ao bloco de base BLg50, na imagem P10 que é imediatamente anterior à imagem B11.

[00523] Neste caso, como um vetor de movimento para frente MVk50 do bloco alvo BLa50 a ser decodificado, um vetor de movimento o qual é paralelo ao vetor de movimento de base MVj50 e indica uma área CRk50 incluída na imagem B11 e correspondente ao bloco alvo BLa50 é empregado. Ainda, como um vetor de movimento para trás MVi50 do bloco alvo BLa50 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVj50 e indica uma área CRi50 incluída na imagem P13 e correspondente ao bloco alvo BLa50 é empregado.

[00524] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área CRk50 da imagem de referência à frente B11 como uma imagem de referência à frente e uma imagem na área CRi50 da imagem de referência para trás P13 como uma imagem de referência para trás a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação dos dados de imagem de ambas as imagens, para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa50.

[00525] Neste caso, a magnitude (MVF) do vetor de movimento de

Petição 870170060093, de 18/08/2017, pág. 137/243

133/232 base MVk50 e a magnitude (MVB) do vetor de movimento para trás MVi50 são obtidas pelas fórmulas (1) e (2) descritas acima, usando-se a magnitude (MVR) do vetor de movimento de base MVh10.

[00526] As magnitudes MVF e MVB dos respectivos vetores de movimento mostram a componente horizontal e a componente vertical do vetor de movimento, respectivamente.

[00527] A figura 21(b) mostra um caso em que um bloco BLa60 na imagem B12 é decodificado no modo direto com referência à imagem B11 que é imediatamente anterior à imagem B12 (segundo exemplo de decodificação de modo direto).

[00528] Neste segundo exemplo de decodificação de modo direto, em contraste com o primeiro exemplo de decodificação de modo direto mostrado na figura 21(a), uma imagem a qual é referida para frente na decodificação do bloco de base (isto é, o bloco posicionado na mesma posição que o bloco alvo, na imagem de referência para trás para o bloco alvo) é a imagem P7.

[00529] Isto é, um vetor de movimento de base a ser usado para uma decodificação de modo direto do bloco BLa60 é um vetor de movimento para frente MVj60 do bloco referência (o bloco BLg60 localizado na mesma posição que o bloco BLa60) na imagem P13 que é referida para trás quando da decodificação do bloco BLa60. O vetor de movimento para frente MVj60 indica uma área CRj60 correspondente ao bloco alvo BLa60 na imagem P7 que está posicionada à frente da imagem alvo B12.

[00530] Neste caso, como um vetor de movimento para frente MVk60 do bloco alvo BLa60 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVj60 e indica uma área CRk60 incluída na imagem B11 e correspondente ao bloco alvo BLa60, é empregado. Ainda, como um vetor de movimento para trás MVi60 do bloco alvo BLa60 a ser decodificado, um vetor de moviPetição 870170060093, de 18/08/2017, pág. 138/243

134/232 mento, o qual é paralelo ao vetor de movimento de base MVj60 e indica uma área CRi60 incluída na imagem P13 e correspondente ao bloco alvo BLa60, é empregado.

[00531] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área CRk60 da imagem de referência à frente B11 como uma imagem de referência à frente, e uma imagem na área CRi60 da imagem de referência para trás P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação do dado de imagem de ambas as imagens, para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa60.

[00532] Neste caso, a magnitude (MVF) do vetor de movimento para frente MVk60 e a magnitude (MVB) do vetor de movimento para trás MVi60 são obtidas pelas fórmulas (1) e (2) descritas acima, usando-se a magnitude (MVR) do vetor de movimento de base MVj60, como descrito para o primeiro exemplo de decodificação de modo direto.

[00533] A figura 22(a) mostra um caso em que um bloco BLa70 na imagem B12 é decodificado no modo direto com referência à imagem P7, a qual está posicionada à frente da imagem P10 que está posicionada mais próxima da imagem B12 (terceiro exemplo de decodificação de modo direto).

[00534] Neste terceiro exemplo de decodificação de modo direto, em contraste com o primeiro e o segundo exemplos de codificação de modo direto mostrados nas figuras 21(a) e 21(b), uma imagem a ser referida para frente na decodificação do bloco alvo não é uma imagem imediatamente anterior à imagem alvo, mas uma imagem que é referida para frente na decodificação do bloco de base na imagem de base. A imagem de base é uma imagem que é referida para trás na decodificação do bloco alvo.

Petição 870170060093, de 18/08/2017, pág. 139/243

135/232 [00535] Isto é, um vetor de movimento de base a ser usado na decodificação de modo direto do bloco BLa70 é um vetor de movimento para frente MVj70 de um bloco BLg70 localizado na mesma posição que o bloco BLa70 (um bloco na mesma posição que o bloco BLa70) na imagem P13 que é referida para trás na decodificação do bloco BLa70. O vetor de movimento para frente MVj70 indica uma área CRj70 correspondente ao bloco de base BLg70 na imagem P7 que está posicionada à frente da imagem alvo B12.

[00536] Neste caso, como um vetor de movimento para frente MVk70 do bloco alvo BLa70 a ser decodificado, um vetor de movimento o qual é paralelo ao vetor de movimento de base MVj70 e indica uma área CRk70 incluída na imagem P7 e correspondente ao bloco alvo BLa70 é empregado. Ainda, como um vetor de movimento para trás MVi70 do bloco alvo BLa70 a ser decodificado, um vetor de movimento, o qual é paralelo ao vetor de movimento de base MVj70 e indica uma área CRi70 incluída na imagem P13 e correspondente ao bloco alvo BLa70 é empregado.

[00537] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área CRk70 da imagem de referência à frente P7 como uma imagem de referência à frente e uma imagem na área CRi70 da imagem de referência para trás P13 como uma imagem de referência para trás a partir da memória de imagem de referência 207, e executa uma adição e uma ponderação dos dados de imagem de ambas as imagens, para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa70.

[00538] Neste caso, a magnitude (MVF) do vetor de movimento de base MVk70 e a magnitude (MVB) do vetor de movimento para trás MVi70 são obtidas pelas fórmulas (1) e (2) descritas acima, usando-se a magnitude (MVR) do vetor de movimento de base MVj70.

Petição 870170060093, de 18/08/2017, pág. 140/243

136/232 [00539] Quando a imagem a ser referida na decodificação do bloco BLg70 já foi apagada da memória de imagem de referência 207, a imagem de referência à frente P10 que é mais próxima no sentido do tempo da imagem alvo é usada como uma imagem de referência à frente no terceiro exemplo de decodificação de modo direto. Neste caso, o terceiro exemplo de decodificação de modo direto é idêntico ao primeiro exemplo de decodificação de modo direto.

[00540] A figura 22(b) mostra um caso em que um bloco BLa80 é decodificado no modo direto pelo uso de um vetor de movimento cuja magnitude é zero (quarto exemplo de decodificação de modo direto). [00541] Neste quarto exemplo de decodificação de modo direto, a magnitude do vetor de movimento de referência empregado no primeiro e no segundo exemplos mostrados nas figuras 21(a) e 21(b) é zero. [00542] Neste caso, como um vetor de movimento para frente MVk80 e um vetor de movimento para trás MVi80 do bloco BLa80 a ser decodificado, um vetor de movimento cuja magnitude é zero é empregado.

[00543] Isto é, o vetor de movimento para frente MVk80 indica uma área (bloco) CRk80 do mesmo tamanho que o bloco alvo, cuja área é incluída na imagem B11 e posicionada na mesma posição que o bloco alvo BLa80. Ainda, o vetor de movimento para trás MVi80 indica uma área (bloco) CRi80 do mesmo tamanho que o bloco alvo, cuja área é incluída na imagem P13 e posicionada na mesma posição que o bloco alvo BLa80.

[00544] Assim sendo, a unidade de decodificação de compensação de movimento 205 obtém uma imagem na área (bloco) CRk80 da imagem de referência à frente P10 como uma imagem de referência à frente, e uma imagem na área (bloco) CRi80 da imagem de referência para trás P13 como uma imagem de referência para trás, a partir da memória de imagem de referência 207, e executa uma adição e uma

Petição 870170060093, de 18/08/2017, pág. 141/243

137/232 ponderação de dados de imagem de ambas as imagens para a obtenção de uma imagem de compensação de movimento (imagem de previsão) correspondente ao bloco alvo BLa80. Este método é aplicável a, por exemplo, um caso em que um bloco o qual é incluído na imagem P13 como uma imagem de referência para trás da imagem B11 e está localizado na mesma posição que o bloco BLa80 é um bloco que não tem um vetor de movimento como um bloco codificado intraquadro. [00545] O dado da imagem de compensação de movimento assim gerado é extraído para a unidade de adição 208. A unidade de adição 208 adiciona o dado de erro de previsão introduzido e o dado de imagem de compensação de movimento para gerar um dado de imagem decodificado. O dado de imagem decodificado assim gerado é extraído através da chave 210 para a memória de imagem de referência 207. [00546] Como descrito acima, os blocos na imagem B12 são sucessivamente decodificados. Os dados de imagem das respectivas imagens armazenadas na memória de imagem de referência 207 são rearranjados na ordem de tempo para serem extraídos como os dados de imagem de saída Od.

[00547] Após isso, as imagens seguindo-se à imagem B12, as quais são dispostas nos tempos de ordem de decodificação, como mostrado na figura 16(a), são sucessivamente decodificados de acordo com o tipo de imagem, da mesma maneira que a descrita para as imagens P13, B11 e B12. A figura 16(b) mostra as imagens rearranjadas na ordem de tempos de exibição.

[00548] Durante a decodificação do fluxo de bits introduzido, se for descoberto que um bloco específico é tratado como um bloco de desvio, a partir do identificador de desvio ou de uma informação de número de bloco que é descrita no fluxo de bits, uma compensação de movimento, isto é, uma aquisição de uma imagem de previsão correspondente a um bloco alvo é realizada no modo direto, como no caso

Petição 870170060093, de 18/08/2017, pág. 142/243

138/232 da decodificação da imagem B11.

[00549] Como descrito acima, o aparelho de decodificação de filme 20 de acordo com a segunda modalidade, quando da decodificação de um bloco em uma imagem B, uma imagem de previsão correspondente ao bloco alvo é gerada usando-se uma imagem já decodificada P e uma imagem já decodificada B como imagens candidatas para uma referência à frente, com base em uma informação (índice de imagem de referência) indicando imagens candidatas as quais são referidas à frente na codificação do bloco alvo, cuja informação é incluída no fluxo de bits correspondente ao bloco alvo a ser decodificado. Portanto, é possível corretamente decodificar uma imagem alvo B a qual foi codificada usando-se uma imagem B como uma imagem candidata para uma referência à frente.

[00550] Ainda, no aparelho de decodificação de filme 20, quando um bloco alvo a ser decodificado o qual é incluído em uma imagem B foi codificado no modo direto, um vetor de movimento do bloco alvo é calculado com base em um vetor de movimento de um bloco que está posicionado na mesma posição que o bloco alvo. Portanto, não é necessário que a extremidade de decodificação obtenha uma informação indicando o vetor de movimento do bloco codificado no modo direto a partir da extremidade de codificação.

[00551] Mais ainda, no aparelho de decodificação de filme 20, os dados das imagens já decodificadas, os quais estão armazenados na memória de imagem de referência, são gerenciados com base na informação indicando as imagens candidatas as quais são usadas na codificação de imagens P e imagens B, cuja informação é incluída como uma informação de cabeçalho no fluxo de bits. Por exemplo, ao se completar a decodificação de uma imagem, os dados de imagens as quais não são usadas como imagens de referência na decodificação das imagens a seguir são sucessivamente apagados, por meio do que

Petição 870170060093, de 18/08/2017, pág. 143/243

139/232 a memória de imagem pode ser usada com eficiência.

[00552] Ainda, quando da decodificação de um bloco alvo em uma imagem P, é possível determinar qual de várias imagens candidatas é usada como uma imagem de referência (isto é, qual das imagens candidatas é referida na detecção do vetor de movimento do bloco alvo a ser decodificado) a partir da informação de imagem de referência adicionada à informação de vetor de movimento.

[00553] Da mesma forma, quando da decodificação de um bloco alvo em uma imagem B, é possível determinar qual das várias imagens candidatas para uma referência à frente é usada como uma imagem de referência (isto é, qual das imagens candidatas é referida na detecção do vetor de movimento para frente do bloco alvo a ser decodificado) a partir de uma informação de imagem de referência adicionada à informação de vetor de movimento.

[00554] Embora nesta segunda modalidade o modo direto seja usado como um dos vários modos de codificação para imagens B, o modo direto não é necessariamente usado como o modo de codificação para imagens B. Neste caso, a unidade de armazenamento de vetor de movimento 226 no aparelho de decodificação de filme 20 é dispensada.

[00555] Ainda, embora nesta segunda modalidade quatro métodos específicos sejam descritos como exemplos de modo direto (isto é, o primeiro exemplo mostrado na figura 18(a) ou 21(a), o segundo exemplo mostrado na figura 18(b) ou 21(b), o terceiro exemplo mostrado na figura 19(a) ou 22(a) e o quarto exemplo mostrado na figura 19(b) ou 22(b)), o aparelho de decodificação executa uma decodificação usando um método adequado para um método de codificação o qual é usado como um modo direto pelo aparelho de codificação. Mais especificamente, quando vários métodos são empregados como um modo direto, o aparelho de decodificação executa uma decodificação usando

Petição 870170060093, de 18/08/2017, pág. 144/243

140/232 uma informação indicando qual dos vários métodos é usado como um modo direto específico, que é descrito no fluxo de bits.

[00556] Neste caso, a operação da unidade de decodificação de compensação de movimento 205 varia de acordo com a informação. Por exemplo, quando esta informação é adicionada em unidades de bloco para compensação de movimento, a unidade de decodificação de modo 223 determina qual dos quatro métodos mencionados acima é usado como um modo direto na codificação, e notifica a unidade de decodificação de compensação de movimento 205 do método determinado. A unidade de decodificação de compensação de movimento 205 executa uma decodificação de previsão de compensação de movimento apropriada de acordo com o método determinado de modo direto.

[00557] Ainda, quando a informação (informação de modo DM) indicando qual dos vários métodos é usado como um modo direto é descrita no cabeçalho de toda a seqüência, no cabeçalho de GOP, no cabeçalho de imagem ou no cabeçalho de fatia, a informação de modo DM é transferida para cada seqüência, GOP, imagem ou fatia, a partir da unidade de análise de fluxo de bits 201 para a unidade de decodificação de compensação de movimento 205, e a unidade de decodificação de compensação de movimento 205 muda a operação.

[00558] Embora nesta segunda modalidade duas imagens B estejam posicionadas entre uma imagem I e uma imagem P ou interimagens P adjacentes, o número de imagens B contínuas pode ser três ou quatro.

[00559] Ainda, embora nesta segunda modalidade três imagens sejam usadas como imagens candidatas para uma imagem de referência à frente para uma imagem P, o número de imagens candidatas de referência para uma imagem P pode ser outro além de três.

[00560] Mais ainda, embora nesta segunda modalidade duas imaPetição 870170060093, de 18/08/2017, pág. 145/243

141/232 gens I ou P e uma imagem B sejam usadas como imagens candidatas para uma imagem de referência à frente na decodificação de uma imagem B, imagens candidatas de referência à frente na decodificação de uma imagem B não são restritas a isso.

[00561] Mais ainda, nesta segunda modalidade, como um método para o gerenciamento da memória de imagem de referência na decodificação da imagem P13, da imagem B11 e da imagem B12, um método de gerenciamento coletivo das imagens P e das imagens B a serem usadas como candidatas de uma imagem de referência, como mostrado na figura 3, é descrito. Entretanto, o método de gerenciamento de memória de imagem de referência pode ser qualquer um dos quatro métodos, os quais são descritos para a primeira modalidade com referência às figuras 11 a 14, onde todas as imagens a serem usadas como candidatas para uma imagem de referência são separadas em imagens P e imagens B a serem gerenciadas.

[00562] Neste caso, a memória de imagem de referência 207 tem áreas de memória para seis imagens, isto é, áreas de memória de imagem P (N° 1) a (N° 4), e áreas de memória de imagem B (N° 1) e (N° 2). Ainda, essas seis áreas de memória não são necessariamente formadas em uma memória de imagem de referência, mas cada uma das seis áreas de memória pode ser constituída por uma memória de imagem de referência independente.

[00563] Ainda, quando a extremidade de codificação emprega um método de atribuição de índice de imagem de referência onde é determinado, para cada imagem a ser codificada, a qual dentre a área de memória de imagem P e a área de memória de imagem B é dada uma prioridade na atribuição de índices de imagem de referência como mostrado na figura 14, o aparelho de decodificação de filme pode facilmente identificar uma imagem a qual é usada como uma imagem de referência dentre várias imagens candidatas, com base nos índices de

Petição 870170060093, de 18/08/2017, pág. 146/243

142/232 imagem de referência, pelo uso de uma informação descrita no fluxo de bits, a qual indica a área de memória tendo prioridade.

[00564] Por exemplo, quando a imagem alvo a ser decodificada é a imagem B11, uma vez que a imagem de referência à frente que é mais próxima no sentido do tempo da imagem alvo é a imagem P10, os índices de imagem de referência são atribuídos às imagens armazenadas na memória de imagem P com prioridade. Assim sendo, um índice de imagem de referência [0] é adicionado como uma informação de cabeçalho ao fluxo de bits do bloco alvo, quando a imagem P10 é usada como uma imagem de referência na codificação do bloco alvo da imagem B11. Da mesma forma, um índice de imagem de referência [1] é adicionado como uma informação de cabeçalho quando a imagem P7 é usada como uma imagem de referência, e um índice de imagem de referência [2] é adicionado como uma informação de cabeçalho quando a imagem B9 é usada como uma imagem de referência. Assim sendo, o aparelho de decodificação de filme pode conhecer qual imagem candidata é usada como uma imagem de referência na codificação do bloco alvo, de acordo com o índice de imagem de referência.

[00565] Neste caso, uma vez que uma informação indicando que índices de imagem de referência são atribuídos a imagens candidatas na memória de imagem P com prioridade é incluída como uma informação de cabeçalho no fluxo de bits, uma identificação da imagem de referência é mais facilitada pelo uso desta informação.

[00566] Ainda, quando a imagem alvo a ser decodificada é a imagem B12, uma vez que a imagem de referência à frente que é mais próxima no sentido do tempo é a imagem B11, os índices de imagem de referência são atribuídos às imagens armazenadas na memória de imagem B com prioridade. Assim sendo, um índice de imagem de referência [0] é adicionado como uma informação de cabeçalho ao fluxo

Petição 870170060093, de 18/08/2017, pág. 147/243

143/232 de bits do bloco alvo, quando a imagem B11 é usada como uma imagem de referência na codificação do bloco alvo da imagem B12. Da mesma forma, um índice de imagem de referência [1] é adicionado como uma informação de cabeçalho quando a imagem P10 é usada como uma imagem de referência, e um índice de imagem de referência [2] é adicionado como uma informação de cabeçalho quando a imagem P7 é usada como uma imagem de referência. Assim sendo, o aparelho de decodificação de filme pode conhecer qual imagem candidata é usada como uma imagem de referência na codificação do bloco alvo, de acordo com o índice de imagem de referência.

[00567] Neste caso, uma vez que uma informação indicando que índices de imagem de referência são atribuídos a imagens candidatas na memória de imagem B com prioridade é incluída como uma informação de cabeçalho no fluxo de bits, uma identificação da imagem de referência é mais facilitada pelo uso desta informação.

[00568] Mais ainda, há casos em que, na extremidade de codificação, um dos cinco métodos mencionados acima para o gerenciamento da memória de imagem de referência (referência às figuras 3, 11 a 14) é previamente selecionado, ou alguns desses cinco métodos são usados pela alternância deles. Por exemplo, quando a extremidade de codificação emprega alguns dos vários métodos pela alternância deles, o aparelho de decodificação de filme pode determinar o índice de imagem de referência, de acordo com uma informação indicando qual método é usado para cada imagem, que é descrito no fluxo de bits.

[00569] Ainda, nesta segunda modalidade, os cinco métodos para o gerenciamento da memória de imagem de referência (referência às figuras 3, 11 a 14) são descritos para o caso em que há três imagens candidatas de referência para uma imagem P e há duas imagens P e uma imagem B como imagens candidatas de referência à frente para uma imagem B. Entretanto, os cinco métodos para o gerenciamento

Petição 870170060093, de 18/08/2017, pág. 148/243

144/232 da área de memória de referência também são aplicáveis a casos em que o número de imagens candidatas de referência é diferente daquele mencionado acima. Quando o número de imagens candidatas de referência é diferente daquele mencionado para a segunda montagem, a capacidade da memória de imagem de referência também é diferente daquela descrita para a segunda montagem.

[00570] Mais ainda, nesta segunda modalidade, no método de gerenciamento da memória de imagem de referência onde as candidatas de referência são separadas em imagens P e imagens B (quatro exemplos mostrados nas figuras 11 a 14), as imagens P são armazenadas na área de memória de imagem P enquanto as imagens B são armazenadas na área de memória de imagem B. Entretanto, uma memória de imagem de curta duração e uma memória de imagem de longa duração, as quais são definidas em H.263++, podem ser usadas como uma área de memória de imagem P e uma área de memória de imagem B, respectivamente.

Modalidade 3 [00571] A figura 23 é um diagrama de blocos que ilustra um aparelho de codificação de filme 30 de acordo com uma terceira modalidade da presente invenção.

[00572] O aparelho de codificação de filme 30 pode alternar, de acordo com um sinal de controle suprido a partir do exterior, um método para a atribuição de índices de imagem de referência a imagens candidatas, entre um método de atribuição de índices de imagem de referência a imagens candidatas de acordo com uma regra inicializada (método de atribuição padrão) e um método de atribuição adaptativo, de atribuição de índices de imagem de referência a imagens candidatas pelo método de atribuição padrão e, ainda, mudando adaptativamente os índices de imagem de referência atribuídos, de acordo com o status de codificação.

Petição 870170060093, de 18/08/2017, pág. 149/243

145/232 [00573] Para ser específico, um modo de operação do aparelho de codificação de filme 30 de acordo com a terceira modalidade é a operação do aparelho de codificação de filme 10 de acordo com a primeira modalidade. Em outras palavras, quando o método de atribuição padrão é selecionado como um método de atribuição de índice de imagem de referência do aparelho de codificação de filme 30, o aparelho de codificação de filme 30 executa o mesmo processamento que aquele do aparelho de codificação de filme 10.

[00574] A partir deste ponto, o aparelho de codificação de filme 30 será descrito em detalhes.

[00575] O aparelho de codificação de filme 30 é provido com uma unidade de controle de codificação 130, ao invés de com a unidade de controle de codificação 110 do aparelho de codificação de filme 10, de acordo com a primeira modalidade. A unidade de controle de codificação 130 alterna, de acordo com um sinal de controle externo Cont, um método para a atribuição de índices de imagem de referência a imagens candidatas, de acordo com uma regra inicializada (método de atribuição padrão), e um método incluindo uma primeira etapa de atribuição de índices de imagem de referência a imagens candidatas pelo método de atribuição padrão, e uma segunda etapa de mudança adaptativa dos índices de imagem de referência os quais são atribuídos às imagens candidatas pelo método de atribuição padrão (método de atribuição adaptativo).

[00576] Ainda, a unidade de controle de codificação 130 inclui uma unidade de detecção (não mostrada) a qual detecta, para cada imagem alvo a ser codificada, uma eficiência de codificação em um caso onde cada uma das várias imagens candidatas de referência é usada como uma imagem de referência. A unidade de controle de codificação 130 muda o índice de imagem de referência o qual é atribuído a cada imagem candidata pelo método de atribuição padrão, de acordo com a

Petição 870170060093, de 18/08/2017, pág. 150/243

146/232 eficiência de codificação detectada pela unidade de detecção.

[00577] Mais especificamente, a unidade de controle de codificação 130 muda o índice de imagem de referência o qual é atribuído a cada imagem candidata pelo método de atribuição padrão, de modo que, dentre as várias imagens candidatas para uma imagem alvo, a uma imagem candidata a qual provê uma eficiência de codificação mais alta da imagem alvo quando for usada como uma imagem de referência seja dado um índice de imagem de referência menor.

[00578] Então, a unidade de seleção de modo 139 seleciona, no modo direto, uma imagem a que é atribuído um índice de imagem de referência [0], como uma imagem de referência à frente para um bloco alvo. Em um outro modo de codificação de previsão além do modo direto, tal como um modo de codificação de previsão bidirecional, a unidade de seleção de modo 139 seleciona uma imagem de referência a partir de dentre várias imagens candidatas de acordo com a eficiência de codificação.

[00579] Outros componentes do aparelho de codificação de filme 30 de acordo com a terceira modalidade são idênticos àqueles do aparelho de codificação de filme 10 de acordo com a primeira modalidade. [00580] A partir deste ponto, a operação será descrita.

[00581] No aparelho de codificação de filme 30, quando o método de atribuição padrão é selecionado como um método para a atribuição de índices de imagem de referência a imagens candidatas de acordo com o sinal de controle externo Cont, a operação do aparelho de codificação de filme 30 é idêntica à operação do aparelho de codificação de filme 10 de acordo com a primeira modalidade.

[00582] Por outro lado, quando o método de atribuição adaptativo é selecionado como um método para a atribuição de índices de imagem de referência a imagens candidatas de acordo com o sinal de controle externo Cont, o aparelho de codificação de filme 30 executa, na priPetição 870170060093, de 18/08/2017, pág. 151/243

147/232 meira etapa, uma atribuição de índices de imagem de referência da mesma maneira que a descrita para o aparelho de codificação de filme 10.

[00583] Quando o método de atribuição adaptativo é selecionado, o aparelho de codificação de filme 30 executa, na segunda etapa, uma mudança adaptativa dos índices de imagem de referência que são atribuídos pelo método de atribuição padrão.

[00584] A partir deste ponto, será dada uma descrição de métodos específicos de atribuição de vários índices, no caso em que o método de atribuição adaptativo é selecionado. Na descrição a seguir, é assumido que uma imagem alvo é a imagem B12.

[00585] Inicialmente, na primeira etapa, como mostrado na figura 3, os índices de imagem de referência são atribuídos a imagens candidatas para uma referência à frente, de modo que um índice de imagem de referência menor seja atribuído a uma imagem candidata que é mais próxima da imagem alvo. Isto é, um índice de imagem de referência [1] é atribuído à imagem de referência P10, um índice de imagem de referência [0] é atribuído à imagem de referência B11 e um índice de imagem de referência [2] é atribuído à imagem de referência P7.

[00586] Em seguida, na segunda etapa, como mostrado na figura 24, o índice de imagem de referência [1] da imagem de referência P10 é mudado para [0], e o índice de imagem de referência [0] da imagem de referência B11 é mudado para [1].

[00587] Essa reescrita de índices de imagem de referência é realizada para cada imagem alvo, de acordo com a eficiência de codificação. Ainda, o aparelho de codificação de filme 30 insere uma informação indicando qual dentre o método de atribuição padrão e o método de atribuição adaptativo é estabelecido como um método de atribuição, como uma informação de cabeçalho, no fluxo de bits. Ainda,

Petição 870170060093, de 18/08/2017, pág. 152/243

148/232 quando o método de atribuição adaptativo é estabelecido, uma informação indicando como a atribuição de índices de imagem de referência é realizada, esta também é inserida como uma informação de cabeçalho no fluxo de bits.

[00588] Como descrito acima, nesta terceira modalidade, o índice de imagem de referência da imagem candidata a qual é usada como a imagem de referência à frente no modo de direção, pode ser mudado para [0].

[00589] Isto é, uma vez que, na primeira modalidade, um índice de imagem de referência menor é dado a uma imagem candidata de referência que é mais próxima no sentido do tempo da imagem alvo, apenas a imagem B11 que é mais próxima no sentido do tempo da imagem alvo B12 pode ser referida no modo direto. Nesta terceira modalidade, contudo, qualquer outra imagem além da imagem B11 mais próxima da imagem alvo B12 pode ser usada como uma imagem de referência à frente, se a eficiência de codificação for melhorada.

[00590] Ainda, neste caso, uma vez que a imagem a ser referida na codificação da imagem B12 no modo direto não é a imagem B11, mas a imagem B10, a decodificação da imagem B11 se torna desnecessária. Assim sendo, como mostrado na figura 25(a), uma imagem B imediatamente após uma imagem P pode ser processada sem a decodificação dela, desse modo uma aceleração da decodificação sendo obtida, quando a imagem B11 não for necessária. Ainda, uma vez que a decodificação pode ser realizada mesmo quando os dados da imagem B11 são perdidos, devido a um erro de transmissão ou similar, a confiabilidade da decodificação é melhorada.

[00591] Como descrito acima, quando um índice de imagem de referência pode ser arbitrariamente atribuído a uma imagem candidata para intencionalmente se determinar uma imagem a ser referida no modo direto, uma imagem predeterminada pode ser processada sem a

Petição 870170060093, de 18/08/2017, pág. 153/243

149/232 decodificação dela, como mostrado na figura 25(a).

[00592] Mais ainda, mesmo quando três imagens B estão posicionadas interimagens P, como mostrado na figura 25(b), uma imagem predeterminada pode ser processada sem a decodificação dela. Portanto, uma imagem que não é necessária pelo usuário é previamente conhecida na extremidade de codificação, essa imagem pode ser omitida para redução do tempo de processamento na decodificação. [00593] Na figura 25(b), mesmo quando a imagem B3 não é decodificada, outras imagens podem ser decodificadas.

[00594] Isto é, no método de atribuição da primeira modalidade, uma vez que a imagem B4 refere-se à imagem B3 no modo direto, a imagem B3 deve ser decodificada para a decodificação da imagem B4. Nesta terceira modalidade, contudo, uma vez que uma imagem a ser referida no modo direto pode ser arbitrariamente estabelecida, a decodificação da imagem B3 pode ser dispensada.

[00595] Mais ainda, nesta terceira modalidade, a atribuição de índices de imagem de referência é realizada de modo que um índice de imagem de referência menor seja atribuído a uma imagem candidata que é mais próxima no sentido do tempo da imagem alvo, e uma imagem de referência a ser usada no modo direto é determinada de acordo com os índices de imagem de referência. Portanto, a eficiência de codificação pode ser melhorada por uma redução no vetor de movimento e, ainda, o tempo de processamento pode ser reduzido.

[00596] Mais ainda, quando o bloco alvo é processado no modo direto na extremidade de decodificação, uma vez que a imagem candidata de referência à frente, à qual o índice de imagem de referência [0] é atribuído é imediatamente usada como uma imagem de referência, o tempo de decodificação pode ser reduzido.

[00597] Mais ainda, embora nesta terceira modalidade uma imagem candidata, cujo índice de imagem de referência deve ser mudado para

Petição 870170060093, de 18/08/2017, pág. 154/243

150/232 [0] seja determinada de acordo com a eficiência de codificação, um índice de imagem de referência de uma imagem, a qual é mais provável de ser referida, por exemplo, uma imagem P que é mais próxima no sentido do tempo da imagem alvo, pode ser mudado para [0]. [00598] Mais ainda, embora nesta terceira modalidade uma imagem a ser referida no modo direto seja uma imagem, cujo índice de imagem de referência é [0], a presente invenção não está restrita a isso. Por exemplo, uma informação indicando que uma imagem é para ser referida no modo direto é codificada, e a decodificação pode ser realizada no modo direto, com base nesta informação.

Modalidade 4 [00599] A figura 26 é um diagrama de blocos para explanação de um aparelho de decodificação de filme 40 de acordo com uma quarta modalidade da presente invenção.

[00600] O aparelho de decodificação de filme 40 recebe o fluxo de bits extraído do aparelho de codificação de filme 30 da terceira modalidade, e executa uma codificação de cada imagem, com base na informação indicando qual dentre o método de atribuição padrão e o método de atribuição adaptativo deve ser usado quando da atribuição de índices de imagem de referência (informação de instrução de método de atribuição), cuja informação é incluída no fluxo de bits.

[00601] Isto é, um modo de operação do aparelho de decodificação de filme 40 de acordo com a quarta modalidade é a operação do aparelho de decodificação de filme 20 de acordo com a segunda modalidade. Em outras palavras, quando o método de atribuição padrão é usado como um método de atribuição de índice de imagem de referência no aparelho de decodificação de filme 40, a operação do aparelho de decodificação de filme 40 é idêntica àquela do aparelho de decodificação de filme 20.

[00602] A partir deste ponto, o aparelho de decodificação de filme

Petição 870170060093, de 18/08/2017, pág. 155/243

151/232 será descrito em detalhes.

[00603] O aparelho de decodificação de filme 40 é provido com uma unidade de controle de memória 244, ao invés de com a unidade de controle de memória 204 do aparelho de decodificação de filme 20, de acordo com a segunda modalidade. A unidade de controle de memória 244 executa um gerenciamento de memória de acordo com o método de atribuição padrão ou com o método de atribuição adaptativo, com base na informação de instrução de método de atribuição incluída no fluxo de bits como uma informação de cabeçalho.

[00604] Os outros componentes do aparelho de decodificação de filme 40 de acordo com a quarta modalidade são idênticos àqueles do aparelho de decodificação de filme 20 de acordo com a segunda montagem.

[00605] A partir deste ponto, a operação será descrita.

[00606] O aparelho de decodificação de filme 40 opera de acordo com a informação de instrução de método de atribuição que é incluída como uma informação de cabeçalho no fluxo de bits suprido a partir do aparelho de codificação de filme 30.

[00607] Isto é, quando o método de atribuição padrão é selecionado como um método de atribuição de índice de imagem de referência na extremidade de codificação, isto é, quando uma informação indicando que o método de atribuição padrão é selecionado é incluída no fluxo de bits, o aparelho de decodificação de filme 40 opera da mesma maneira que o aparelho de decodificação de filme 20 da segunda modalidade.

[00608] Por outro lado, quando o método de atribuição adaptativo é selecionado como um método de atribuição de informação indicando o tamanho na extremidade de codificação, isto é, quando uma informação indicando que o método de atribuição adaptativo é selecionado é incluída no fluxo de bits, o aparelho de decodificação de filme 40 opera

Petição 870170060093, de 18/08/2017, pág. 156/243

152/232 de acordo com o método de atribuição adaptativo. Neste caso, uma vez que uma informação indicando como a atribuição de índices de imagem de referência é realizada também é incluída como uma informação de cabeçalho no fluxo de bits, a atribuição de índices de imagem de referência é realizada de acordo com esta informação.

[00609] A partir deste ponto, será dada uma descrição da operação do aparelho de decodificação de filme 40 no caso em que o método de atribuição adaptativo é selecionado.

[00610] Na memória de imagem de referência 207, como mostrado na figura 24, imagens candidatas de referência armazenadas na respectiva área de memória são reescritas a cada vez que uma imagem alvo é processada.

[00611] Para ser específico, quando a imagem alvo a ser decodificada é a imagem B12, a decodificação de um bloco alvo na imagem B12 é realizada com referência a uma imagem de referência que é selecionada a partir das imagens candidatas de acordo com a informação de cabeçalho do bloco alvo.

[00612] Por exemplo, quando o modo de decodificação para o bloco alvo é o modo de previsão bidirecional, uma imagem candidata à qual é dado o mesmo índice de imagem de referência que o índice de imagem de referência que está incluído na informação de cabeçalho do bloco alvo, é selecionada como uma imagem de referência à frente a partir de dentre as imagens candidatas P10, B11 e P7. Quando o índice de imagem de referência incluído na informação de cabeçalho do bloco alvo é [1], a imagem candidata B11 é selecionada como uma imagem de referência à frente. Então, o bloco alvo é submetido a uma decodificação de previsão bidirecional com referência à imagem candidata B11 como uma imagem de referência à frente, e a imagem P13 como uma imagem de referência para trás.

[00613] Ainda, quando o modo de decodificação do bloco alvo é o

Petição 870170060093, de 18/08/2017, pág. 157/243

153/232 modo direto, uma imagem candidata (imagem P10) à qual é dado o índice de imagem de referência [0] é selecionada como uma imagem de referência à frente dentre as imagens candidatas P7, P10 e B9. Então, o bloco alvo é decodificado com referência à imagem candidata P10 como uma imagem de referência à frente, e a imagem P13 como uma imagem de referência para trás.

[00614] Como descrito acima, de acordo com a quarta montagem, a memória de imagem de referência 207 é gerenciada como mostrado na figura 24, isto é, um gerenciamento de memória é realizado usando-se, como índices de imagem de referência das respectivas imagens candidatas, aqueles obtidos pela mudança dos índices de imagem de referência atribuídos pelo método de atribuição padrão, de acordo com o status de codificação. Portanto, é possível realizar um método de decodificação adaptativo a um método de codificação, no qual os índices de imagem de referência das imagens candidatas são reescritos de acordo com a eficiência de codificação.

[00615] Isto é, uma vez que, na segunda montagem, um índice de imagem de referência menor é dado a uma imagem candidata de referência que é mais próxima no sentido do tempo da imagem alvo, apenas a imagem B11 que é mais próxima no sentido do tempo da imagem alvo B12 pode ser usada com uma imagem de referência no modo direto. Nesta quarta modalidade, contudo, uma outra imagem além da imagem B11 mais próxima da imagem alvo B12 pode ser usada como uma imagem de referência à frente.

[00616] Ainda, neste caso, uma vez que a imagem a ser referida na decodificação de um bloco na imagem B12 no modo direto não é a imagem B11, mas a imagem B10, a decodificação da imagem B11 se torna desnecessária. Assim sendo, como mostrado na figura 25(a), uma imagem B imediatamente após uma imagem P pode ser processada sem a decodificação dela, por meio do que uma aceleração de

Petição 870170060093, de 18/08/2017, pág. 158/243

154/232 decodificação é obtida, quando a imagem B11 não é necessária. Ainda, uma vez que a decodificação pode ser realizada mesmo quando os dados da imagem B11 são perdidos, devido a um erro de transmissão ou similar, a confiabilidade de decodificação é melhorada.

[00617] Como descrito acima, quando um índice de imagem de referência a ser atribuído a cada imagem candidata de referência é arbitrariamente selecionado de acordo com o status de codificação para se determinar, intencionalmente, uma imagem a ser referida no modo direto, uma imagem predeterminada pode ser processada, sem a decodificação dela, como mostrado na figura 25(a).

[00618] Mais ainda, mesmo quando três imagens B estão posicionadas interimagens P, como mostrado na figura 25(b), uma imagem predeterminada pode ser processada, sem a decodificação dela. Portanto, se uma imagem que não é necessária para o usuário é previamente conhecida na extremidade de codificação, essa imagem pode ser omitida, para a redução do tempo de processamento para a decodificação.

[00619] Na figura 25(b), mesmo quando a imagem B3 não é decodificada, outras imagens podem ser decodificadas.

[00620] Isto é, uma vez que, na segunda modalidade, a imagem B4 é decodificada com referência à imagem B3 no modo direto, a imagem B3 deve ser decodificada. Nesta quarta modalidade, contudo, uma vez que uma imagem a ser referida no modo direto é arbitrariamente estabelecida, a decodificação da imagem B3 pode ser dispensada.

[00621] Mais ainda, quando o bloco alvo é processado no modo direto na extremidade de decodificação, uma vez que a imagem candidata de referência à frente à qual o índice de imagem de referência [0] é atribuído é imediatamente usada como uma imagem de referência, o tempo de decodificação pode ser reduzido.

[00622] Embora na primeira à quarta modalidades uma imagem B

Petição 870170060093, de 18/08/2017, pág. 159/243

155/232 não seja referida quando da codificação ou da decodificação de uma imagem P, uma imagem B pode ser referida quando da codificação ou da decodificação de uma imagem P.

[00623] Ainda, embora na primeira à quarta modalidades uma distância de base de tempo interimagens seja calculada de acordo com os tempos de exibição das respectivas imagens, ela pode ser calculada de acordo com uma outra informação além da informação de tempo, tal como os tempos de exibição de imagens.

[00624] Por exemplo, um valor de contador, que é incrementado a cada vez que uma imagem é processada, é estabelecido, e uma distância de base de tempo interimagens pode ser calculada de acordo com este valor de contagem.

[00625] Para ser específico, quando uma informação de tempo é incluída em ambos um fluxo de vídeo e um fluxo de áudio correspondente a um conteúdo único, não é fácil gerenciar dados de vídeo e dados de áudio com base na informação de tempo, de modo a ser manter uma sincronização entre esses dados, porque uma unidade de informação de tempo é pequena. Entretanto, um gerenciamento considerando a sincronização entre os dados de vídeo e os dados de áudio é facilitado pelo arranjo de gerenciamento das respectivas imagens com o valor do contador.

[00626] Mais ainda, na primeira à quarta modalidades, uma seção de cabeçalho e uma seção de dados em uma unidade de processamento de dados, tal como um GOP ou uma imagem, não são separadas uma da outra, e elas são incluídas em um fluxo de bits correspondente a cada unidade de processamento de dados a ser transferida. Entretanto, a seção de cabeçalho e a seção de dados podem ser separadas uma da outra para serem transferidas em fluxos diferentes. [00627] Por exemplo, quando um fluxo é transferido em unidades de transferência de dados, tais como pacotes, para os quais o fluxo é

Petição 870170060093, de 18/08/2017, pág. 160/243

156/232 dividido, uma seção de cabeçalho e uma seção de dados correspondentes a uma imagem podem ser transferidas separadamente uma da outra. Neste caso, a seção de cabeçalho e a seção de dados nem sempre são incluídas no mesmo fluxo. Entretanto, em uma transferência de dados usando pacotes, mesmo quando a seção de cabeçalho e a seção de dados não são continuamente transferidas, a seção de cabeçalho e a seção de dados correspondentes são meramente transferidas em pacotes diferentes, e a relação entre a seção de cabeçalho e a seção de dados correspondentes é armazenada na informação de cabeçalho de cada pacote e, portanto, é substancialmente idêntica àquela em que a seção de cabeçalho e a seção de dados são incluídas no mesmo fluxo de bits.

[00628] Mais ainda, embora na primeira à quarta modalidades os índices de imagem de referência sejam usados como uma informação para a identificação de qual das várias imagens candidatas de referência é referida na codificação de um bloco alvo, os índices de imagem de referência podem ser usados como uma informação indicando as posições de várias imagens candidatas de referência à frente para uma imagem alvo a ser codificada ou decodificada. Para ser específico, nos métodos de atribuição de índice de imagem de referência de acordo com a primeira e a segunda modalidades ou os métodos de atribuição padrão de acordo com a terceira e a quarta modalidades, os índices de imagem de referência são atribuídos a várias imagens candidatas de referência, de modo que um índice de imagem de referência menor seja atribuído a uma imagem candidata mais próxima da imagem alvo e, portanto, a posição de cada imagem candidata de referência à frente (isto é, a fileira ordinal de cada imagem candidata de referência à frente nas proximidades da imagem alvo, dentre todas as imagens candidatas de referência à frente) pode ser detectada de acordo com o índice de imagem de referência atribuído à imagem

Petição 870170060093, de 18/08/2017, pág. 161/243

157/232 candidata de referência à frente.

[00629] Mais ainda, uma informação de identificação de posição indicando as posições das respectivas imagens que constituem um filme no eixo de tempo de exibição podem ser incluídas no fluxo de bits correspondente ao filme, separadamente dos índices de imagem de referência indicando as posições relativas de imagens candidatas de referência à frente. A informação de identificação de posição é diferente da informação de tempo indicando os tempos de exibição de imagens, e é uma informação que especifica as posições relativas das respectivas imagens.

[00630] Mais ainda, na primeira à quarta modalidades, uma imagem que é para ser referida para frente quando da codificação de um bloco em uma imagem alvo a ser codificada ou decodificada (imagem de referência para trás para uma imagem alvo) é usada como uma imagem de base no modo direto. Entretanto, uma imagem de base a ser usada no modo direto pode ser uma outra imagem já processada além da imagem de referência para trás para a imagem alvo, por exemplo, uma imagem a ser referida para frente quando da codificação do bloco na imagem alvo.

Modalidade 5 [00631] A figura 27 é um diagrama de blocos para explanação de um aparelho de codificação de filme 50 de acordo com uma quinta modalidade da presente invenção.

[00632] O aparelho de codificação de filme 50 de acordo com a quinta modalidade é diferente do aparelho de codificação de filme 10 de acordo com a primeira modalidade nas imagens candidatas para imagens de referência à frente a serem referidas quando da codificação de uma imagem P e de uma imagem B, e modos de codificação para uma imagem B.

[00633] Isto é, o aparelho de codificação de filme 50 é provido, ao

Petição 870170060093, de 18/08/2017, pág. 162/243

158/232 invés da unidade de controle 110 e da unidade de seleção de modo 109, de acordo com a primeira modalidade, com uma unidade de controle 150 e uma unidade de seleção de modo 159, as quais operam de maneiras diferentes daquelas descritas para a primeira modalidade. [00634] Para ser específico, a unidade de controle 150 de acordo com a quinta modalidade controla uma memória de imagem de referência 117 de modo que, quando da codificação de uma imagem P, quatro imagens (imagens I ou P), as quais estão posicionadas à frente da imagem P, sejam usadas como as imagens candidatas para uma referência à frente, e quando da codificação de uma imagem B, quatro imagens (imagens I ou P), as quais estão posicionadas à frente da imagem B, uma imagem à frente B que está mais próxima da imagem B, e uma imagem para trás I ou P sejam usadas como imagens candidatas.

[00635] Ainda, quando da codificação de um bloco (bloco alvo) em uma imagem P, a unidade de seleção de modo 159 de acordo com a quinta modalidade seleciona, como um modo de codificação para o bloco alvo, um dentre a codificação intra-imagem, a codificação de previsão interimagens usando-se um vetor de movimento, e a codificação de previsão interimagens não se usando um vetor de movimento (um movimento é tratado como zero). Quando da codificação de um bloco (bloco alvo) em uma imagem B, a unidade de seleção de modo 159 seleciona, como um modo de codificação para o bloco alvo, um dentre a codificação intra-imagem, a codificação de previsão interimagens usando-se um vetor de movimento para frente, a codificação de previsão interimagens usando-se um vetor de movimento para trás, e a codificação de previsão interimagens usando-se um vetor de movimento para frente e um vetor de movimento para trás. Isto é, a unidade de seleção de modo 159 do aparelho de codificação de filme 50 de acordo com esta quinta modalidade é diferente da unidade de seleção

Petição 870170060093, de 18/08/2017, pág. 163/243

159/232 de modo 109 do aparelho de codificação de filme 10 de acordo com a primeira modalidade apenas pelo fato de ela não usar o modo direto, e, portanto, o aparelho de codificação de filme 50 não tem a unidade de armazenamento de vetor de movimento 116 do aparelho de codificação de filme 10.

[00636] Ainda, o aparelho de codificação de filme 50 de acordo com a quinta modalidade é idêntico ao aparelho de codificação de filme 10 de acordo com a primeira modalidade, exceto pela unidade de controle 150 e pela unidade de seleção de modo 159.

[00637] Em seguida, a operação será descrita.

[00638] As imagens de entrada são armazenadas na memória de quadro 101, em unidades de imagens em ordem de tempos de exibição. Como mostrado na figura 29(a), as imagens de entrada P0, B1, B2, P3, B4, B5, P6, B7, B8, P9, B10, B11, P12, B13, B14, P15, B16, B17 e P18 são armazenadas na memória de quadro 101 na ordem de tempos de exibição.

[00639] As respectivas imagens armazenadas na memória de quadro 101 são rearranjadas na ordem de codificação, como mostrado na figura 29(b). Este rearranjo é realizado de acordo com as relações entre as imagens alvo e as imagens de referência durante uma codificação de previsão interimagens. Isto é, o rearranjo das imagens de entrada é realizado de modo que uma segunda imagem a ser usada como uma candidata para uma imagem de referência quando da codificação de uma primeira imagem deva ser codificada antes da primeira imagem.

[00640] Nesta quinta modalidade, quando da codificação de uma imagem P (imagem alvo), quatro imagens (imagens I ou P), as quais são posicionadas no sentido do tempo à frente e próximas da imagem alvo, são usadas como candidatas para uma imagem de referência. Ainda, quando da codificação de uma imagem B, quatro imagens

Petição 870170060093, de 18/08/2017, pág. 164/243

160/232 (imagens I ou P), as quais são posicionadas no sentido do tempo à frente e próximas da imagem alvo, uma imagem B a qual está posicionada no sentido do tempo à frente e próxima da imagem alvo, e uma imagem I ou P a qual está posicionada no sentido do tempo para trás e mais próxima da imagem alvo, são usadas como candidatas para uma imagem de referência.

[00641] As respectivas imagens rearranjadas na memória de imagem de entrada 101 são lidas para cada unidade de compensação de movimento. Nesta quinta modalidade, a unidade de compensação de movimento é uma área retangular (macrobloco) na qual os pixels são dispostos em uma matriz, tendo um tamanho de 16 pixels na direção horizontal x 16 pixels na direção vertical. Na descrição a seguir, um macrobloco é simplesmente referido como um bloco.

[00642] A partir deste ponto, os processos de codificação para as imagens P15, B13 e B14 serão descritos nesta ordem.

Processo de Codificação para imagem P15 [00643] Uma vez que a imagem P15 é uma imagem P, esta imagem é submetida a uma codificação de previsão interimagens usandose uma referência à frente. Ainda, na codificação de uma imagem P, nenhuma imagem B é usada como uma imagem de referência.

[00644] A figura 28 mostra a maneira de gerenciamento de imagem na memória de imagem de referência 117.

[00645] Por exemplo, no começo de codificação da imagem P15, na memória de imagem de referência 117, as imagens P12, B11, P9, P6 e P3 são armazenadas em áreas de memória às quais os números de memória lógica são atribuídos, em ordem ascendente dos números de memória lógica. Essas imagens já foram codificadas, e os dados de imagem armazenados na memória de imagem de referência 117 são dados de imagem os quais foram decodificados no aparelho de codificação de filme 50. A partir deste ponto, para simplificação, uma imaPetição 870170060093, de 18/08/2017, pág. 165/243

161/232 gem cujo dado de imagem é armazenado na memória é referida como uma imagem armazenada na memória.

[00646] Às imagens candidatas de referência armazenadas na memória de imagem de referência 117 são atribuídos índices de imagem de referência sob o controle da unidade de controle de codificação 150. A atribuição de índices de imagem de referência é realizada não na ordem de codificação de imagem, mas na ordem de tempos de exibição. Para ser específico, um índice de imagem de referência menor é atribuído a uma imagem candidata de referência mais nova, isto é, uma imagem candidata de referência a qual é posterior na ordem de exibição. Entretanto, na codificação de uma imagem P, nenhum índice de imagem de referência é atribuído às imagens B. Ainda, na codificação de uma imagem B, a uma imagem candidata de referência mais nova é atribuído um código [b] indicando que esta imagem deve ser tratada como uma imagem de referência para trás.

[00647] De acordo com o método de determinação de índice de imagem de referência mencionado acima, como mostrado na figura 28, os índices de imagem de referência [0], [1], [2] e [3] são atribuídos às imagens P12, P9, P6 e P3, respectivamente, e nenhum índice de imagem de referência é atribuído à imagem B11.

[00648] A propósito, na codificação de uma imagem P, a unidade de controle de codificação 150 controla as respectivas chaves de modo que as chaves 113, 114 e 115 estejam LIGADAS. Um bloco na imagem P15 que é lido a partir da memória de imagem de entrada 101 é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 109 e na unidade de cálculo de diferença 102.

[00649] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento do bloco na imagem P15, usando as imagens P12, P9, P6 e P3, às quais os índices de imagem de referência são

Petição 870170060093, de 18/08/2017, pág. 166/243

162/232 atribuídos, dentre as imagens armazenadas na memória de imagem de referência 117. Neste caso, uma imagem candidata de referência ótima é selecionada a partir de dentre as imagens P12, P9, P6 e P3, e a detecção do vetor de movimento é realizada com referência à imagem de referência selecionada. Então, o vetor de movimento detectado é extraído para a unidade de seleção de modo 159 e para a unidade de geração de fluxo de bits 104. Ainda, uma informação Rp indicando qual das imagens P12, P9, P6 e P3 é referida na detecção do vetor de movimento, isto é, o índice de imagem de referência, também é extraída para a unidade de seleção de modo 159.

[00650] A unidade de seleção de modo 159 determina um modo de codificação para o bloco na imagem P15, usando o vetor de movimento detectado pela unidade de detecção de vetor de movimento 108. O modo de codificação indica um método para a codificação do bloco. Por exemplo, para um bloco em uma imagem P, um modo de codificação é selecionado a partir de dentre a codificação intra-imagem, a codificação de previsão interimagens usando um vetor de movimento, e a codificação de previsão interimagens não usando nenhum vetor de movimento (isto é, o movimento é considerado como 0). Geralmente, uma seleção de um modo de codificação é realizada de modo que um erro de codificação em uma quantidade predeterminada de bits seja minimizado.

[00651] O modo de codificação Ms determinado pela unidade de seleção de modo 159 é extraído para a unidade de geração de fluxo de bits 104. Ainda, quando o modo de codificação determinado é o modo de codificação o qual executa uma referência à frente, o índice de imagem de referência também é extraído para a unidade de geração de fluxo de bits 104.

[00652] Ainda, uma imagem de previsão Pd, a qual é obtida com base no modo de codificação determinado pela unidade de seleção de

Petição 870170060093, de 18/08/2017, pág. 167/243

163/232 modo 152 é extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106. Entretanto, quando a codificação intraimagem é selecionada, nenhuma imagem de previsão Pd é extraída. Ainda, quando a codificação intra-imagem é selecionada, a chave 111 é controlada de modo que o terminal de entrada Ta seja conectado ao terminal de saída Tb2, e a chave 112 é controlada de modo que o terminal de saída Td seja conectado ao terminal de entrada Tc2.

[00653] A partir deste ponto, será dada uma descrição de um caso em que a codificação de previsão interimagens é selecionada na unidade de seleção de modo 109. Uma vez que as operações da unidade de cálculo de diferença 102, da unidade de codificação de erro de previsão 103, da unidade de geração de fluxo de bits 104 e da unidade de decodificação de erro de previsão 105 são idênticas àquelas mencionadas para a primeira modalidade, uma descrição de repetição não é necessária.

[00654] Quando a codificação de todos os blocos na imagem P15 está completa, a unidade de controle de codificação 150 atualiza os números de memória lógica e os índices de imagem de referência correspondentes às imagens armazenada na memória de imagem de referência 117.

[00655] Isto é, uma vez que a imagem codificada P15 é posterior na ordem de tempos de exibição do que quaisquer imagens armazenadas na memória de imagem de referência 117, a imagem P15 é armazenada na área de memória na qual o número de memória lógica (0) foi regulado. Então, os números de memória lógica das áreas de memória onde outras imagens de referência já tinham sido armazenadas são incrementados por 1. Ainda, uma vez que a próxima imagem alvo a ser codificada é a imagem B13 que é uma imagem B, um índice de imagem de referência também é atribuído à imagem B11. Desse modo, as imagens P15, P12, B11, P9, P6 e P3 são armazenadas nas

Petição 870170060093, de 18/08/2017, pág. 168/243

164/232 áreas de memória nas quais os números de memória lógica (0) ~ (5) são estabelecidos, respectivamente, e os índices de imagem de referência [0], [1], [2], [3] e [4] são atribuídos às imagens P12, B11, P9, P6 e P3, respectivamente. Uma vez que a próxima imagem alvo é uma imagem B, à imagem P15 armazenada na área de memória do número de memória lógica 0 é atribuído um código [b] indicando que esta imagem é tratada como uma imagem de referência para trás ao invés do índice de imagem de referência.

Processo de Codificação para a imagem B13 [00656] Uma vez que a imagem B13 é uma imagem B, esta imagem é submetida a uma codificação de previsão interimagens usandose uma referência bidirecional. Neste caso, quatro imagens I ou P, as quais no sentido do tempo são próximas da imagem alvo, e uma imagem B, a qual no sentido do tempo é mais próxima da imagem alvo são usadas como imagens candidatas para uma referência à frente, e uma imagem I ou P, a qual no sentido do tempo é mais próxima da imagem alvo é usada como uma imagem candidata para uma referência para trás. Assim sendo, as imagens candidatas para uma referência à frente para a imagem B13 são as imagens P12, B11, P9, P6 e P3, e a imagem candidata para uma referência para trás para a imagem B13 é a imagem P15. Essas imagens candidatas de referência são armazenadas na memória de imagem de referência 117. A essas imagens candidatas de referência são atribuídos números de memória lógica e índices de imagem de referência, como mostrado na figura 28. [00657] Na codificação de uma imagem B, a unidade de controle de codificação 150 controla as respectivas chaves de modo que as chaves 113, 114 e 115 estejam LIGADAS. Assim sendo, um bloco na imagem B11 que é lido a partir da memória de imagem de entrada 101 é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 109 e na unidade de cálculo de diferença

Petição 870170060093, de 18/08/2017, pág. 169/243

165/232

102.

[00658] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento para frente e um vetor de movimento para trás do bloco na imagem B13, usando as imagens P12, B11, P9, P6 e P3 armazenadas na memória de imagem de referência 117 como imagens candidatas para uma referência à frente, e a imagem P15 como uma imagem candidata para uma referência para trás. Neste caso, a imagem ótima é selecionada a partir de dentre as imagens P12, B11, P9, P6 e P3 e a detecção do vetor de movimento para frente é realizada com referência à imagem selecionada. Então, o vetor de movimento detectado é extraído para a unidade de seleção de modo 159 e para a unidade de geração de fluxo de bits 104. Ainda, uma informação Rp indicando qual das imagens P12, B11, P9, P6 e P3 é referida na detecção do vetor de movimento, isto é, o índice de imagem de referência, também é extraída para a unidade de seleção de modo 159. [00659] As operações da unidade de controle de codificação 150, da unidade de cálculo de diferença 102, da unidade de geração de fluxo de bits 104 e da unidade de decodificação de erro de previsão 105 são idênticas àquelas para a codificação da imagem P15.

[00660] Quando a codificação de todos os blocos na imagem B13 está completa, a unidade de controle de codificação 150 atualiza os números de memória lógica e os índices de imagem de referência correspondentes às imagens armazenadas na memória de imagem de referência 117.

[00661] Isto é, uma vez que a imagem B13 está posicionada, na ordem de tempos de exibição, antes da imagem P15 armazenada na memória de imagem de referência 117 e depois da imagem P12 armazenada na memória de imagem de referência 17, a imagem B13 é armazenada na área de memória na qual o número de memória lógica (1) é estabelecido. Ainda, uma vez que a imagem B11 não é usada

Petição 870170060093, de 18/08/2017, pág. 170/243

166/232 como uma imagem de referência na codificação das imagens subseqüentes, a imagem B11 é apagada. Neste momento, uma informação indicando que a imagem B11 é apagada da memória de imagem de referência é extraída para a unidade de geração de fluxo de bits 104 como um sinal de controle Cs1. A unidade de geração de fluxo de bits 104 descreve esta informação como uma informação de cabeçalho no fluxo de bits. Ainda, o número de memória lógica da área de memória correspondente à imagem P12 é incrementado por um.

[00662] A próxima imagem alvo a ser codificada é a imagem B14 como uma imagem B. Assim sendo, a imagem armazenada na área de memória com o número de memória lógica (0) é usada como uma imagem de referência para trás, e os índices de imagem de referência são atribuídos às outras imagens. Desse modo, as imagens P15, B13, P12, P9, P6 e P3 são armazenadas nas áreas de memória correspondentes aos números de memória lógica (0) ~ (5) são estabelecidos, respectivamente, e os índices de imagem de referência [0], [1], [2], [3] e [4] são atribuídos às imagens B13, P12, P9, P6 e P3, respectivamente.

Processo de Codificação para a Imagem B14 [00663] Uma vez que a imagem B14 é uma imagem B, esta imagem é submetida a uma codificação de previsão interimagens usandose uma referência bidirecional. Como as imagens de referência para a imagem B14, as imagens B13, P12, P9, P6 e P3 são usadas como as imagens de referência à frente enquanto a imagem P15 é usada como uma imagem de referência para trás. No processamento de uma imagem B, a unidade de controle de codificação 150 controla as respectivas chaves de modo que as chaves 113, 114 e 115 estejam LIGADAS. Assim sendo, um bloco na imagem B14 que é lido a partir da memória de imagem de entrada 101 é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 109 e na

Petição 870170060093, de 18/08/2017, pág. 171/243

167/232 unidade de cálculo de diferença 102.

[00664] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento para frente e um vetor de movimento para trás do bloco na imagem B14, usando as imagens B13, P12, P9, P6 e P3 armazenadas na memória de imagem de referência 117 como imagens candidatas para uma referência à frente, e a imagem P15 como uma imagem candidata para uma referência para trás. Neste caso, a imagem ótima é selecionada a partir de dentre as imagens B13, P12, P9, P6 e P3, e a detecção do vetor de movimento para frente é realizada com referência à imagem selecionada. Então, o vetor de movimento detectado é extraído para a unidade de seleção de modo 159 e para a unidade de geração de fluxo de bits 104. Ainda, uma informação Rp indicando qual das imagens B13, P12, P9, P6 e P3 é referida na detecção do vetor de movimento, isto é, o índice de imagem de referência, também é extraída para a unidade de seleção de modo 159. [00665] As operações da unidade de relação de modo 109, da unidade de cálculo de diferença 102, da unidade de geração de fluxo de bits 104 e da unidade de decodificação de erro de previsão 105 e da unidade de adição 106 são idênticas àquelas para a codificação da imagem P15.

[00666] Quando a codificação de todos os blocos na imagem B14 está completa, a unidade de controle de codificação 150 atualiza os números de memória lógica e os índices de imagem de referência correspondentes às imagens armazenadas na memória de imagem de referência 117.

[00667] Isto é, uma vez que a imagem B14 está posicionada, na ordem de tempos de exibição, antes da imagem P15 armazenada na memória de imagem de referência 117 e depois da imagem B13 armazenada na memória de imagem de referência 117, a imagem B14 é armazenada na área de memória na qual o número de memória lógica

Petição 870170060093, de 18/08/2017, pág. 172/243

168/232 (1) é estabelecido. Ainda, uma vez que a imagem B13 não é usada como uma imagem de referência na codificação das imagens subseqüentes, a imagem B13 é apagada. Neste momento, uma informação indicando que a imagem B13 é apagada da memória de imagem de referência é extraída para a unidade de geração de fluxo de bits 104 como um sinal de controle Cd1. A unidade de geração de fluxo de bits 104 descreve esta informação como uma informação de cabeçalho no fluxo de bits.

[00668] A próxima imagem alvo a ser codificada é a imagem P18 que é uma imagem P. Assim sendo, os índices de imagem de referência são atribuídos às imagens que não imagens B. Desse modo, as imagens P15, B14, P12, P9 e P6 são armazenadas nas áreas de memória correspondentes aos números de memória lógica (0) a (5) são estabelecidos, respectivamente, e os índices de imagem de referência [0], [1], [2] e [3] são atribuídos às imagens P15, P12, P9 e P6, respectivamente.

[00669] Como descrito acima, de acordo com a quinta modalidade, a várias imagens candidatas para imagem de referência à frente para uma imagem alvo a ser codificada são atribuídos índices de imagem de referência, de modo que um índice menor seja atribuído a uma imagem candidata cujo tempo de exibição é mais posterior (isto é, uma informação identificando qual das imagens candidatas é usada na detecção do vetor de movimento para frente do bloco alvo). Portanto, a uma imagem candidata a qual é mais provável de ser selecionada como uma imagem de referência dentre as várias imagens candidatas é atribuído um índice de imagem de referência menor. Assim sendo, a quantidade de códigos dos índices de imagem de referência pode ser minimizada, resultando em um aumento na eficiência de codificação. [00670] A partir deste ponto, os efeitos desta quinta modalidade serão descritos, considerando-se um caso em que uma codificação de

Petição 870170060093, de 18/08/2017, pág. 173/243

169/232 uma imagem B é realizada usando-se outras imagens B como uma imagem candidata de referência, juntamente com os problemas da técnica anterior.

[00671] Por exemplo, é assumido que as imagens de um filme estejam dispostas na ordem de exibição, como mostrado na figura 29(a) e quatro imagens P e uma imagem B são usadas como imagens candidatas para uma referência à frente na codificação de uma imagem alvo.

[00672] A figura 30 mostra um exemplo de gerenciamento de imagens armazenadas na memória de imagem de referência. As imagens candidatas são armazenadas na ordem de codificação na memória. [00673] Quando da codificação da imagem P15, na memória de imagem de referência, as imagens B11, P12, P9, P6 e P3 são armazenadas nas áreas de memória, em ordem ascendente de números de memória lógica. Ainda, a essas imagens candidatas são atribuídos os índices de imagem de referência [0], [1], [2], [3] e [4], respectivamente. Portanto, um índice de imagem de referência é atribuído a uma imagem B (imagem B11 neste caso), a qual é usada como uma imagem de referência na codificação de uma imagem P, e um índice de imagem de referência a não ser usado causa uma degradação na eficiência de codificação.

[00674] Ainda, quando da codificação da imagem B13, na memória de imagem de referência, as imagens P15, B11, P12, P9, P6 e P3 são armazenadas nas áreas de memória, em ordem ascendente de números de memória lógica. À imagem P15 é atribuído um código [b] indicando que esta imagem é usada como uma imagem de referência para trás, e às imagens remanescentes são atribuídos os índices de imagem de referência [0], [1], [2], [3] e [4], respectivamente. Portanto, o índice de imagem de referência atribuído à imagem B11 que é mais distante no sentido do tempo da imagem B13 (imagem alvo) é menor

Petição 870170060093, de 18/08/2017, pág. 174/243

170/232 do que o índice de imagem de referência atribuído à imagem P12 que é mais próxima no sentido do tempo da imagem alvo B13. Na execução de uma detecção de movimento, geralmente, uma imagem candidata que é mais próxima no sentido do tempo de uma imagem alvo é mais provável de ser usada como uma imagem de referência. Assim sendo, quando o índice de imagem de referência da imagem B11 que é mais distante da imagem alvo é menor do que o índice de imagem de referência da imagem P12 que está próxima da imagem alvo, a eficiência de codificação é degradada.

[00675] Mais ainda, quando da codificação da imagem B14, na memória de imagem de referência, as imagens B13, P15, B11, P12, P9 e P6 são armazenadas nas áreas de memória, em ordem ascendente de números de memória lógica. À imagem B13 é atribuído um código [b] indicando que esta imagem é usada como uma imagem de referência para trás, e às imagens remanescentes são atribuídos os índices de imagem de referência [0], [1], [2], [3] e [4], respectivamente. Portanto, a imagem P15 a qual deve ser usada, na realidade, como uma imagem candidata para uma referência para trás para a imagem B14, é usada como uma imagem candidata para uma referência à frente. Mais ainda, a imagem B13 a qual deve ser usada na realidade como uma imagem candidata para uma referência à frente para a imagem B14, é usada como uma imagem candidata para uma referência para trás. Como resultado, torna-se difícil executar uma codificação correta. Ainda, na codificação da imagem B14, a imagem B11 a qual não é usada como uma imagem de referência existe na memória de imagem de referência.

[00676] Por outro lado, de acordo com a quinta modalidade da invenção, como mostrado na figura 28, as imagens candidatas de referência para a imagem alvo são armazenadas na ordem de exibição na memória de imagem de referência, e às imagens candidatas para uma

Petição 870170060093, de 18/08/2017, pág. 175/243

171/232 referência à frente são atribuídos índices de imagem de referência de modo que a uma imagem candidata cujo tempo de exibição seja mais posterior seja atribuído um índice de imagem de referência menor e, portanto, a uma imagem candidata a qual é mais provável de ser selecionada como uma imagem de referência dentre as imagens candidatas é atribuído um índice de imagem de referência menor. Desse modo, a quantidade de códigos dos índices de imagem de referência pode ser minimizada, resultando em um aumento na eficiência de codificação.

[00677] Ainda, uma vez que, na codificação de uma imagem P, nenhum índice de imagem de referência é atribuído a imagens B, a ocorrência de índices de imagem de referência que nunca serão usados é evitada, resultando em um aumento adicional na eficiência de codificação.

[00678] Mais ainda, quando da codificação de uma imagem B, nenhum índice de imagem de referência é atribuído à imagem que está armazenada na área de memória correspondente ao número de memória lógica menor, e esta imagem é usada como uma imagem de referência para trás. Portanto, na codificação de previsão de uma imagem B, uma imagem P a ser usada como uma imagem de referência para trás é impedida de ser usada como uma imagem de referência à frente.

[00679] Ainda, quando uma imagem que não é usada como uma imagem de referência é apagada da memória de imagem de referência, a informação indicando este apagamento é descrita no fluxo de bits. Portanto, a extremidade de decodificação pode detectar que a imagem a qual não é usada como uma imagem de referência na decodificação de uma imagem alvo e nas imagens seguintes é apagada da memória de imagem de referência.

[00680] Nesta quinta modalidade, uma compensação de movimento

Petição 870170060093, de 18/08/2017, pág. 176/243

172/232 é realizada em unidades de espaços de imagem (macroblocos), cada um compreendendo 16 pixels na direção horizontal x 16 pixels na direção vertical, e uma codificação de uma imagem de erro de previsão é realizada em unidades de espaços de imagem (sub-blocos), cada um compreendendo 8 pixels na direção horizontal x 8 pixels na direção vertical. Entretanto, o número de pixels em cada macrobloco (subbloco) na compensação de movimento (codificação de uma imagem de erro de previsão) pode ser diferente daquele descrito para a quinta modalidade.

[00681] Ainda, embora nesta quinta modalidade o número de imagens B contínuas seja dois, o número de imagens B contínuas pode ser três ou mais.

[00682] Ainda, embora nesta quinta modalidade quatro imagens sejam usadas como imagens candidatas para uma imagem de referência à frente na codificação de uma imagem P, o número de imagens candidatas de referência à frente para uma imagem P pode ser outro além de quatro.

[00683] Mais ainda, embora nesta quinta modalidade quatro imagens P e uma imagem B sejam usadas como imagens candidatas para uma imagem de referência à frente na codificação de uma imagem B, as imagens candidatas de referência à frente para uma imagem B não estão restritas a isso.

[00684] Mais ainda, nesta quinta modalidade, cada uma de várias imagens que constituem um filme, a qual é uma imagem alvo a ser codificada, é usada como uma imagem de referência quando da codificação de uma outra imagem que se segue à imagem alvo. Entretanto, as várias imagens que constituem um filme podem incluir imagens a não serem usadas como imagens de referência. Neste caso, as imagens a não serem usadas como imagens de referência não são armazenadas na memória de imagem de referência, por meio do que os

Petição 870170060093, de 18/08/2017, pág. 177/243

173/232 mesmos efeitos como descrito para a quinta modalidade podem ser obtidos.

[00685] Mais ainda, embora nesta quinta modalidade uma codificação de uma imagem B seja realizada usando-se uma outra imagem B como uma imagem candidata de referência, a codificação de uma imagem B pode ser realizada sem uma referência a uma outra imagem B. Neste caso, nenhuma imagem B é armazenada na memória de imagem de referência. Também neste caso, os mesmos efeitos como descrito para a quinta modalidade podem ser obtidos pela atribuição de índices de imagem de referência de acordo com a ordem de tempos de exibição de imagem.

[00686] Mais ainda, embora nesta quinta modalidade um único sistema de índices de imagem de referência seja atribuído, diferentes sistemas de índices de imagem de referência podem ser atribuídos na direção para frente e na direção para trás, respectivamente.

[00687] Mais ainda, embora nesta quinta modalidade um índice de imagem de referência seja atribuído a uma imagem candidata para uma referência à frente cujo tempo de exibição é posterior, o método de atribuição de índice de imagem de referência não está restrito a isso, desde que um índice de imagem de referência menor seja atribuído a uma imagem candidata que é mais provável de ser selecionada como uma imagem de referência.

[00688] A figura 31 é um diagrama conceitual que ilustra a estrutura de um fluxo de bits (formato de um sinal de imagem codificado) correspondente às imagens às quais os índices de imagem de referência são atribuídos.

[00689] Um sinal codificado Pt equivalente a uma imagem inclui uma informação de cabeçalho Hp posicionada no começo da imagem, e uma seção de dados Dp que se segue à informação de cabeçalho Hp. A informação de cabeçalho Hp inclui um sinal de controle (RPSL).

Petição 870170060093, de 18/08/2017, pág. 178/243

174/232

A seção de dados Dp inclui um dado codificado (fluxo de bits) correspondente a cada bloco.

[00690] Por exemplo, um fluxo de bits BLx é um fluxo de bits de um bloco que é codificado em um modo de codificação intra-imagem, e um fluxo de bits BLy é um fluxo de bits de um bloco que é codificado em um outro modo de codificação de previsão interimagens além de um modo de codificação intra-imagem.

[00691] O fluxo de bits de bloco BLx inclui uma informação de cabeçalho HBx, uma informação Prx relativa a um modo de codificação, e uma informação de imagem codificada Dbx. O fluxo de bits de bloco BLy inclui uma informação de cabeçalho HBy, uma informação Pry relativa a um modo de codificação, um primeiro índice de imagem de referência R1d1, um segundo índice de imagem de referência R1d2, um primeiro vetor de movimento MV1, um segundo vetor de movimento MV2, e uma informação de imagem codificada Dby. Qual dentre o primeiro e o segundo índices de imagem de referência R1d1 e R1d2 deve ser usado é determinado a partir da informação Pry relativa ao modo de codificação.

[00692] Um índice de imagem de referência R1d1 é atribuído a uma imagem candidata de referência à frente com prioridade sobre uma imagem candidata de referência para trás. Um índice de imagem de referência R1d2 é atribuído a uma imagem candidata de referência para trás com prioridade sobre uma imagem candidata de referência à frente.

Modalidade 6 [00693] A figura 32 é um diagrama de blocos para explanação de um aparelho de decodificação de filme 60 de acordo com uma sexta modalidade da presente invenção.

[00694] O aparelho de decodificação de filme 60 de acordo com a sexta modalidade decodifica o fluxo de bits Bs extraído do aparelho de

Petição 870170060093, de 18/08/2017, pág. 179/243

175/232 codificação de filme 50, de acordo com a quinta modalidade.

[00695] O aparelho de decodificação de filme 60 é diferente do aparelho de decodificação de filme 20 de acordo com a segunda modalidade nas imagens candidatas para imagens de referência à frente a serem referidas quando da codificação de uma imagem P e de uma imagem B, e nos modos de codificação para uma imagem B.

[00696] Isto é, o aparelho de decodificação de filme 60 é provido, ao invés da unidade de controle de memória 204 e da unidade de decodificação de modo 223, de acordo com a segunda modalidade, com uma unidade de controle de memória 264 e uma unidade de decodificação de modo 263, as quais operam de maneiras diferentes daquelas descritas para a segunda modalidade.

[00697] Para ser específico, a unidade de controle de memória 264 de acordo com a sexta modalidade controla uma memória de imagem de referência 207 de modo que, quando da decodificação de uma imagem P, quatro imagens (imagens I ou P), as quais estão posicionadas à frente da imagem P, são usadas como imagens candidatas para uma referência à frente, e quando da decodificação de uma imagem B, quatro imagens (imagens I ou P), as quais estão posicionadas à frente da imagem B, uma imagem B à frente que é mais próxima da imagem B, e uma imagem para trás I ou P são usadas como imagens candidatas.

[00698] Ainda, quando da decodificação de um bloco (bloco alvo) em uma imagem P, a unidade de decodificação de modo 263 de acordo com a sexta modalidade seleciona, como um modo de codificação para o bloco alvo, um dentre os vários modos, como se segue: decodificação intra-imagem, decodificação de previsão interimagens usando um vetor de movimento, e uma decodificação de previsão interimagens não usando um vetor de movimento (um movimento é tratado como zero). Quando da decodificação de um bloco (bloco alvo) em

Petição 870170060093, de 18/08/2017, pág. 180/243

176/232 uma imagem B, a unidade de decodificação de modo 263 seleciona, como um modo de decodificação para o bloco alvo, um dentre os vários modos, como se segue: uma decodificação intra-imagem, uma decodificação de previsão interimagens usando um vetor de movimento para frente, uma decodificação de previsão interimagens usando um vetor de movimento para trás, e uma decodificação de previsão interimagens usando um vetor de movimento para frente e um vetor de movimento para trás.

[00699] Isto é, a unidade de decodificação de modo 263 do aparelho de decodificação de filme 60 de acordo com esta sexta modalidade é diferente da unidade de decodificação de modo 223 do aparelho de decodificação de filme 20 de acordo com a segunda modalidade apenas pelo fato de ele não usar um processo de decodificação correspondente ao modo direto e, portanto, o aparelho de decodificação de filme 60 não tem a unidade de armazenamento de vetor de movimento 226 do aparelho de decodificação de filme 20.

[00700] Ainda, o aparelho de decodificação de filme 60 de acordo com a sexta modalidade é idêntico ao aparelho de decodificação de filme 20 de acordo com a segunda modalidade, exceto pela unidade de controle de memória 264 e pela unidade de decodificação de modo 263.

[00701] Em seguida, a operação do aparelho de decodificação de filme 60 será descrita.

[00702] O fluxo de bits Bs extraído do aparelho de codificação de filme 50 de acordo com a quinta modalidade é introduzido no aparelho de decodificação de filme 60 mostrado na figura 32. No fluxo de bits Bs, cada imagem P foi submetida a uma codificação de previsão interimagens, usando-se quatro imagens I ou P, as quais são posicionadas no sentido do tempo para frente e próximas da imagem P, como imagens candidatas de referência. Ainda, cada imagem B foi codificaPetição 870170060093, de 18/08/2017, pág. 181/243

177/232 da usando-se quatro imagens P, as quais são posicionadas no sentido do tempo para frente e próximas da imagem B, uma imagem B a qual está posicionada no sentido do tempo à frente da imagem B, e uma imagem I ou P a qual está posicionada para trás no sentido do tempo e mais próxima da imagem B.

[00703] Neste caso, a ordem das imagens no fluxo de bits é como mostrado na figura 29(b).

[00704] A partir deste ponto, os processos de decodificação para as imagens P15, B13 e B14 será descrito nesta ordem.

Processo de Decodificação de imagem P15 [00705] O fluxo de bits da imagem P15 é introduzido na unidade de análise de fluxo de bits 201. A unidade de análise de fluxo de bits 201 extrai vários tipos de dados do fluxo de bits introduzido Bs. Os vários tipos de dados são uma informação tal como um modo de codificação, um vetor de movimento e similares. A informação extraída para a seleção de modo (modo de codificação) Ms é extraída para a unidade de decodificação de modo 263. Ainda, o vetor de movimento MV extraído é extraído para a unidade de decodificação de compensação de movimento 205. Mais ainda, o dado codificado de erro de previsão Ed é extraído para a unidade de decodificação de erro de previsão 202. [00706] A unidade de decodificação de modo 263 controla as chaves 209 e 210 com referência ao modo de codificação Ms extraído do fluxo de bits. Quando o modo de codificação indica uma codificação interimagens, a chave 209 é controlada de modo que o terminal de entrada Te seja conectado ao terminal de saída Tf1, e a chave 210 é controlada de modo que o terminal de saída Th seja conectado ao terminal de entrada Tg1. Ainda, quando o modo de codificação indica uma codificação de previsão interimagens, a chave 209 é controlada de modo que o terminal de entrada Te seja conectado ao terminal de saída Tf1, e a chave 210 é controlada de modo que o terminal de saíPetição 870170060093, de 18/08/2017, pág. 182/243

178/232 da Th seja conectado ao terminal de entrada Tg2.

[00707] Ainda, a unidade de decodificação de modo 263 extrai o modo de codificação Ms também para a unidade de decodificação de compensação de movimento 205.

[00708] A partir deste ponto, será dada uma descrição do caso em que o modo de codificação é uma codificação de previsão interimagens.

[00709] A unidade de decodificação de erro de previsão 202 decodifica o dado codificado introduzido Ed, para a geração do dado de erro de previsão PDd. O dado de erro de previsão PDd gerado é extraído para a chave 209. Uma vez que o terminal de entrada Te da chave 209 é conectado ao terminal de saída Tf1, o dado de erro de previsão PDd é extraído para a unidade de adição 208.

[00710] A unidade de decodificação de compensação de movimento 205 gera uma imagem de compensação de movimento a partir da informação introduzida, tal como o vetor de movimento. A informação introduzida na unidade de decodificação de compensação de movimento 205 é o vetor de movimento MV e o índice de imagem de referência Rp. A unidade de decodificação de compensação de movimento 205 obtém uma imagem de compensação de movimento (imagem de previsão) a partir da memória de imagem de referência 207, com base na informação introduzida. A imagem P15 foi codificada usando-se as imagens P12, P9, P6 e P3 como candidatas para uma imagem de referência, e essas imagens candidatas já foram decodificadas e estão armazenadas na memória de imagem de referência 207.

[00711] A figura 28 mostra as imagens armazenadas na memória de imagem de referência 207. Como mostrado na figura 28, quando da decodificação da imagem P15, as imagens P12, B11, P9, P6 e P3 são armazenadas na memória de imagem de referência 207.

[00712] A unidade de controle de memória 264 atribui índices de

Petição 870170060093, de 18/08/2017, pág. 183/243

179/232 imagem de referência às imagens candidatas de referência armazenadas na memória de imagem de referência 117. Esta atribuição de índices de imagem de referência é realizada de acordo com a ordem de tempos de exibição de imagem, de modo que um índice de imagem de referência menor seja atribuído a uma imagem candidata de referência mais nova. Na decodificação de uma imagem P, nenhum índice de imagem de referência é atribuído a imagens B. Assim sendo, os índices de imagem de referência [0], [1], [2] e [3] são atribuídos às imagens P12, P9, P6 e P3, respectivamente, e nenhum índice de imagem de referência é atribuído à imagem B11.

[00713] A unidade de decodificação de compensação de movimento 205 determina qual das imagens P12, P9, P6 e P3 é usada como uma imagem de referência quando da codificação do bloco alvo, a partir dos índices de imagem de referência. Então, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de previsão (dado de previsão Pd) a partir da memória de imagem de referência 207, com base na imagem de referência determinada e no vetor de movimento para a geração de uma imagem de compensação de movimento. A imagem de compensação de movimento assim gerada é introduzida na unidade de adição 208.

[00714] A unidade de adição 208 adiciona o dado de erro de previsão PDd e a imagem de compensação de movimento, para a geração de uma imagem decodificada (dado Ad). A imagem decodificada assim gerada é extraída através da chave 210 para a memória de imagem de referência 207.

[00715] Quando todos os macroblocos na imagem P15 tiverem sido decodificados, a unidade de controle de memória 264 atualiza os números de memória lógica e os índices de imagem de referência correspondentes às imagens armazenadas na memória de imagem de referência 207.

Petição 870170060093, de 18/08/2017, pág. 184/243

180/232 [00716] Neste momento, uma vez que, na ordem de tempo, a imagem P15 é mais anterior do que quaisquer imagens armazenadas na memória de imagem de referência 117, a imagem P15 é armazenada na área de memória na qual o número de memória lógica (0) é estabelecido. Então, os números de memória lógica das áreas de memória onde outras imagens de referência já foram armazenadas são incrementados por 1.

[00717] Ainda, uma vez que a próxima imagem alvo a ser decodificada é a imagem B13, um índice de imagem de referência é atribuído à imagem B11. Desse modo, as imagens P15, P12, B11, P9, P7 e P3 são armazenadas nas áreas de memória nas quais os números de memória lógica (0) a (5) são estabelecidos, respectivamente, e os índices de imagem de referência [0], [1], [2], [3] e [4] são atribuídos às imagens P12, B11, P9, P6 e P3, respectivamente.

Processo de Decodificação para Imagem B13 [00718] Uma vez que as operações da unidade de análise de fluxo de bits 201, da unidade de decodificação de modo 203 e da unidade de decodificação de erro de previsão 202 são idênticas àquelas descritas para a decodificação da imagem P15, uma descrição repetida não é necessária.

[00719] A unidade de decodificação de compensação de movimento 205 gera uma imagem de compensação de movimento a partir da informação introduzida tal como o vetor de movimento. A informação introduzida na unidade de decodificação de compensação de movimento 205 é o vetor de movimento e o índice de imagem de referência. A imagem B13 foi codificada usando-se as imagens P12, B11, P9, P6 e P3 como imagens candidatas para uma referência à frente e a imagem P15 como uma imagem candidata para uma referência para trás. Na decodificação da imagem B13, essas imagens candidatas já foram decodificadas e estão armazenadas na memória de imagem de

Petição 870170060093, de 18/08/2017, pág. 185/243

181/232 referência 207.

[00720] Quando o modo de codificação é uma codificação de previsão para frente ou uma codificação de previsão bidirecional, a unidade de decodificação de compensação de movimento 205 determina qual das imagens candidatas P12, B11, P9, P6 e P3 é usada como uma imagem de referência à frente quando da codificação da imagem B13, com base nos índices de imagem de referência. Então, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de compensação de movimento para frente a partir da memória de imagem de referência 207, com base na imagem de referência determinada e no vetor de movimento. Quando o modo de codificação é uma codificação de previsão bidirecional ou uma codificação de previsão para trás, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de compensação de movimento para trás a partir da memória de imagem de referência 207, com base na imagem de referência determinada e no vetor de movimento para trás. Então, a unidade de decodificação de compensação de movimento 205 gera uma imagem de compensação de movimento (imagem de previsão) usando uma imagem de compensação de movimento para frente e uma imagem de compensação de movimento para trás.

[00721] A imagem de compensação de movimento assim gerada é extraída para a unidade de adição 208. A unidade de adição 208 adiciona a imagem de erro de previsão introduzida e a imagem de compensação de movimento para a geração de uma imagem decodificada. A imagem decodificada assim gerada é extraída através da chave 210 para a memória de imagem de referência 207.

[00722] Quando todos os blocos na imagem B13 tiverem sido decodificados, a unidade de controle de memória 264 atualiza os números de memória lógica e os índices de imagem de referência correspondentes às imagens armazenadas na memória de imagem de refePetição 870170060093, de 18/08/2017, pág. 186/243

182/232 rência 207. Uma vez que a imagem B13 está à frente da imagem P15 armazenada na memória de imagem de referência 207 na ordem de tempos de exibição e é mais posterior do que a imagem P12 armazenada na memória de imagem de referência 207, a imagem B13 é armazenada na área de memória na qual o número de memória lógica (1) é estabelecido.

[00723] Ainda, uma informação indicando que a imagem B11 é para ser apagada da memória de imagem de referência é descrita no fluxo de bits, a unidade de controle de memória 264 controla a memória de imagem de referência 207 de modo a apagar a imagem B11 da memória.

[00724] Ainda, o número de memória lógica da área de memória onde a outra imagem candidata de referência P12 é armazenada é incrementado por 1. Desse modo, as imagens P15, B13, P12, P9, P6 e P3 são armazenadas nas áreas de memória nas quais os números de memória lógica (0) a (5) são estabelecidos, respectivamente, e os índices de imagem de referência [0], [1], [2], [3] e [4] são atribuídos às imagens B13, P12, P9, P6 e P3, respectivamente.

Processo de Decodificação para Imagem B14 [00725] Uma vez que as operações da unidade de análise de fluxo de bits 201, da unidade de decodificação de modo 203 e da unidade de decodificação de erro de previsão 202 são idênticas àquelas descritas para a decodificação da imagem P15, uma descrição repetida não é necessária.

[00726] A unidade de decodificação de compensação de movimento 205 gera uma imagem de compensação de movimento a partir da informação introduzida tal como o vetor de movimento. A informação introduzida na unidade de decodificação de compensação de movimento 205 é o vetor de movimento e o índice de imagem de referência. A imagem B14 foi codificada usando-se as imagens B13, P12, P9,

Petição 870170060093, de 18/08/2017, pág. 187/243

183/232

P6 e P3 como imagens candidatas para uma referência à frente e a imagem P15 como uma imagem candidata para uma referência para trás. Na decodificação da imagem B14, essas imagens candidatas já foram decodificadas e estão armazenadas na memória de imagem de referência 207.

[00727] Quando o modo de codificação é uma codificação de previsão para frente ou uma codificação de previsão bidirecional, a unidade de decodificação de compensação de movimento 205 determina qual das imagens candidatas B13, P12, P9, P6 e P3 é usada como uma imagem de referência à frente quando da codificação da imagem B14, com base nos índices de imagem de referência. Então, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de compensação de movimento para frente a partir da memória de imagem de referência 207, com base na imagem de referência determinada e no vetor de movimento para frente. Quando o modo de codificação é uma codificação de previsão bidirecional ou uma codificação de previsão para trás, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de compensação de movimento para trás a partir da memória de imagem de referência 207, com base na imagem de referência determinada e no vetor de movimento para trás. Então, a unidade de decodificação de compensação de movimento 205 gera uma imagem de compensação de movimento usando uma imagem de compensação de movimento para frente e uma imagem de compensação de movimento para trás.

[00728] A imagem de compensação de movimento assim gerada é extraída para a unidade de adição 208. A unidade de adição 208 adiciona a imagem de erro de previsão introduzida e a imagem de compensação de movimento para a geração de uma imagem decodificada. A imagem decodificada assim gerada é extraída através da chave 210 para a memória de imagem de referência 207.

Petição 870170060093, de 18/08/2017, pág. 188/243

184/232 [00729] Quando todos os blocos na imagem B14 tiverem sido decodificados, a unidade de controle de memória 264 atualiza os números de memória lógica e os índices de imagem de referência correspondentes às imagens armazenadas na memória de imagem de referência 207. Uma vez que a imagem B14 está à frente da imagem P15 armazenada na memória de imagem de referência 207 na ordem de tempos de exibição e é mais posterior do que a imagem B13 armazenada na memória de imagem de referência 207, a imagem B14 é armazenada na área de memória na qual o número de memória lógica (1) é estabelecido. Ainda, uma informação indicando que a imagem B13 é para ser apagada da memória de imagem de referência é descrita no fluxo de bits, a unidade de controle de memória 264 controla a memória de imagem de referência 207 de modo a apagar a imagem B13 da memória.

[00730] Uma vez que a próxima imagem alvo a ser decodificada é a imagem P18, que é uma imagem P, os índices de imagem de referência são atribuídos a outras imagens além das imagens B. Desse modo, as imagens P15, B14, P12, P9 e P6 são armazenadas nas áreas de memória nas quais os números de memória lógica (0) a (5) são estabelecidos, respectivamente, e os índices de imagem de referência [0], [1], [2], [3] e [4] são atribuídos às imagens P15, P12, P9 e P6, respectivamente.

[00731] Mais ainda, as imagens decodificadas são extraídas a partir da memória de imagem de referência 207 como imagens de saída dispostas na ordem de tempos de exibição.

[00732] Após isso, as imagens subseqüentes são decodificadas de modo similar, de acordo com o tipo de imagem.

[00733] Como descrito acima, de acordo com a sexta modalidade, os índices de imagem de referência são atribuídos a várias imagens candidatas para uma referência à frente para uma imagem alvo a ser

Petição 870170060093, de 18/08/2017, pág. 189/243

185/232 decodificada, de modo que um índice de imagem de referência menor é atribuído a uma imagem codificada cujo tempo de exibição é posterior (isto é, uma informação para a identificação de qual imagem candidata é referida na detecção de um vetor de movimento para frente de um bloco alvo), e uma imagem de referência é determinada a partir de dentre as várias imagens candidatas, com base nos índices de imagem de referência incluídos no fluxo de bits da imagem alvo. Portanto, um índice de imagem de referência menor é atribuído a uma imagem candidata que é mais provável de ser usada como uma imagem de referência. Assim sendo, é possível decodificar corretamente um fluxo de bits o qual é obtido por um método de codificação altamente eficiente, que pode minimizar a quantidade de códigos correspondentes aos índices de imagem de referência.

[00734] Ainda, uma vez que na decodificação de uma imagem P nenhum índice de imagem de referência é atribuído a imagens B, é possível decodificar corretamente um fluxo de bits que é obtido por um método de codificação altamente eficiente, que pode evitar a ocorrência de índices de imagem de referência os quais nunca serão usados. [00735] Mais ainda, uma vez que na decodificação de uma imagem B uma imagem armazenada em uma área de memória na qual um número de memória lógica menor é estabelecido é usada como uma imagem de referência para trás e nenhum índice de imagem de referência é atribuído a esta imagem, é possível decodificar corretamente um fluxo de bits, o qual é obtido por um método de codificação altamente eficiente, que pode impedir uma imagem P de ser usada como uma imagem de referência à frente na codificação de previsão de uma imagem B.

[00736] Mais ainda, quando uma informação indicando que uma imagem a qual nunca será usada como uma imagem de referência é apagada da memória de imagem de referência, é descrita no fluxo de

Petição 870170060093, de 18/08/2017, pág. 190/243

186/232 bits, a imagem de referência é apagada da memória de imagem de referência de acordo com a informação, por meio do que a memória de imagem de referência pode ser efetivamente usada.

[00737] Ainda, nesta sexta modalidade, como um arranjo de várias imagens que constituem um filme, um arranjo de imagens no qual duas imagens B estão posicionadas interimagens P adjacentes. Entretanto, o número de imagens B posicionadas interimagens P adjacentes pode ser outro além de dois, por exemplo, ele pode ser três ou quatro. [00738] Ainda, embora nesta sexta modalidade quatro imagens sejam usadas como imagens candidatas para uma referência à frente para uma imagem P, o número de imagens candidatas de referência à frente para uma imagem P pode ser outro além de quatro.

[00739] Embora nesta sexta modalidade quatro imagens P e uma imagem B sejam usadas como imagens candidatas para uma referência à frente para uma imagem B, imagens candidatas de referência à frente para uma imagem B não estão restritas a isso.

[00740] Embora nesta sexta modalidade cada uma das várias imagens que constituem um filme seja usada como uma imagem de referência quando da decodificação de uma outra imagem que se segue a esta imagem, várias imagens que constituem um filme, as quais devem ser decodificadas, podem incluir imagens que nunca serão usadas como imagens de referência. Neste caso, as imagens sem uso como imagens de referência não são armazenadas na memória de imagem de referência, por meio do que os mesmos efeitos que os descritos para a sexta modalidade podem ser obtidos.

[00741] Embora nesta sexta modalidade a decodificação de uma imagem B seja realizada usando-se uma outra imagem B como uma imagem candidata de referência, a decodificação de uma imagem B pode ser realizada sem uma referência a uma outra imagem B. Neste caso, nenhuma imagem B é armazenada na memória de imagem de

Petição 870170060093, de 18/08/2017, pág. 191/243

187/232 referência. Também neste caso, os mesmos efeitos que os descritos para a sexta modalidade podem ser obtidos pela atribuição de índices de imagem de referência de acordo com a ordem de tempos de exibição de imagem.

[00742] Embora nesta sexta modalidade, por simplificação, uma memória para o gerenciamento de imagens candidatas de referência e uma memória para o rearranjo de imagens decodificadas na ordem de exibição para extração delas não sejam separadas, mas descritas como uma memória de imagem de referência única, o aparelho de decodificação de filme 60 pode ser provido com uma memória de gerenciamento para o gerenciamento de imagens candidatas de referência, e uma memória de rearranjo para o rearranjo de imagens decodificadas na ordem de exibição, respectivamente.

[00743] Neste caso, a memória de gerenciamento é controlada pelo controlador de memória 264, e extrai imagens candidatas de referência para a unidade de decodificação de compensação de movimento 205. Ainda, a memória de rearranjo rearranja as imagens decodificadas na ordem de decodificação, na ordem de exibição e, seqüencialmente extrai as imagens.

[00744] Ainda, nesta sexta modalidade, a atribuição de índices de imagem de referência a imagens candidatas é realizada de acordo com uma regra única, isto é, um sistema de índices de imagem de referência é usado. Entretanto, dois sistemas de índices de imagem de referência podem ser usados, como descrito para a quinta montagem. Modalidade 7 [00745] A figura 33 é um diagrama de blocos para explanação de um aparelho de codificação de filme 70 de acordo com uma sétima montagem da presente invenção.

[00746] Este aparelho de codificação de filme 70 é diferente do aparelho de codificação de filme 10 de acordo com a primeira montagem

Petição 870170060093, de 18/08/2017, pág. 192/243

188/232 em imagens candidatas para imagens de referência à frente a serem referidas quando da codificação de uma imagem P e de uma imagem B e nos modos de codificação para uma imagem B.

[00747] Isto é, o aparelho de codificação de filme 70 é provido, ao invés da unidade de controle 110 e da unidade de seleção de modo 109, de acordo com a primeira montagem, com uma unidade de controle de codificação 170 e uma unidade de seleção de modo 109, as quais operam de maneiras diferentes daquelas descritas para a primeira montagem.

[00748] Para ser específico, a unidade de controle 170 de acordo com a sétima modalidade controla uma memória de imagem de referência 117 de modo que, quando da codificação de uma imagem P, três imagens (imagens I ou P), as quais estão posicionadas à frente da imagem P, sejam usadas como as imagens candidatas para uma referência à frente, e quando da codificação de uma imagem B, duas imagens (imagens I ou P), as quais estão posicionadas à frente da imagem B, uma imagem à frente B que está mais próxima da imagem B, e uma imagem para trás I ou P sejam usadas como imagens candidatas. Entretanto, uma imagem B, a qual está posicionada à frente de uma imagem I ou P que está posicionada à frente e mais próxima da imagem alvo, não é referida.

[00749] A unidade de controle de codificação 170 controla a unidade de geração de fluxo de bits 104 com um sinal de controle Cd, de modo que um indicador indicando se uma imagem alvo é ou não para ser referida quando da codificação de imagens subseqüentes seja inserido no fluxo de bits. Para ser específico, a unidade de geração de fluxo de bits 104 é controlada com o sinal de controle Cd de modo que uma informação indicando que os dados da imagem alvo devem ser armazenados na memória de imagem de referência 117 na decodificação bem como uma informação indicando um período de tempo para o

Petição 870170060093, de 18/08/2017, pág. 193/243

189/232 armazenamento sejam adicionadas ao fluxo de bits.

[00750] Mais ainda, quando da codificação de um bloco (bloco alvo) em uma imagem P, a unidade de seleção de modo 109 de acordo com a sétima modalidade seleciona, como um modo de codificação para o bloco alvo, um dentre vários modos, como se segue: uma codificação intra-imagem, uma codificação de previsão interimagens usando-se um vetor de movimento, e a codificação de previsão interimagens não se usando um vetor de movimento (um movimento é tratado como zero). Quando da codificação de um bloco (bloco alvo) em uma imagem B, a unidade de seleção de modo 179 seleciona, como um modo de codificação para o bloco alvo, um dentre vários modos, como se segue: uma codificação intra-imagem, uma codificação de previsão interimagens usando-se um vetor de movimento para frente, uma codificação de previsão interimagens usando-se um vetor de movimento para trás, e uma codificação de previsão interimagens usando-se um vetor de movimento para frente e um vetor de movimento para trás. Isto é, a unidade de seleção de modo 179 do aparelho de codificação de filme 70 de acordo com esta sétima modalidade é diferente da unidade de seleção de modo 109 do aparelho de codificação de filme 10 de acordo com a primeira modalidade apenas pelo fato de ela não usar o modo direto, e, portanto, o aparelho de codificação de filme 70 não tem a unidade de armazenamento de vetor de movimento 116 do aparelho de codificação de filme 10. Os outros constituintes do aparelho de codificação de filme 70 de acordo com a sétima modalidade são idênticos àqueles do aparelho de codificação de filme 10 de acordo com a primeira modalidade.

[00751] O aparelho de codificação de filme 70 de acordo com a sétima modalidade é diferente do aparelho de codificação de filme 50 de acordo com a quinta modalidade pelo fato de a unidade de controle de codificação 170 controlar a unidade de geração de fluxo de bits 104,

Petição 870170060093, de 18/08/2017, pág. 194/243

190/232 de modo que um indicador indicando se uma imagem alvo é ou não para ser referida quando da codificação de imagens subseqüentes ser inserido no fluxo de bits. Para ser específico, a unidade de geração de fluxo de bits 104 é controlada com o sinal de controle Consumidor, de modo que um indicador indicando se uma imagem alvo é para ser referida ou não quando da codificação das imagens subseqüentes seja inserido no fluxo de bits correspondente à imagem alvo. Ainda, o aparelho de codificação de filme 70 é diferente do aparelho de codificação de filme 50 em imagens candidatas a serem referidas na codificação de uma imagem P e de uma imagem B. O aparelho de codificação de filme 70 é idêntico ao aparelho de codificação de filme 50 em outros aspectos além daqueles mencionados acima.

[00752] Em seguida, será descrita a operação do aparelho de codificação de filme 70.

[00753] Os dados de imagem de entrada Id são armazenados na memória de imagem de entrada 101, em unidades de imagens, na ordem do tempo.

[00754] A figura 34(a) mostra a ordem de imagens introduzidas na memória de imagem de entrada 101.

[00755] Como mostrado na figura 34(a), as respectivas imagens são sucessivamente introduzidas na memória de imagem de entrada 101, começando com a imagem P1. Na figura 34(a), as imagens P1, P4, P7, P10, P13, P16, P19 e P22 são imagens P, enquanto as imagens B2, B3, B5, B6, B8, B9, B11, B12, B14, P15, B17, P18, B20 e B21 são imagens B.

[00756] Quando da codificação de uma imagem P, três imagens (imagens I ou P), as quais são à frente no sentido do tempo e próximas da imagem P, são usadas como candidatas a uma imagem de referência. Ainda, quando da codificação de uma imagem B, duas imagens (imagens I ou P), as quais são à frente no sentido do tempo e

Petição 870170060093, de 18/08/2017, pág. 195/243

191/232 próximas da imagem B, uma imagem B que está à frente e mais próxima da imagem B, e uma imagem I ou P que está à frente da imagem B são usadas como candidatas a uma imagem de referência. Entretanto, na codificação de uma imagem B, uma imagem B a qual está posicionada à frente de uma imagem I ou P que está à frente no sentido do tempo e mais próxima da imagem B não é referida. Quando da codificação de uma imagem I, outras imagens não são referidas.

[00757] Os dados Id das respectivas imagens introduzidos na memória de imagem de entrada 101 são rearranjados na ordem de codificação. Após isso, o dado de cada imagem é referido simplesmente como uma imagem.

[00758] Isto é, o processo de mudança da ordem das imagens da ordem de entrada para a ordem de codificação é realizado com base nas relações entre as imagens alvo e as imagens de referência na codificação de previsão interimagens. No rearranjo, as respectivas imagens são rearranjadas de modo que uma segunda imagem a ser usada como uma candidata a uma imagem de referência na codificação de uma primeira imagem seja codificada antes da primeira imagem. [00759] Para ser específico, as correspondências entre as imagens P10 a P13 e as imagens candidatas de referência são mostradas por setas na figura 34(a). Isto é, quando da codificação da imagem P P10, as imagens P1, P4 e P7 são referidas, e quando da codificação da imagem P P13, as imagens P4, P7 e P10 são referidas. Ainda, quando da codificação da imagem B B11, as imagens P7, P10 e P13 são referidas, e quando da codificação da imagem B B12, as imagens P7, P10, B11 e P13 são referidas.

[00760] A figura 34(b) mostra a ordem das imagens após o rearranjo das imagens B2 a P22 mostradas na figura 34(a). Após o rearranjo, as respectivas imagens são dispostas na ordem de P4, B2, B3, P7, B5, B6, P10, B8, B9, P13, B11, B12, P16, B14, B15, P19, B17, B18 e

Petição 870170060093, de 18/08/2017, pág. 196/243

192/232

P22.

[00761] As respectivas imagens rearranjadas na memória de imagem de entrada 101 são sucessivamente lidas, para cada unidade de processamento de dados predeterminada, na ordem dos tempos de codificação. Nesta sétima modalidade, a unidade de processamento de dados é uma unidade de dados na qual uma compensação de movimento é realizada e, mais especificamente, é um espaço de imagem retangular (macrobloco) no qual 16 pixels são dispostos em ambas a direção horizontal e a direção vertical. Na descrição a seguir, um macrobloco é referido simplesmente como um bloco.

[00762] A partir deste ponto, os processos de codificação para as imagens P13, B11 e B12 serão descritos nesta ordem.

Processo de Codificação para Imagem P13 [00763] Uma vez que a imagem P13 é uma imagem P, uma codificação de previsão interimagens usando uma referência à frente é realizada como um processo de codificação para a imagem P13. Neste caso, três imagens I ou P, as quais estão posicionadas à frente da imagem alvo (imagem P13) são usadas como imagens candidatas de referência e, especificamente, as imagens P4, P7 e P10 são usadas. Essas imagens candidatas de referência já foram codificadas, e as correspondentes aos dados de imagem decodificados Dd são armazenadas na memória de imagem de referência 117.

[00764] Na codificação de uma imagem P, a unidade de controle de codificação 170 controla as respectivas chaves, de modo que as chaves 113, 114 e 115 estejam LIGADAS.

[00765] Um dado Md correspondente a um bloco na imagem P13, o qual é lido a partir da memória de imagem de entrada 101, é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 179 e na unidade de cálculo de diferença 102.

[00766] A unidade de detecção de vetor de movimento 108 detecta

Petição 870170060093, de 18/08/2017, pág. 197/243

193/232 o vetor de movimento MV do bloco na imagem P13, usando os dados de imagem decodificados Rd das imagens P4, P7 e P10 armazenados na memória de imagem de referência 117. Neste caso, uma imagem ótima é selecionada a partir de dentre as imagens P4, P7 e P10, e uma detecção do vetor de movimento é realizada com uma referência à imagem selecionada. Então, o vetor de movimento detectado MV é extraído para a unidade de seleção de modo 179 e para a unidade de geração de fluxo de bits 104. Ainda, uma informação indicando qual das imagens P4, P7 e P10 é referida na detecção do vetor de movimento MV (informação de imagem de referência) também é extraída para a unidade de seleção de modo 179.

[00767] A unidade de seleção de modo 179 determina um modo de codificação para o bloco na imagem P13, usando o vetor de movimento detectado pela unidade de detecção de vetor de movimento 108. [00768] Para ser específico, no caso de codificação de uma imagem P, um modo de codificação é selecionado a partir de dentre os modos de codificação a seguir: uma codificação intra-imagem, uma codificação de previsão interimagens usando um vetor de movimento, uma codificação de previsão interimagens não usando nenhum vetor de movimento (isto é, um movimento é considerado como 0). Na determinação de um modo de codificação, geralmente, um modo de codificação o qual minimiza erros de codificação quando uma quantidade predeterminada de bits é dada ao bloco como uma quantidade de códigos é selecionado.

[00769] O modo de codificação Ms determinado pela unidade de seleção de modo 179 é extraído para a unidade de geração de fluxo de bits 104. Ainda, quando o modo de codificação Ms determinado é o modo de codificação o qual executa uma referência à frente, uma informação indicando qual das imagens P4, P7 e P10 é referida na detecção do vetor de movimento para frente (vetor de movimento para

Petição 870170060093, de 18/08/2017, pág. 198/243

194/232 frente) também é extraída para a unidade de geração de fluxo de bits 104.

[00770] Então, o dado de imagem de previsão Pd, o qual é obtido a partir da imagem de referência de acordo com o modo de codificação Ms que é determinado pela unidade de seleção de modo 179, é extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106. Entretanto, quando o modo de codificação intra-imagem é selecionado, nenhum dado de imagem de previsão Pd é extraído. Ainda, quando a codificação intra-imagem é selecionada, as chaves 111 e 112 são controladas da mesma maneira que a descrita para a quinta montagem.

[00771] A partir deste ponto, será dada uma descrição de um caso em que o modo de codificação interimagens é selecionado como o modo de codificação Ms.

[00772] A unidade de cálculo de diferença 102, a unidade de codificação de erro de previsão 103, a unidade de geração de fluxo de bits 104, a unidade de decodificação de erro de previsão 105 e a unidade de controle de codificação 170 são idênticas àquelas descritas para a quinta modalidade.

[00773] Entretanto, nesta sétima modalidade, uma informação indicando que a imagem P13 é codificada usando-se três imagens à frente I ou P como imagens candidatas de referência, é adicionada como uma informação de cabeçalho da imagem P13. Ainda, uma vez que a imagem P13 será referida quando da codificação de uma outra imagem, uma informação (indicador) indicando que o dado decodificado Dd correspondente à imagem P13 deve ser armazenado na memória de imagem de referência 117 na decodificação, também é adicionada com uma informação de cabeçalho da imagem P13. Ainda, uma informação indicando que a imagem P13 deve ser armazenada na memória de imagem de referência até a decodificação da imagem P22 ser

Petição 870170060093, de 18/08/2017, pág. 199/243

195/232 completada também é adicionada como uma informação de cabeçalho da imagem P13.

[00774] O período de armazenamento para a imagem P13 pode ser indicado pela informação de tempo da imagem P22 (por exemplo, uma informação de posição de base de tempo tal como um número de imagem, uma informação de tempo de decodificação ou uma informação de tempo de exibição), ou uma informação de período da imagem P13 até a imagem P22 (por exemplo, o número de imagens). A informação de cabeçalho descrita acima pode ser descrita como uma informação de cabeçalho em unidades de imagem, isto é, como uma informação de cabeçalho para cada imagem alvo a ser codificada. Alternativamente, ela pode ser descrita como uma informação de cabeçalho de toda a seqüência, ou como uma informação de cabeçalho em unidades de quadros (por exemplo, em unidades de GOPs em MPEG).

[00775] Quando o modo de codificação para cada bloco na imagem P13 é um executando uma referência à frente, uma informação indicando qual das imagens P4, P7 e P10 é referida na detecção do vetor de movimento para frente (informação de imagem de referência) também é adicionada ao fluxo de bits. Por exemplo, quando o vetor de movimento é obtido com referência à imagem P10, uma informação de imagem indicando que a imagem P imediatamente anterior à imagem alvo é usada como uma imagem de referência (índice de imagem de referência) é adicionada ao fluxo de bits. Quando o vetor de movimento é obtido com referência à imagem P7, uma informação indicando que a imagem P duas imagens anterior à imagem alvo é usada como uma imagem de referência (índice de imagem de referência) é adicionada ao fluxo de bits. Quando o vetor de movimento é obtido com referência à imagem P4, uma informação indicando que a imagem P três imagens anterior à imagem alvo é usada como uma imagem de referência (índice de imagem de referência) é adicionada ao fluxo de

Petição 870170060093, de 18/08/2017, pág. 200/243

196/232 bits. Por exemplo, um índice de imagem de referência [0] pode ser usado para indicar que a imagem P imediatamente anterior à imagem alvo é usada como uma imagem de referência, um índice de imagem de referência [1] pode ser usado para indicar que a imagem P duas imagens anterior à imagem alvo é usada como uma imagem de referência, e um índice de imagem de referência [2] pode ser usado para indicar que uma imagem P três imagens anterior à imagem alvo é usada como uma imagem de referência.

[00776] Ainda, uma informação indicando que a imagem P é submetida a uma codificação de previsão interimagens usando-se três imagens candidatas de referência é descrita como uma informação de cabeçalho.

[00777] Os macroblocos remanescentes na imagem P13 são codificados da mesma maneira que a descrita acima. Quando todos os macroblocos na imagem P13 tiverem sido codificados, a codificação da imagem B11 ocorre.

Processo de Codificação para Imagem B11 [00778] Uma vez que a imagem B11 é uma imagem B, uma codificação de previsão interimagens usando uma referência bidirecional é realizada como um processo de codificação para a imagem B11. Neste caso, duas imagens (imagens I ou P), as quais são próximas no sentido do tempo da imagem alvo (imagem B11) e uma imagem B a qual é próxima no sentido do tempo da imagem alvo são usadas como imagens candidatas para uma referência à frente, e uma imagem I ou P, a qual é mais próxima no sentido do tempo da imagem alvo é usada como uma imagem candidata para uma referência para trás. Entretanto, uma imagem B a qual esteja posicionada além de uma imagem I ou P mais próxima da imagem alvo nunca é referida.

[00779] Assim sendo, as imagens P7 e P10 são usadas como as imagens de referência à frente para a imagem B11, e a imagem P13 é

Petição 870170060093, de 18/08/2017, pág. 201/243

197/232 usada como uma imagem de referência para trás para a imagem B11. No processamento da primeira imagem B entre duas imagens B contínuas, uma vez que esta primeira imagem B é usada como uma imagem de referência na codificação da outra imagem B, a unidade de controle de codificação 170 controla as respectivas chaves de modo que as chaves 113, 114 e 115 estejam LIGADAS. Assim sendo, o dado de imagem Md correspondente ao bloco na imagem B11, o qual é lido a partir da memória de imagem de entrada 101, é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 179 e na unidade de cálculo de diferença 102.

[00780] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento para frente e um vetor de movimento para trás correspondentes ao bloco alvo na imagem B11, com referência às imagens P7 e P10 armazenadas na memória de imagem de referência 117, como imagens candidatas para uma referência à frente, e a imagem P13 armazenada na memória de imagem de referência 117 como uma imagem de referência para trás. Neste caso, a imagem P7 ou a imagem P10 é selecionada como a imagem de referência mais adequada, e a detecção de um vetor de movimento para frente é realizada de acordo com a imagem selecionada. Os vetores de movimento detectados são extraídos para a unidade de seleção de modo 179 e para a unidade de geração de fluxo de bits 104. Ainda, uma informação indicando qual das imagens P7 e P10 é referida na detecção do vetor de movimento para frente (informação de imagem de referência) também é extraída para a unidade de seleção de modo 179.

[00781] A unidade de seleção de modo 179 determina um modo de codificação para o bloco alvo na imagem B11, usando os vetores de movimento detectados pela unidade de detecção de vetor de movimento 108. Como um modo de codificação para a imagem B, um dos modos de codificação a seguir é selecionado: um modo de codificação

Petição 870170060093, de 18/08/2017, pág. 202/243

198/232 intra-imagem, um modo de codificação de previsão interimagens usando-se um vetor de movimento para frente, um modo de codificação de previsão interimagens usando-se um uma imagem de movimento para trás, e um modo de codificação de previsão interimagens usando-se vetores de movimento bidirecionais. Também neste caso, um método geral (modo), o qual minimize os erros de codificação quando uma quantidade predeterminada de bits é dada como a quantidade de códigos, deve ser selecionado.

[00782] O modo de codificação determinado pela unidade de seleção de modo 179 é extraído para a unidade de geração de fluxo de bits 104. Ainda, um dado de imagem de previsão Pd, o qual é obtido a partir da imagem de referência de acordo com o modo de codificação Ms que for determinado pela unidade de seleção de modo 179, é extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106. Entretanto, quando o modo de codificação intra-imagem é selecionado pela unidade de seleção de modo 179, nenhum dado de imagem de previsão Pd é extraído. Ainda, quando a codificação intraimagem é selecionada, as chaves 111 e 112 são controladas da mesma maneira que a descrita para o processo de codificação da imagem P13.

[00783] A partir deste ponto, será dada uma descrição de um caso onde a codificação de previsão interimagens é selecionada pela unidade de seleção de modo 179.

[00784] Neste caso, as operações da unidade de cálculo de diferença 102, da unidade de codificação de erro de previsão 103, da unidade de geração de fluxo de bits 104, da unidade de decodificação de erro de previsão 105 e da unidade de controle de codificação 170 são idênticas àquelas descritas para a quinta modalidade.

[00785] Quando o modo de codificação é um executando uma referência à frente, uma informação indicando qual das imagens P7 e P10

Petição 870170060093, de 18/08/2017, pág. 203/243

199/232 é referida na detecção do vetor de movimento para frente (informação de imagem de referência) também é adicionada ao fluxo de bits. Por exemplo, quando a imagem P10 é referida, a informação de imagem de referência indicando que uma imagem candidata imediatamente anterior à imagem alvo é usada como uma imagem de referência é adicionada ao fluxo de bits. Quando a imagem P7 é referida, uma informação de imagem de referência indicando que uma imagem candidata duas imagens anterior à imagem alvo é usada como uma imagem de referência é adicionada ao fluxo de bits. Por exemplo, um índice de imagem de referência [0] pode ser usado para indicar que uma imagem candidata imediatamente anterior à imagem alvo é usada como uma imagem de referência, e um índice de imagem de referência [1] pode ser usado para indicar que uma imagem candidata duas imagens anterior à imagem alvo é usada como uma imagem de referência. [00786] Ainda, neste caso, uma informação indicando que uma imagem alvo B é submetida a uma codificação de previsão interimagens usando-se uma imagem à frente B como uma imagem de referência não é adicionada como uma informação de cabeçalho. Mais ainda, uma informação indicando que as imagens candidatas de referência à frente para a imagem alvo B são duas imagens I ou P e uma imagem B é adicionada como uma informação de cabeçalho. Mais ainda uma informação indicando que uma imagem B, a qual está posicionada à frente de uma imagem I ou P que está posicionada à frente e mais próxima da imagem alvo B não é referida é adicionada como uma informação de cabeçalho.

[00787] Desse modo, é possível conhecer a capacidade de uma memória de imagem de referência que é necessária na decodificação do fluxo de bits Bs gerado no aparelho de codificação de filme 70 de acordo com a sétima modalidade. A informação de cabeçalho descrita acima pode ser descrita como uma informação de cabeçalho em uniPetição 870170060093, de 18/08/2017, pág. 204/243

200/232 dades de imagens, isto é, como uma informação de cabeçalho para cada imagem alvo a ser codificada. Alternativamente, ela pode ser descrita como uma informação de cabeçalho de toda a seqüência, ou como uma informação de cabeçalho em unidades de várias imagens (por exemplo, em unidades de GOPs em MPEG).

[00788] Ainda, uma vez que a imagem B11 é usada como uma imagem de referência quando da codificação de uma imagem posicionada para trás da imagem B11, uma informação indicando que o dado de imagem decodificado Dd correspondente à imagem B11 deve ser armazenado na memória de imagem de referência 117 na decodificação, também é adicionada como uma informação de cabeçalho. Ainda, uma informação indicando que o dado Dd deve ser armazenado na memória de imagem de referência 117 até a decodificação da imagem B12 estar completa também é adicionada como uma informação de cabeçalho.

[00789] Quando todos os blocos remanescentes na imagem B11 tiverem sido codificados, a codificação da imagem B12 ocorre. Processo de Codificação para Imagem B12 [00790] Uma vez que a imagem B12 é uma imagem B, uma codificação de previsão interimagens usando uma referência bidirecional é realizada como um processo de codificação para a imagem B12. Neste caso, duas imagens I ou P, as quais são próximas no sentido do tempo da imagem alvo B12, e uma imagem B a qual é próxima no sentido do tempo da imagem alvo são usadas como imagens candidatas para uma referência à frente. Ainda, uma imagem I ou P, a qual é mais próxima no sentido do tempo da imagem alvo B12 é usada como uma imagem candidata para uma referência para trás. Para ser mais específico, as imagens P7, P10 e B11 são usadas como imagens candidatas para a referência à frente para a imagem B12, e a imagem P13 é usada como uma imagem de referência para trás para a imagem B12.

Petição 870170060093, de 18/08/2017, pág. 205/243

201/232 [00791] Uma vez que a imagem B12 não é usada como uma imagem de referência quando da codificação de uma outra imagem, a unidade de controle de codificação 170 controla as respectivas chaves com o sinal de controle Cs1, de modo que a chave 113 esteja LIGADA e as chaves 114 e 115 estejam DESLIGADAS. Assim sendo, o dado de imagem Md correspondente ao bloco na imagem B12, o qual é lido a partir da memória de imagem de entrada 101, é introduzido na unidade de detecção de vetor de movimento 108, na unidade de seleção de modo 179 e na unidade de cálculo de diferença 102.

[00792] A unidade de detecção de vetor de movimento 108 detecta um vetor de movimento para frente e um vetor de movimento para trás correspondentes ao bloco alvo na imagem B12, com referência às imagens P7, P10 e B11 armazenadas na memória de imagem de referência 117, como imagens candidatas para uma referência à frente, e a imagem P13 armazenada na memória de imagem de referência 117 como uma imagem de referência para trás.

[00793] Neste caso, uma imagem de referência mais adequada é selecionada dentre as imagens P7, P10 e B11, e a detecção de um vetor de movimento para frente é realizada de acordo com a imagem selecionada. Os vetores de movimento detectados são extraídos para a unidade de seleção de modo 179 e para a unidade de geração de fluxo de bits 104. Ainda, uma informação indicando qual das imagens P7, P10 e B11 é referida na detecção do vetor de movimento para frente (informação de imagem de referência) também é extraída para a unidade de seleção de modo 179.

[00794] A unidade de seleção de modo 179 determina um modo de codificação para o bloco alvo na imagem B12, usando os vetores de movimento detectados pela unidade de detecção de vetor de movimento 108. Como um modo de codificação para a imagem B, um dos modos de codificação a seguir é selecionado: um modo de codificação

Petição 870170060093, de 18/08/2017, pág. 206/243

202/232 intra-imagem, um modo de codificação de previsão interimagens usando-se um vetor de movimento para frente, um modo de codificação de previsão interimagens usando-se uma imagem de movimento para trás, e uma codificação de previsão interimagens usando-se vetores de movimento bidirecionais.

[00795] O modo de codificação Ms determinado pela unidade de seleção de modo 179 é extraído para a unidade de geração de fluxo de bits 104. Ainda, um dado de imagem de previsão Pd, o qual é obtido a partir da imagem de referência de acordo com o modo de codificação que for determinado pela unidade de seleção de modo 179, é extraído para a unidade de cálculo de diferença 102 e para a unidade de adição 106. Entretanto, quando o modo de codificação intraimagem é selecionado, nenhum dado de imagem de previsão Pd é extraído.

[00796] Ainda, quando a codificação intra-imagem é selecionada pela unidade de seleção de modo 179, as chaves 111 e 112 são controladas da mesma maneira que a descrita para o processo de codificação da imagem P13.

[00797] A partir deste ponto, será dada uma descrição de um caso onde a codificação de previsão interimagens é selecionada pela unidade de seleção de modo 179.

[00798] Neste caso, as operações da unidade de cálculo de diferença 102, da unidade de codificação de erro de previsão 103, da unidade de geração de fluxo de bits 104, da unidade de decodificação de erro de previsão 105 e da unidade de controle de codificação 170 são idênticas àquelas descritas para a quinta modalidade.

[00799] Quando o modo de codificação é um executando uma referência à frente, uma informação indicando qual das imagens P7, P10 e B11 é referida na detecção do vetor de movimento para frente (informação de imagem de referência) também é adicionada ao fluxo de

Petição 870170060093, de 18/08/2017, pág. 207/243

203/232 bits.

[00800] Ainda, neste caso, uma informação indicando que uma imagem alvo B B12 é submetida a uma codificação de previsão interimagens usando-se uma imagem à frente B B11 como uma imagem de referência é descrita como uma informação de cabeçalho. Mais ainda, uma informação indicando que as imagens candidatas de referência à frente são duas imagens I ou P e uma imagem B é descrita como uma informação de cabeçalho.

[00801] Mais ainda uma informação indicando que uma imagem B12 não é para ser usada como uma imagem de referência quando da codificação das imagens seguintes é adicionada como uma informação de cabeçalho.

[00802] Desse modo, é facilmente determinado que não há necessidade de armazenamento dos dados de imagem decodificados Dd correspondentes à imagem B12 na memória de imagem de referência na decodificação, por meio do que o gerenciamento da memória de imagem de referência é facilitado.

[00803] A informação de cabeçalho mencionada acima pode ser descrita em unidades de imagens, isto é, como uma informação de cabeçalho para cada imagem alvo a ser codificada. Alternativamente, ela pode ser descrita como uma informação de cabeçalho de toda a seqüência, ou como uma informação de cabeçalho em unidades de várias imagens (por exemplo, em unidades de GOPs em MPEG). [00804] Os blocos remanescentes na imagem B12 são codificados da mesma maneira que a descrita acima.

[00805] Após isso, os dados de imagem correspondentes às respectivas imagens seguintes à imagem B12 são codificados da mesma maneira que a descrita acima, de acordo com o tipo de imagem. Por exemplo, as imagens P são processadas como a imagem P13 e a primeira imagem B das imagens B contínuas (imagem B14, B17 ou simiPetição 870170060093, de 18/08/2017, pág. 208/243

204/232 lar) é processada como a imagem P11. Ainda, a segunda imagem B das imagens B contínuas (imagem B15, B18 ou similar) é processada como a imagem P12.

[00806] Como descrito acima, no aparelho de codificação de filme 70 de acordo com a sétima modalidade, quando a codificação de uma imagem B como uma imagem alvo também é usada como uma imagem candidata para uma referência à frente, bem como imagens P uma imagem de referência à frente que está posicionada mais próxima da imagem alvo pode ser usada como uma imagem de referência à frente. Desse modo, a acurácia de precisão na compensação de movimento para uma imagem B pode ser aumentada, resultando em uma eficiência de codificação melhorada.

[00807] Mais ainda, quando da codificação de uma imagem B como uma imagem alvo, uma informação indicando se a imagem alvo é ou não para ser usada como uma imagem alvo quando da codificação (decodificação) de uma outra imagem é adicionada como uma informação de cabeçalho. Ainda, quando a imagem alvo é usada como uma imagem de referência quando da codificação (decodificação) de uma outra imagem alvo, uma informação indicando um período durante o qual a imagem alvo deve ser armazenada na memória de imagem de referência é adicionada. Portanto, quando da decodificação do fluxo de bits Bs extraído a partir do aparelho de codificação de filme 70, a extremidade de decodificação pode facilmente saber qual imagem deve ser armazenada na memória de imagem e quão longo é o período de armazenamento, por meio do que o gerenciamento da memória de imagem de referência na decodificação é facilitado.

[00808] Nesta sétima modalidade, quando uma imagem alvo B é codificada usando-se uma outra imagem B como uma imagem de referência, isto é descrito como uma informação de cabeçalho da imagem alvo B. Entretanto, a informação de cabeçalho não é necessariamente

Petição 870170060093, de 18/08/2017, pág. 209/243

205/232 descrita em unidades de imagem. Ela pode ser descrita como uma informação de cabeçalho de toda a seqüência, ou como uma informação de cabeçalho em unidades de várias imagens (por exemplo, GOP em MPEG).

[00809] Nesta sétima modalidade, uma compensação de movimento é realizada em unidades de macroblocos, cada um compreendendo 16 pixels (direção horizontal) x 16 pixels (direção vertical), e a codificação de um dado de imagem de erro de previsão é realizada em unidades de blocos, cada um compreendendo 4 pixels (direção horizontal) x 4 pixels (direção vertical) ou em unidades de blocos, cada um compreendendo 8 pixels (direção horizontal) x 8 pixels (direção vertical). Entretanto, uma compensação de movimento e uma codificação de dado de imagem de erro de previsão podem ser realizadas em unidades de espaços de imagem, cada um compreendendo um número diferente de pixels a partir daqueles mencionados acima.

[00810] Ainda, nesta sétima modalidade, um modo de codificação para uma imagem P é selecionado a partir de dentre um modo de codificação intra-imagem, um modo de codificação de previsão interimagens usando um vetor de movimento, e um modo de codificação de previsão interimagens não usando um vetor de movimento, enquanto um modo de codificação para uma imagem B é selecionada a partir de dentre um modo de codificação intra-imagem, um modo de codificação de previsão interimagens usando um vetor de movimento para frente, um modo de codificação de previsão interimagens usando um vetor de movimento para trás e um modo de codificação interimagens usando vetores de movimento bidirecionais. Entretanto, uma seleção de um modo de codificação para uma imagem P ou uma imagem B não está restrito àquele mencionado para a sétima modalidade.

[00811] Ainda, embora esta sétima modalidade empregue uma seqüência de imagem na qual duas imagens B estão inseridas entre uma

Petição 870170060093, de 18/08/2017, pág. 210/243

206/232 imagem I e uma imagem P ou interimagens P adjacentes, o número de imagens B inseridas entre uma imagem I e uma imagem P ou interimagens P adjacentes em uma seqüência de imagem pode ser outro além de dois, por exemplo, pode ser três ou quatro.

[00812] Mais ainda, embora nesta sétima modalidade três imagens sejam usadas como imagens candidatas para uma referência à frente quando da codificação de uma imagem P, o número de imagens candidatas de referência à frente para uma imagem P não está restrito a isso.

[00813] Mais ainda, embora nesta sétima modalidade duas imagens P e uma imagem B sejam usadas como imagens candidatas para uma referência à frente, quando da codificação de uma imagem B, as imagens candidatas de referência à frente a serem usadas na codificação de uma imagem B não estão restritas a isso. Por exemplo, as imagens candidatas de referência à frente para uma imagem B podem ser uma imagem P e duas imagens B, ou duas imagens P e duas imagens B, ou três imagens, as quais são no sentido do tempo mais próximas da imagem alvo independentemente do tipo de imagem.

[00814] Quando, na codificação de uma imagem B, apenas uma imagem que é mais próxima da imagem alvo B é usada como uma imagem de referência, não é necessário descrever uma informação indicando qual imagem é referida na codificação de um bloco alvo na imagem B (informação de imagem de referência) no fluxo de bits. [00815] Ainda, nesta sétima modalidade, quando da codificação de uma imagem B, uma imagem B a qual é posicionada à frente de uma imagem I ou P que é posicionada à frente e mais próxima da imagem alvo B, não é referida. Entretanto, quando da codificação de uma imagem B, uma imagem B a qual é posicionada à frente de uma imagem I ou P que é posicionada à frente e mais próxima da imagem alvo B, pode ser usada como uma imagem de referência.

Petição 870170060093, de 18/08/2017, pág. 211/243

207/232

Montagem 8 [00816] A figura 35 é um diagrama de blocos para explanação de um aparelho de decodificação de filme 80 de acordo com uma oitava modalidade da presente invenção.

[00817] O aparelho de decodificação de filme 80 de acordo com a oitava modalidade decodifica o fluxo de bits Bs extraído a partir do aparelho de codificação de filme 70 de acordo com a sétima modalidade.

[00818] O aparelho de decodificação de filme 80 é diferente do aparelho de decodificação de filme 20 de acordo com a segunda modalidade em imagens candidatas para imagens de referência à frente a serem referidas quando da codificação de uma imagem P e uma imagem B e nos modos de decodificação para uma imagem B.

[00819] Isto é, o aparelho de decodificação de filme 80 é provido, ao invés da unidade de controle de memória 204 e da unidade de decodificação de modo 223, de acordo com a segunda montagem, com uma unidade de controle de memória 284 e uma unidade de decodificação de modo 283, as quais operam de maneiras diferentes daquelas descritas para a segunda modalidade.

[00820] Para ser específico, a unidade de controle de memória 284 de acordo com a oitava modalidade controla uma memória de imagem de referência 287, de modo que, quando da decodificação de uma imagem P, três imagens (imagens I ou P), as quais estão posicionadas à frente da imagem P sejam usadas como imagens candidatas para uma referência à frente, e quando da decodificação de uma imagem B, duas imagens (imagens I ou P), as quais estão posicionadas à frente da imagem B, uma imagem à frente B que é mais próxima da imagem B, e uma imagem para trás I ou P sejam usadas como imagens candidatas. Entretanto, uma imagem B a qual está posicionada à frente de uma imagem I ou P que está posicionada à frente e mais próxima da

Petição 870170060093, de 18/08/2017, pág. 212/243

208/232 imagem alvo, não é referida.

[00821] A unidade de controle de memória 284 controla a memória de imagem de referência 287, com um sinal de controle Cm, com base em um indicador indicando se a imagem alvo é ou não para ser referida na codificação de uma imagem, que se segue à imagem alvo, cujo indicador é inserido na cadeia de código correspondente à imagem alvo.

[00822] Para ser específico, uma informação (indicador) indicando que os dados da imagem alvo devem ser armazenados na memória de imagem de referência 287 na decodificação, e uma informação indicando um período durante o qual os dados da imagem alvo devem ser armazenados, são incluídos no fluxo de bits correspondente à imagem alvo.

[00823] Ainda, quando da decodificação de um bloco (bloco alvo) em uma imagem P, a unidade de decodificação de modo 283 de acordo com a oitava modalidade seleciona, como um modo de codificação para o bloco alvo, um dentre os seguintes modos: uma decodificação intra-imagem, uma decodificação de previsão interimagens usando um vetor de movimento, uma decodificação de previsão interimagens usando nenhum vetor de movimento (um movimento é tratado como zero).

[00824] Quando decodificando um bloco (bloco alvo) em uma imagem B, a unidade de decodificação de modo 283 seleciona, como um modo de decodificação para o bloco alvo, uma dentre os sequintes modos: decodificação intra-imagem, decodificação de previsão de inter-imagem usando vetor de movimento para trás, e uma decodificação de previsão interimagens usando um vetor de movimento para frente e um vetor de movimento para trás. Isto é, a unidade de decodificação de modo 283 do aparelho de decodificação de filme 80 de acordo com esta oitava modalidade é diferente da unidade de decodiPetição 870170060093, de 18/08/2017, pág. 213/243

209/232 ficação de modo 223 do aparelho de decodificação de filme 20 de acordo com a segunda modalidade apenas pelo fato de ele não usar o modo direto e, portanto, o aparelho de decodificação de filme 80 não tem a unidade de armazenamento de vetor de movimento 226 do aparelho de decodificação de filme 20. Outros constituintes do aparelho de decodificação de filme 80 de acordo com a sétima modalidade são idênticos àqueles do aparelho de decodificação de filme 20 de acordo com a segunda modalidade.

[00825] Ainda, o aparelho de decodificação de filme 80 de acordo com a oitava modalidade é diferente do aparelho de decodificação de filme 60 de acordo com a sexta modalidade pelo fato de a unidade de controle de memória 284 controlar a unidade de geração de fluxo de bits 104, de modo que um indicador indicando se a imagem alvo é ou não para ser referida na codificação de uma imagem após o bloco alvo ser inserido no fluxo de bits correspondente à imagem alvo. Ainda, no aparelho de decodificação de filme 80, as imagens candidatas a serem referidas na decodificação de uma imagem P e de uma imagem B também são diferentes daquelas empregadas no aparelho de decodificação de filme de acordo com a sexta modalidade. Outros constituintes do aparelho de decodificação de filme 80 de acordo com a sétima modalidade são idênticos àqueles do aparelho de decodificação de filme 60 de acordo com a sexta modalidade.

[00826] Em seguida, a operação do aparelho de decodificação de filme 80 será descrita.

[00827] O fluxo de bits Bs extraído do aparelho de codificação de filme 70 de acordo com a sétima modalidade é introduzido no aparelho de decodificação de filme 80.

[00828] Nesta oitava modalidade, quando da decodificação de uma imagem P, três imagens (imagens I ou P) as quais são no sentido do tempo para frente e próximas à imagem P são usadas como as candiPetição 870170060093, de 18/08/2017, pág. 214/243

210/232 datas para uma imagem de referência. Por outro lado, quando da decodificação de uma imagem B, duas imagens (imagens I ou P), as quais estão posicionadas no sentido do tempo à frente e próximas da imagem B, uma imagem B a qual está posicionada à frente e mais próxima da imagem B, e uma imagem I ou P a qual está posicionada para trás da imagem alvo são usadas como imagens candidatas para uma imagem de referência. Entretanto, na decodificação de uma imagem B, uma imagem B a qual está posicionada à frente de uma imagem I ou P que está posicionada à frente e mais próxima da imagem alvo não é referida. Ainda, na decodificação de uma imagem I, outras imagens não são referidas.

[00829] Ainda, uma informação indicando qual das imagens candidatas é usada como uma imagem de referência na decodificação de uma imagem P ou de uma imagem B é descrita como uma informação de cabeçalho Ih do fluxo de bits Bs, e a informação de cabeçalho Ih é extraída pela unidade de análise de fluxo de bits 201.

[00830] A informação de cabeçalho Ih é extraída para a unidade de controle de memória 284. A informação de cabeçalho pode ser descrita como uma informação de cabeçalho de toda a seqüência, uma informação de cabeçalho em unidades de várias imagens (por exemplo, GOP em MPEG) ou uma informação de cabeçalho em unidades de imagem.

[00831] As imagens no fluxo de bits Bs introduzidas no aparelho de decodificação de filme 80 são dispostas na ordem ou na decodificação de imagem, como mostrado na figura 36(a). A partir deste ponto, os processos de decodificação para as imagens P13, B11 e B12 serão especificamente descritos nesta ordem.

Processo de Decodificação para Imagem P13 [00832] Quando o fluxo de bits correspondente à imagem P13 é introduzido na unidade de análise de fluxo de bits 201, a unidade de

Petição 870170060093, de 18/08/2017, pág. 215/243

211/232 análise de fluxo de bits 201 extrai vários tipos de dados do fluxo de bits introduzido. Os vários tipos de dados são uma informação (modo de codificação) Ms relativo à seleção de modo, uma informação do vetor de movimento MV, a informação de cabeçalho descrita acima e similares. O modo de codificação extraído Ms é extraído para a unidade de decodificação de modo 283. Ainda, o vetor de movimento MV extraído é extraído para a unidade de decodificação de compensação de movimento 205. Mais ainda, o dado codificado Ed extraído pela unidade de análise de fluxo de bits 201 é extraído para a unidade de decodificação de erro de previsão 202.

[00833] A unidade de decodificação de modo 283 controla as chaves 209 e 210 com referência à informação de seleção de modo (modo de codificação) Ms extraída do fluxo de bits. Quando o modo de codificação Ms é um modo de codificação intra-imagem e quando o modo de codificação Ms é um modo de codificação de previsão interimagens, as chaves 209 e 210 são controladas da maneira similar àquela descrita para a sexta modalidade.

[00834] Ainda, a unidade de decodificação de modo 283 extrai o modo de codificação Ms para a unidade de decodificação de compensação de movimento 205.

[00835] A partir deste ponto, será dada uma descrição do caso em que o modo de codificação é um modo de codificação de previsão interimagens.

[00836] Uma vez que as operações da unidade de decodificação de erro de previsão 202, da unidade de decodificação de compensação de movimento 205 e da unidade de adição 208 são idênticas aquelas descritas com a sexta modalidade, uma descrição repetida não é necessária.

[00837] A figura 37 mostra como as imagens, cujos dados são armazenados na memória de imagem de referência 207 mudam com o tempo.

Petição 870170060093, de 18/08/2017, pág. 216/243

212/232 [00838] Quando a decodificação da imagem P13 é iniciada, as imagens B8, P7 e P10 são armazenadas nas áreas R1, R2 e R3 da memória de imagem de referência 207. A imagem P13 é decodificada usando-se as imagens P7 e P10 como candidatas para uma imagem de referência, e a imagem P13 é armazenada na área de memória R1, onde a imagem B8 tinha sido armazenada. Essa reescrita de dados de imagem de cada imagem na memória de imagem de referência é realizada com base na informação de cabeçalho, o qual é adicionado ao fluxo de bit. Essa informação de cabeçalho indica que a imagem P7 deve ser armazenada na memória de imagem de referência 207, até a decodificação da imagem P13 estar completa, a imagem P10 deve ser armazenada na memória até a decodificação da imagem P16 estar completa e a imagem B8 deve ser armazenada na memória até a decodificação da imagem B9 estar completa.

[00839] Em outras palavras, já que pode ser decidido que a imagem B8 não é necessário para decodificação de imagem P13 e as sequintes imagens, a imagem P13 é escrita sobre a área de memória de imagem de referência R1 onde a imagem B8 é armazenada.

[00840] Ainda uma vez que uma informação indicando que a imagem P13 deve ser armazenada na memória de imagem de referência até a decodificação da imagem P19 esteja completa é descrita como uma informação de cabeçalho da imagem P13, a imagem P13 é armazenada na memória de imagem de referência pelo menos até aquele momento.

[00841] Como descrito acima, os blocos na imagem P13 são sucessivamente decodificados. Quando todos os dados codificados correspondentes aos blocos na imagem P13 tiverem sido decodificados, a decodificação da imagem B11 ocorre.

Processo de Decodificação para Imagem B11 [00842] Uma vez que as operações da unidade de análise de fluxo

Petição 870170060093, de 18/08/2017, pág. 217/243

213/232 de bits 201, da unidade de decodificação de modo 203 e da unidade de decodificação de erro de previsão 202 são idênticas àquelas descritas para a decodificação da imagem P13, uma descrição repetida não é necessária.

[00843] A unidade de decodificação de compensação de movimento 205 gera um dado de imagem de compensação de movimento Pd a partir da informação introduzida tal como o vetor de movimento. Isto é, a informação introduzida para a unidade de decodificação de compensação de movimento 205 é o vetor de movimento MV e um índice de imagem de referência correspondente à imagem B11. A imagem B11 foi codificada usando-se a imagem P10 como uma imagem de referência à frente e a imagem P13 como uma imagem de referência para trás. Assim sendo, na decodificação da imagem B11, essas imagens candidatas P10 e P13 já foram decodificadas, e os dados de imagem decodificados DId correspondentes são armazenados na memória de imagem de referência 207.

[00844] Quando o modo de codificação é um modo de codificação de previsão bidirecional, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de referência à frente a partir da memória de imagem de referência 207 com base na informação indicando o vetor de movimento para frente, e obtém uma imagem de referência para trás a partir da memória 207 com base na informação indicando o vetor de movimento para trás. Então, a unidade de decodificação de compensação de movimento 205 executa uma adição e uma ponderação da imagem de referência à frente e da imagem de referência para trás para a geração de uma imagem de compensação de movimento. O dado Pd da imagem de compensação de movimento assim gerado é extraído para a unidade de adição 208.

[00845] A unidade de adição 208 adiciona o dado de imagem de erro de previsão introduzido PDd e o dado de imagem de compensaPetição 870170060093, de 18/08/2017, pág. 218/243

214/232 ção de movimento Pd para a extração do dado de imagem de adição Ad. O dado de imagem de adição Ad assim gerado é extraído como um dado de imagem decodificado DId, através da chave 210, para a memória de imagem de referência 207.

[00846] A unidade de controle de memória 284 controla a memória de imagem de referência 207 com base em uma informação indicando quais imagens candidatas são referidas na codificação da imagem P e da imagem B, cuja informação é uma informação de cabeçalho do fluxo de bits.

[00847] A figura 37 mostra como as imagens armazenadas na memória de imagem de referência 207 mudam com o tempo.

[00848] Quando a decodificação da imagem P11 é iniciada, as imagens P13, P7 e P10 são armazenadas na memória de imagem de referência 207. A imagem P11 é decodificada usando-se as imagens P10 e P13 como imagens de referência, e a imagem P11 é armazenada na área de memória R2, onde a imagem P7 tinha sido armazenada. Essa reescrita de cada imagem na memória de imagem de referência 207 é realizada com base na informação de cabeçalho de cada imagem a qual é adicionada ao fluxo de bits. Esta informação de cabeçalho indica que a imagem P7 deve ser armazenada na memória de imagem de referência 207 até a decodificação da imagem P13 estar completa, a imagem P10 deve ser armazenada na memória até a decodificação da imagem P16 estar completa, e a imagem P13 deve ser armazenada na memória até a decodificação da imagem P19 estar completa.

[00849] Em outras palavras, uma vez que é decidido que a imagem P7 não é necessária para a decodificação da imagem P13 e das imagens seguintes, a imagem P11 é armazenada na área de memória de imagem de referência R2, onde a imagem P7 é armazenada.

[00850] Ainda, uma vez que uma informação indicando que a imaPetição 870170060093, de 18/08/2017, pág. 219/243

215/232 gem B11 deve ser armazenada na memória de imagem de referência 207 até a decodificação da imagem B12 estar completa é descrita como uma informação de cabeçalho da imagem B11, a imagem B11 é armazenada na memória de imagem de referência 207 pelo menos até aquele momento.

[00851] Como descrito acima, os dados codificados correspondentes aos blocos na imagem B11 são sucessivamente decodificados. Quando todos os dados codificados correspondentes aos blocos na imagem B11 tiverem sido decodificados, a decodificação da imagem B12 ocorre.

Processo de Decodificação para Imagem B12 [00852] Uma vez que as operações da unidade de análise de fluxo de bits 201, da unidade de decodificação de modo 203 e da unidade de decodificação de erro de previsão 202 são idênticas àquelas descritas para a decodificação da imagem P13, uma descrição repetida não é necessária.

[00853] A unidade de decodificação de compensação de movimento 205 gerencia um dado de imagem de compensação de movimento Pd a partir da informação introduzida, tal como o vetor de movimento. Isto é, a informação introduzida para a unidade de decodificação de compensação de movimento 205 é o vetor de movimento MV e um índice de imagem de referência correspondente à imagem B12. A imagem B12 foi codificada usando-se as imagens P10 e B11 como candidatas para uma imagem de referência à frente, e a imagem P13 como uma imagem de referência para trás. Essas imagens candidatas de referência P10, B11 e P13 já foram decodificadas, e os dados de imagem decodificados são armazenados na memória de imagem de referência 207.

[00854] Quando o modo de codificação é um modo de codificação de previsão bidirecional, a unidade de decodificação de compensação

Petição 870170060093, de 18/08/2017, pág. 220/243

216/232 de movimento 205 determina qual das imagens P10 e B11 é usada como uma imagem de referência à frente na codificação da imagem B12, de acordo com os índices de imagem de referência, e obtém uma imagem de referência à frente a partir da memória de imagem de referência 207, de acordo com a informação indicando o vetor de movimento para frente. Ainda, a unidade de decodificação de compensação de movimento 205 obtém uma imagem de referência para trás a partir da memória 207, de acordo com a informação indicando o vetor de movimento para trás. Então, a unidade de decodificação de compensação de movimento 205 executa uma adição e uma ponderação da imagem de referência à frente e da imagem de referência para trás para a geração de uma imagem de compensação de movimento. O dado Pd da imagem de compensação de movimento assim gerado é extraído para a unidade de adição 208.

[00855] A unidade de adição 208 adiciona o dado de imagem de erro de previsão introduzido PDd e o dado de imagem de compensação de movimento Pd para a extração do dado de imagem de adição Ad. O dado de imagem de adição Ad assim gerado é extraído como um dado de imagem decodificado DId, através da chave 210, para a memória de imagem de referência 207.

[00856] A unidade de controle de memória 284 controla a memória de imagem de referência 207 com base em uma informação indicando quais imagens candidatas são referidas na codificação da imagem P e da imagem B, cuja informação é extraída a partir da informação de cabeçalho do fluxo de bits.

[00857] A figura 37 mostra como as imagens armazenadas na memória de imagem de referência 207 mudam com o tempo. Quando a decodificação da imagem B12 é iniciada, as imagens P13, B11 e P10 são armazenadas na memória de imagem de referência 207. A imagem B12 é decodificada usando-se as imagens P13, B11 e P10 como

Petição 870170060093, de 18/08/2017, pág. 221/243

217/232 imagens candidatas de referência. Uma vez que uma informação indicando que a imagem B12 não é para ser usada como uma imagem de referência quando da decodificação de uma outra imagem é descrita como uma informação de cabeçalho, o dado decodificado da imagem B12 não é armazenado na memória de imagem de referência 207, mas extraído como um dado de imagem de saída Od.

[00858] Como descrito acima, o dado codificado correspondente aos blocos na imagem B12 são sucessivamente decodificados. Os dados de imagem decodificados das respectivas imagens, os quais são armazenados na memória de imagem de referência 207, e os dados de imagem decodificados, os quais não são armazenados na memória de imagem de referência 207, são rearranjados na ordem de seus tempos de exibição, como mostrado na figura 36(b), e extraídos como o dado de imagem de saída Od.

[00859] Após isso o dado codificado correspondente às respectivas imagens são decodificados da mesma maneira que a descrita acima de acordo com o tipo de imagem.

[00860] Para ser específico, os dados codificados das imagens P são decodificados como a imagem P13, e a primeira imagem B (imagem B14, B17 ou similar) das imagens B contínuas é processada como a imagem P11. Ainda, a segunda imagem B (imagem B15, B18 ou similar) das imagens B contínuas é processada como a imagem P12. [00861] Como descrito acima, no aparelho de decodificação de filme 80 de acordo com a oitava modalidade, uma vez que uma imagem B é usada como uma imagem candidata de referência quando da decodificação de uma imagem B, um fluxo de bits, o qual é obtido em um processo de codificação que usa uma imagem B bem como imagens P como imagens candidatas de referência à frente quando da codificação de uma imagem B pode ser precisamente decodificado. Ainda, uma vez que a memória de imagem de referência é controlada usanPetição 870170060093, de 18/08/2017, pág. 222/243

218/232 do-se uma informação obtida a partir do fluxo de bits, indicando quais imagens de referência são usadas na codificação de uma imagem P e de uma imagem B, a memória de imagem de referência pode ser efetivamente utilizada. Isto é, os dados de imagem de imagens a serem usados como imagens de referência no processo de decodificação a seguir são mantidos na memória de imagem de referência, enquanto os dados de imagem de imagens a não serem usadas como imagens de referência no processo de decodificação a seguir são sucessivamente apagados da memória, por meio do que a memória de imagem de referência pode ser efetivamente utilizada.

[00862] Embora esta oitava modalidade empregue um fluxo de bits correspondente a uma seqüência de imagem na qual duas imagens B são inseridas interimagens P adjacentes, o número de imagens B posicionadas interimagens P adjacentes pode ser outro além de dois, por exemplo, pode ser três ou quatro.

[00863] Mais ainda, embora nesta oitava modalidade duas imagens sejam usadas como imagens candidatas para uma referência à frente quando da decodificação de uma imagem P, o número de imagens candidatas de referência à frente a serem referidas na decodificação de uma imagem P não está restrito a isso.

[00864] Mais ainda, nesta oitava modalidade, quando da decodificação de uma imagem B, uma imagem P e uma imagem B são usadas como imagens candidatas para uma referência à frente, e uma imagem B a qual está posicionada à frente de uma imagem I ou P que é mais próxima no sentido do tempo da imagem alvo B, não é usada com uma imagem de referência. Entretanto, as imagens a serem usadas como imagens candidatas de referência na decodificação de uma imagem B podem ser outras além daquelas descritas para a oitava modalidade. Ainda, quando da decodificação de uma imagem B, uma imagem B a qual está posicionada à frente de uma imagem I ou P que

Petição 870170060093, de 18/08/2017, pág. 223/243

219/232 é mais próxima no sentido do tempo da imagem alvo B pode ser usada como uma imagem de referência.

[00865] Mais ainda, embora na oitava modalidade os dados de imagem decodificados de imagens as quais não são para serem usadas como imagens de referência quando da decodificação de outras imagens não sejam armazenados na memória de imagem de referência, os dados de imagem decodificados dessas imagens podem ser armazenados na memória.

[00866] Por exemplo, quando a extração de dados de imagem decodificados de cada imagem é realizada com um pequeno atraso em relação à decodificação de cada imagem, os dados de imagem de cada imagem devem ser armazenados na memória de imagem de referência. Neste caso, uma área de memória, outra que não a área de memória onde os dados de imagem decodificados das imagens candidatas de resistência estão armazenados, é provida na memória de imagem de referência, e os dados de imagem decodificados das imagens a não serem usadas como imagens de referência são armazenados nesta área de memória. Embora, neste caso, a capacidade de armazenamento da memória de imagem de referência seja aumentada, o método para o gerenciamento da memória de imagem de referência é idêntico àquele descrito para a oitava modalidade e, portanto, a memória de imagem de referência pode ser facilmente gerenciada.

[00867] Embora todas as imagens sejam usadas como imagens candidatas de referência na segunda, quarta, sexta e oitava montagens, todas as imagens não são necessariamente usadas como imagens candidatas de referência.

[00868] Para ser breve, em um aparelho de decodificação de filme, usualmente, as imagens já decodificadas são uma vez armazenadas em um buffer de decodificação (memória de quadro decodificado), independentemente de elas serem usadas como imagens candidatas de

Petição 870170060093, de 18/08/2017, pág. 224/243

220/232 referência ou não, e, após isso, as imagens já decodificadas são sucessivamente lidas a partir do buffer de decodificação para serem exibidas.

[00869] Na segunda, quarta, sexta e oitava modalidades da presente invenção, todas as imagens são usadas como imagens candidatas e, portanto, todas as imagens já decodificadas são armazenadas em uma memória de imagem de referência para manutenção de imagens a serem usadas como imagens candidatas de referência e, após isso, as imagens já decodificadas são sucessivamente lidas a partir da memória de imagem de referência para serem exibidas.

[00870] Entretanto, como descrito acima, todas as imagens já decodificadas não são necessariamente usadas como imagens candidatas de referência. Assim sendo, as imagens já decodificadas podem ser uma vez armazenadas em um buffer de decodificação (memória de quadro decodificada) para manutenção não apenas das imagens a não serem usadas como imagens candidatas de referência, mas, também, das imagens a serem usadas como imagens candidatas de referência e, após isso, as imagens já decodificadas são sucessivamente lidas a partir do buffer de decodificação, para serem exibidas.

[00871] O aparelho de codificação de filme ou o aparelho de decodificação de filme de acordo com qualquer uma das modalidades mencionadas acima é implementado por hardware, embora esses aparelhos possam ser implementados por software. Neste caso, quando um programa para a execução do processo de codificação ou de decodificação de acordo com qualquer uma das modalidades mencionadas acima é gravado em um meio de armazenamento de dados, tal como um disco flexível, o aparelho de codificação de filme ou o aparelho de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente pode ser facilmente implementado em um sistema de computador independente.

Petição 870170060093, de 18/08/2017, pág. 225/243

221/232 [00872] As figuras 38(a) a 38(c) são diagramas para explanação de um sistema de computador para a execução do processo de codificação de filme de acordo com qualquer uma dentre as primeira, terceira, quinta e sétima modalidades e do processo de decodificação de filme de acordo com qualquer uma dentre as segunda, quarta, sexta e oitava modalidades.

[00873] A figura 38(a) mostra uma vista frontal de um disco flexível FD, o qual é um meio que contém um programa empregado no sistema de computador, uma vista em seção transversal do mesmo e um corpo de disco flexível D. A figura 38(b) mostra um exemplo de um formato físico do corpo de disco flexível D.

[00874] O disco flexível FD é composto pelo corpo de disco flexível D e por um invólucro FC, que contém o corpo de disco flexível D. Na superfície do corpo de disco D, uma pluralidade de trilhas Tr é formada concentricamente a partir da circunferência externa do disco em direção à circunferência interna. Cada trilha é dividida em 16 setores Se na direção angular. Portanto, no disco flexível FD contendo o programa mencionado acima, os dados do programa para a execução do processo de codificação de filme ou do processo de decodificação de filme são gravados nas áreas de armazenamento (setores) atribuídas no corpo de disco flexível D.

[00875] A figura 38(c) mostra a estrutura para a gravação ou a reprodução do programa no/a partir do disco flexível FD. Quando o programa é gravado no disco flexível FD, os dados do programa são escritos no disco flexível FD a partir do sistema de computador Csys através da unidade de disco flexível FDD. Quando o aparelho de codificação ou de decodificação de filme mencionado acima é construído no sistema de computador Csys pelo programa gravado no disco flexível FD, o programa é lido a partir do disco flexível FD pela unidade de disco flexível FDD e, então, carregado no sistema de computador

Petição 870170060093, de 18/08/2017, pág. 226/243

222/232

Csys.

[00876] Embora na descrição acima um disco flexível seja empregado como um meio de armazenamento, um disco ótico também pode ser empregado. Também neste caso, o processo de codificação ou de decodificação de filme pode ser realizado por software de uma maneira similar a do caso de uso do disco flexível. O meio de armazenamento não está restrito a esses discos, e qualquer meio pode ser empregado desde que ele possa conter o programa, por exemplo, um CDROM, uma placa de memória ou um cassete de ROM. Também, quando esse meio de armazenamento de dados é empregado, o processo de codificação ou de decodificação de filme pode ser realizado pelo sistema de computador da mesma maneira que no caso de uso do disco flexível.

[00877] As aplicações do método de codificação de filme e do método de decodificação de filme de acordo com qualquer uma das montagens mencionadas anteriormente e sistemas usando os mesmos serão descritos a partir deste ponto.

[00878] A figura 39 é um diagrama de blocos que ilustra toda uma construção de um sistema de provisão de conteúdo 1100, que executa serviços de distribuição de conteúdo.

[00879] Uma área de provisão de serviços de comunicação é dividida em regiões (células) de tamanho desejado, e estações de base 1107 a 1110 as quais são, cada uma, estações de rádio fixas, são estabelecidas nas respectivas células.

[00880] Neste sistema de provisão de conteúdo 1100, vários dispositivos, tais como um computador 1111, um PDA (assistente pessoal digital) 1112, uma câmera 1113, um telefone portátil 1114 e um telefone portátil com uma câmera 1200 são conectados à Internet 1101 através de um provedor de serviços de Internet 1102, uma rede de telefonia 1104 e das estações de base 1107 a 1110.

Petição 870170060093, de 18/08/2017, pág. 227/243

223/232 [00881] Entretanto, o sistema de provisão de conteúdo 1100 não está restrito a um sistema incluindo todos os vários dispositivos mostrados na figura 39, mas pode ser um incluindo alguns dos vários dispositivos mostrados na figura 39. Ainda, os respectivos dispositivos podem ser conectados diretamente à rede de telefonia 1104, não através das estações de base 1107 a 1110 como as estações de rádio fixas.

[00882] A câmera 1113 é um dispositivo que pode tirar fotos de um objeto, como uma câmera de vídeo digital. O telefone portátil pode ser um aparelho de telefone portátil de acordo com qualquer sistema de PDC (Comunicações Digitais Pessoais), sistema CDMA (Acesso Múltiplo de Divisão de Código), sistema W-CDMA (Acesso Múltiplo de Divisão de Código de Banda Larga) e sistema GSM (Sistema Global para Comunicações Móveis), ou um PHS (Sistema de Telefone Portátil Pessoal).

[00883] Um servidor de streaming 1103 é conectado à câmera 1113 através da estação de base 1109 e da rede de telefonia 1104. Neste sistema, uma distribuição ao vivo baseada em dados codificados, os quais são transmitidos por um usuário usando a câmera 1113, pode ser realizada. O processo de codificação para os dados de imagens feitas pode ser realizado pela câmera 1113 ou pelo servidor que transmite os dados. Os dados de filme, os quais são obtidos pela feitura de filmes de um objeto por meio da câmera 1116, podem ser transmitidos para o servidor de streaming 1103 através do computador 1111. A câmera 1116 é um dispositivo que pode tomar imagens paradas ou imagens em movimento de um objeto, tal como uma câmera digital. Neste caso, a codificação dos dados de filme pode ser realizada pela câmera 1116 ou pelo computador 1111. Ainda, o processo de codificação é realizado por uma LSI 1117 incluída no computador 1111 ou na câmera 1116.

Petição 870170060093, de 18/08/2017, pág. 228/243

224/232 [00884] Um software de codificação ou decodificação de imagem pode ser armazenado em um meio de armazenamento (um CD-ROM, um disco flexível, um disco rígido, ou similar), o qual é um meio de gravação que contém dados que podem ser lidos pelo computador 1111 ou similar. Os dados de filme podem ser transmitidos através do telefone portátil com uma câmera 1200. Os dados de filme são dados os quais foram codificados por um LSI incluído no telefone portátil 1200.

[00885] Neste sistema de provisão de conteúdo 1100, os conteúdos correspondentes às imagens feitas pelo usuário por meio da câmera 1113 ou da câmera 1116 (por exemplo, um vídeo ao vivo de um concerto musical) são codificados na câmera da mesma maneira que qualquer uma das montagens mencionadas acima, e transmitidos a partir da câmera para o servidor de streaming 1103. Os dados de conteúdo são submetidos a uma distribuição de streaming a partir do servidor de streaming 1103 para um cliente requisitando.

[00886] O cliente pode ser qualquer um dentre o computador 1111, o PDA 1112, a câmera 1113, o telefone portátil 1114 e similares, o qual possa decodificar os dados codificados.

[00887] Neste sistema de provisão de conteúdo 1100, os dados codificados podem ser recebidos e reproduzidos no lado de cliente. Quando os dados são recebidos, decodificados e reproduzidos em tempo real no lado de cliente, uma difusão privada pode ser realizada. [00888] A codificação ou a decodificação nos respectivos dispositivos que constituem este sistema pode ser realizada usando-se o aparelho de codificação de filme ou o aparelho de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente.

[00889] Um telefone portátil será descrito agora como um exemplo do aparelho de codificação ou de decodificação de filme.

Petição 870170060093, de 18/08/2017, pág. 229/243

225/232 [00890] A figura 40 é um diagrama que ilustra um telefone portátil 1200 que emprega o método de codificação de filme e o método de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente.

[00891] Este telefone portátil 1200 inclui uma antena 1201 para a transmissão/recepção de ondas de rádio a partir da estação de base 1110, uma unidade de câmera 1203, que pode fazer imagens de vídeo ou paradas de um objeto, tal como uma câmera de CCD, e uma unidade de exibição 1202, tal como um visor de cristal líquido para exibição de dados do vídeo feito pela unidade de câmera 1203 ou um vídeo recebido através da antena 1201.

[00892] O telefone portátil 1200 ainda inclui um corpo principal 1204 que inclui várias teclas de controle, uma unidade de saída de voz 1208 para a extração de vozes, tal como um alto-falante, uma unidade de entrada de voz 1205 para a introdução de vozes, tal como um microfone, um meio de gravação 1207 para retenção de dados codificados ou de dados decodificados, tais como dados tomados de filmes ou de imagens paradas, ou dados, dados de filme ou dados de imagem parada de e-mails recebidos, e uma unidade de soquete 1206, a qual permite que o meio de gravação 1207 seja afixado ao telefone portátil 1200.

[00893] O meio de gravação 1207 tem um elemento de memória flash como um tipo de EEPROM (Memória Apenas de Leitura Eletricamente Apagável e Programável) que é uma memória não volátil eletricamente apagável e programável contida em um invólucro de plástico, tal como uma placa de SD.

[00894] O telefone portátil 1200 será descrito mais especificamente com referência à figura 41.

[00895] O telefone portátil 1200 tem uma unidade de controle principal 1241 que executa o controle geral das respectivas unidades do

Petição 870170060093, de 18/08/2017, pág. 230/243

226/232 corpo principal, incluindo a unidade de exibição 1202 e a tecla de controle 1204.

[00896] O telefone portátil 1200 ainda inclui um circuito de suprimento de energia 1240, uma unidade de controle de entrada em operação 1234, uma unidade de codificação de imagem 1242, uma unidade de interface de câmera 1233, uma unidade de controle de LCD (Visor de Cristal Líquido) 1232, uma unidade de decodificação de imagem 1239, uma unidade de multiplexação/demultiplexação 1238, uma unidade de gravação/reprodução 1237, uma unidade de modulação/demodulação 1236 e uma unidade de processamento de áudio 1235. As respectivas unidades do telefone portátil 1200 são conectadas umas às outras através de um barramento de sincronização 1250. [00897] O circuito de suprimento de energia 1240 supre energia a partir de uma bateria para as respectivas unidades, quando uma tecla de término de chassi suprimento de energia é LIGADA sob o controle de um usuário, desse modo ativando o telefone portátil digital com uma câmera 1200 para ser ligado em um estado operável.

[00898] No telefone portátil 1200, as respectivas unidades operam sob o controle da unidade de controle principal 1241, que é constituída por uma CPU, uma ROM, uma RAM ou similar. Para ser mais específico, no telefone portátil 1200, um sinal de áudio que é obtido pela introdução de voz na unidade de entrada de voz 1205 em um modo de comunicação de voz é convertido em um dado de áudio digital pela unidade de processamento de áudio 1235. O dado de áudio digital é submetido a um processo de dispersão de espectro pelo circuito de modulação/demodulação 1236, ainda submetido a um processo de conversão DA e a um processo de transformação de freqüência pelo circuito de transmissão/recepção 1231, e transmitido através da antena 1201.

[00899] Neste aparelho de telefone portátil 1200, um sinal recebido

Petição 870170060093, de 18/08/2017, pág. 231/243

227/232 através da antena 1201 no modo de comunicação de voz é amplificado e, então, submetido a um processo de transformação de freqüência e, então, submetido a um processo de transformação de freqüência e a um processo de conversão AD. O sinal recebido é ainda submetido a um processo de dispersão inversa de espectro no de modulação/demodulação 1236, convertido em um sinal de áudio analógico pela unidade de processamento de áudio 1235, e este sinal de áudio analógico é extraído através da unidade de saída de voz 1208.

[00900] Quando o telefone portátil 1200 transmite um correio eletrônico em um modo de comunicação de dados, os dados de texto do e-mail que são introduzidos pela manipulação da tecla de controle 1204 no corpo principal são transmitidos para a unidade de controle principal 1241, através da unidade de controle de entrada em operação 1234. A unidade de controle principal 1241 controla as respectivas unidades, de modo que o dado de texto seja submetido a um processo de dispersão de espectro no de modulação/demodulação 1236, então, submetido ao processo de conversão DA e ao processo de transformação de freqüência no circuito de transmissão/recepção 1231 e, então, transmitido para a estação de base 1110 através da antena 1201. [00901] Quando este telefone portátil 1200 transmite um dado de imagem no modo de comunicação de dados, o dado de uma imagem feita pela unidade de câmera 1203 é suprido para a unidade de codificação de imagem 1242, através da unidade de interface de câmera 1233. Quando o telefone portátil 1200 não transmite o dado de imagem, o dado da imagem feita pela unidade de câmera 1203 pode ser exibido diretamente na unidade de exibição 1202, através da unidade de interface de câmera 1233 e da unidade de controle de LCD 1232. [00902] A unidade de codificação de imagem 1242 inclui o aparelho de codificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente. Esta unidade de codificação de imagem

Petição 870170060093, de 18/08/2017, pág. 232/243

228/232

1242 codifica de forma compressiva os dados de imagem supridos a partir da unidade de câmera 1203 pelo método de codificação de filme de acordo com qualquer uma das modalidades acima, para a conversão dos mesmos em dados de imagem codificados, e extrai os dados de imagem codificados obtidos para a unidade de multiplexação/demultiplexação 1238. Ao mesmo tempo, o telefone portátil 1200 transmite vozes, as quais são introduzidas na unidade de entrada de voz 1205 enquanto a imagem está sendo feita pela unidade de câmera 1203, como um dado de áudio digital, para a unidade de multiplexação/demultiplexação 1238 através da unidade de processamento de áudio 1235.

[00903] A unidade de multiplexação/demultiplexação 1238 multiplexa os dados de imagem codificados a partir da unidade de codificação de imagem 1242 e os dados de áudio supridos a partir da unidade de processamento de áudio 1235 por um método predeterminado. O dado multiplexado resultante é submetido a um processo de dispersão de espectro no de modulação/demodulação 1236, então, ainda submetido a um processo de conversão DA e ao processo de transformação de freqüência no circuito de transmissão/recepção 1231, e o dado obtido é transmitido através da antena 1201.

[00904] Quando o telefone portátil 1200 recebe dados de um arquivo de filme que é ligado a uma homepage ou similar no modo de comunicação de dados, um sinal recebido da estação de base 1110 através da antena 1201 é submetido a um processo de dispersão inversa de espectro pelo de modulação/demodulação 1236, e o dado multiplexado resultante é transmitido para a unidade de multiplexação/demultiplexação 1238.

[00905] Quando o dado multiplexado que é recebido através da antena 1201 é decodificado, a unidade de multiplexação/demultiplexação 1238 demultiplexa o dado multiplexado para dividir o dado em um fluxo

Petição 870170060093, de 18/08/2017, pág. 233/243

229/232 de bits codificado correspondente ao dado de imagem e um fluxo de bits codificado correspondente ao dado de áudio, e o dado de imagem codificado é suprido para a unidade de decodificação de imagem 1239 e o dado de áudio é suprido para a unidade de processamento de áudio 1235 através do barramento de sincronização 1250.

[00906] A unidade de decodificação de imagem 1239 inclui o aparelho de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente. A unidade de decodificação de imagem 1239 decodifica o fluxo de bits codificado do fim pelo método de decodificação correspondente ao método de codificação, de acordo com qualquer uma das modalidades mencionadas acima, para a reprodução de dados de filme, e supre os dados reproduzidos para a unidade de exibição 1202, através da unidade de controle de LCD 1232. Desse modo, por exemplo, o dado de filme incluído no arquivo de filme que está ligado à homepage é exibido. Ao mesmo tempo, a unidade de processamento de áudio 1235 converte o dado de áudio em um sinal de áudio analógico, e, então, supre o sinal de áudio analógico para a unidade de saída de voz 1208. Desse modo, por exemplo, o dado de áudio incluído no arquivo de filme que está ligado à homepage é reproduzido.

[00907] Aqui, um sistema ao qual o método de codificação de filme e o método de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente é aplicável, não está restrito ao sistema de provisão de conteúdo mencionado acima.

[00908] Recentemente, fala-se freqüentemente de uma difusão digital usando satélites ou ondas terrestres, e o aparelho de codificação de imagem e o aparelho de decodificação de imagem de acordo com as modalidades acima é aplicável também a um sistema de difusão digital, como mostrado na figura 42.

[00909] Mais especificamente, um fluxo de bits de código corresPetição 870170060093, de 18/08/2017, pág. 234/243

230/232 pondente a uma informação de vídeo é transmitido a partir de uma estação de difusão 1409 para um satélite 1410, tal como um satélite de comunicação ou um satélite de difusão, através de uma comunicação por rádio. Quando o satélite de difusão 1410 recebe o fluxo de bits codificado correspondente à informação de vídeo, o satélite 1410 extrai ondas de difusão, e essas ondas são recebidas por uma antena 1406 em uma casa, incluindo uma instalação de recepção de difusão por satélite. Por exemplo, um aparelho tal como uma televisão (receptor) 1401 ou uma caixa de decodificador (STB) 1407 decodifica o fluxo de bits codificado e reproduz a informação de vídeo.

[00910] Ainda, o aparelho de decodificação de imagem de acordo com qualquer uma das modalidades mencionadas acima pode ser montado também em um aparelho de reprodução 1403 que pode ler e decodificar o fluxo de bit codificado gravado em um meio de armazenamento 1402, tal como um CD ou um DVD (meio de gravação). [00911] Neste caso, um sinal de vídeo reproduzido é exibido em um monitor 1404. O aparelho de decodificação de filme pode ser montado na caixa de decodificador 1407 que é conectada a um cabo para uma televisão a cabo 1405 ou a uma antena para uma difusão por satélite/terrestre 1406, para a reprodução de uma saída do aparelho de decodificação de filme a ser exibida em um monitor 1408 da televisão. Neste caso, o aparelho de decodificação de filme pode ser incorporado não na caixa de decodificador na televisão. Um veículo 1412 tendo uma antena 1411 pode receber um sinal do satélite 1410 ou da estação de base 1107 e reproduzir um filme para exibição do mesmo em um dispositivo de exibição de um sistema de navegação de veículo 1413 ou similar, o qual é montado no veículo 1412.

[00912] Ainda, também é possível que um sinal de imagem possa ser codificado pelo aparelho de codificação de filme de acordo com qualquer uma das modalidades mencionadas acima e gravado em um

Petição 870170060093, de 18/08/2017, pág. 235/243

231/232 meio de gravação.

[00913] Um exemplo específico de um dispositivo de gravação é um gravador 1420 tal como um gravador de DVD, que grava sinais de imagem em um dispositivo de DVD 1421, e um gravador de disco que grava sinais de imagem em um disco rígido. Os sinais de imagem podem ser gravados em uma placa SD 1422. Ainda, o gravador 1420 inclui o aparelho de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente, os sinais de imagem os quais são gravados no disco de DVD 1421 ou na placa SD 1422 podendo ser reproduzidos pelo gravador 1420 e exibidos no monitor 1408.

[00914] Aqui, a estrutura do sistema de navegação de carro 1413 pode incluir, por exemplo, os componentes do telefone portátil mostrados na figura 41, outros além da unidade de câmera 1203, a unidade de interface de câmera 1233 e a unidade de codificação de imagem 1242, e o mesmo se aplica ao computador 1111 ou à televisão (receptor) 1401.

[00915] Ainda, como o terminal tal como o telefone portátil 1114, um de três tipos de terminal: um terminal tipo de transmissão - recepção tendo um codificador e um decodificador, um terminal de transmissão tendo apenas um codificador e um terminal de recepção tendo apenas um decodificador pode ser montado.

[00916] Como descrito acima, o método de codificação de filme ou o método de decodificação de filme de acordo com qualquer uma das modalidades mencionadas anteriormente é aplicável a qualquer um dos dispositivos ou sistemas mencionados acima, por meio do que os efeitos como descrito nas modalidades acima podem ser obtidos. [00917] Mais ainda, é desnecessário dizer que as modalidades da presente invenção e as aplicações da mesma não estão restritas àquelas descritas neste relatório descritivo.

Petição 870170060093, de 18/08/2017, pág. 236/243

232/232

Aplicabilidade na Indústria [00918] Como descrito acima, no método de codificação de filme e no método de decodificação de filme de acordo com a presente invenção, quando uma imagem alvo a ser codificada ou decodificada é uma imagem B, uma imagem à frente que é posicionada mais próxima da imagem alvo pode ser usada como uma imagem de referência para a imagem alvo, por meio do que a acurácia de previsão na compensação de movimento para a imagem B é aumentada, resultando em uma eficiência de codificação melhorada. Particularmente, esses métodos são úteis no processamento de dados para a transferência ou a gravação de dados de filme.

Petição 870170060093, de 18/08/2017, pág. 237/243

1/2

Claims (2)

1. REIVINDICAÇÕES

   1. Método de decodificação para decodificar uma pluralidade de imagens que constituem uma imagem em movimento a partir de um fluxo de bits caracterizado pelo fato de que compreende:

   uma etapa de extração de primeira e segunda informação para extrair, a partir do fluxo de bits em uma base de imagem por imagem, (i) a primeira informação indicando que uma imagem de destino, que é uma dentre uma imagem I, uma imagem P e uma imagem B, pode ser uma imagem de referência a ser referida ao decodificar pelo menos uma das imagens P que seguem a imagem alvo ou decodificar pelo menos uma das imagens B a seguir à imagem alvo, (ii) uma segunda informação indicando que a imagem alvo não pode ser uma imagem de referência a ser referida ao decodificar cada uma das imagens P que seguem a imagem alvo ou descodificar cada uma das imagens B a seguir à imagem alvo;

   uma etapa de extração da terceira informação para extrair, a partir do fluxo de bits em uma base de imagem por imagem, (iii) uma terceira informação indicando uma pluralidade de imagens de referência candidatas, a imagem de referência candidata sendo uma candidata para uma imagem de referência selecionada a partir das imagens para as quais apenas a primeira informação está ligada, ao decodificar uma imagem alvo P ou decodificar uma imagem alvo B;

   uma etapa de extração da quarta informação para extrair, a partir do fluxo de bits em uma base bloco a bloco, (iv) uma quarta informação indicando uma imagem de referência especificada a ser referida quando se realiza a decodificação preditiva em um bloco alvo incluído na imagem alvo P ou Indicando uma ou duas imagens de referência especificadas a serem referidas quando se realiza a decodificação preditiva em um bloco alvo incluído na imagem alvo B;

   uma etapa de armazenamento para armazenar, em uma

   Petição 870170060093, de 18/08/2017, pág. 238/243
2. 2/2 base de imagem por imagem, a imagem alvo em uma memória como uma imagem de referência candidata apenas quando a primeira informação é extraída pela etapa de extração da primeira e segunda informação; e uma etapa de decodificação para descodificar, em uma base bloco a bloco, o bloco alvo utilizando uma imagem de referência especificada quando se realiza a decodificação preditiva no bloco alvo incluído na imagem alvo P ou utilizando uma ou duas imagens de referência especificadas para serem referidas quando se realiza a decodificação preditiva no bloco alvo incluído na imagem alvo B, em que a imagem de referência especificada é especificada em uma base de bloco a bloco, dentre uma pluralidade de imagens de referência candidatas que são armazenadas na memória, e o bloco alvo é decodificado de forma preditiva com referência à imagem de referência especificada quando executa a decodificação preditiva no bloco alvo incluído na imagem alvo P, e em que as uma ou duas imagens de referência especificadas são especificadas, em uma base de bloco a bloco, dentre uma pluralidade de imagens de referência candidatas que são armazenadas na memória, e o bloco alvo é decodificado de forma preditiva com referência a uma ou duas imagens de referência especificadas ao executar a decodificação preditiva no bloco de destino incluído na imagem alvo B.

   Petição 870170060093, de 18/08/2017, pág. 239/243

   1/51