BRPI0803098B1 - Dispositivos e métodos de processamento de informação, e, mídias de armazenamento legível por computador - Google Patents

Abstract

dispositivo e método de processamento de informação, e, programa. um aparelho e método de processamento de informação, e um programa habilitando uma redução em tempo de espera desnecessário em processamento de desempacotamento e processamento fácil e à alta velocidade. de acordo com um cabeçalho de precinto (171) adquirido por uma unidade de aquisição de dados (201), uma unidade de criação de cabeçalho comum (203) cria um cabeçalho comum que é adicionado a pacotes criados de um precinto disso. quando o tamanho de dados do precinto é maior do que o tamanho de pacote, uma unidade de processamento de fragmento (208) divide dados codificados adquiridos pela unidade de aquisição de dados (201) em unidades de um tamanho igual a cada tamanho de pacote. uma unidade de empacotamento (209) empacota a carga útil provida da unidade de processamento de fragmento (208) usando informação de cabeçalho provida de cada unidade e fixa apropriadamente o valor de informação de indicador tal como sff ou m incluídos no cabeçalho comum dos pacotes criados. a presente invenção é aplicável, por exemplo, a umaparelho de codificação.

Description

DISPOSITIVOS E MÉTODOS DE PROCESSAMENTO DE INFORMAÇÃO, E, MÍDIAS DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR

Campo Técnico [001] A presente invenção relaciona-se a um dispositivo e método de processamento de informação, e programa, e particularmente relaciona-se a um dispositivo e método de processamento de informação, e programa, por meio de que atraso pode ser reduzido na hora de transmissão/recepção de pacote.

Fundamento da técnica [002] Convencionalmente, transmissão em fluxo de vídeo e áudio pela Internet e assim sucessivamente tem sido executado. Neste momento, no evento que perda de pacote ou atraso de chegada ocorre, há a preocupação que deterioração de qualidade de dados pode ocorrer. Por exemplo, no caso de um método de codificação que tira diferença de inter-quadro, tal como com MPEG (Grupo de Peritos de Quadros Móveis) ou os métodos de compressão da família H.26x, se houver falta de dados de uma certo quadro devido a perda de pacote, denominada propagação de erro, que afeta a qualidade de imagem de quadros subsequentes, ocorre.

[003] Também, com o método de MPEG, a taxa de compressão é elevada por estimação de movimento, mas executar estimação de movimento faz algoritmos complicados, e o tempo de processamento aumenta proporcionalmente ao quadrado do tamanho de quadro, assim atraso de codificação de vários quadros ocorre em princípio. No caso de executar comunicação em tempo real bidirecional, o tempo de atraso está muito perto do tempo de atraso permitido de 250 ms, e é de uma magnitude não desprezível.

[004] Em contraste com estes, codecs de intra-quadro tais como representados por JPEG (Grupo de Peritos Fotográficos) 2000 não usam

Petição 870190088096, de 06/09/2019, pág. 6/138 / 112 informação de diferença de inter-quadro, assim atraso tal como descrito acima não ocorre. Porém, compressão é executada em incrementos de quadros, assim há a necessidade para esperar pelo menos 1 quadro até começo de codificação. Há 30 quadros por segundo com sistemas comuns hoje em dia, assim um tempo de espera ao redor de 16 ms é precisado para começo de codificação.

[005] Houve demanda para reduzir adicionalmente este atraso, e redução em atraso a porções diferentes de codificar e decodificar também se tornou necessária.

[006] Como para um de atraso de processamento, há processamento de empacotamento/desempacotamento em que empacotamento e desempacotamento de RTP (Protocolo de Transporte em Tempo Real) é executado. Convencionalmente, na hora de executar desempacotamento, processamento é começado depois de esperar por uma certa quantidade de pacotes se acumular, e por conseguinte atraso ocorreu. Como por uma razão para acumular pacotes, há um limite no tamanho máximo de um pacote que pode ser transmitido através da Internet sem ser dividido, e uma série de dados tendo um certo significado é transmitida tendo sido dividida em múltiplos pacotes. No desempacotamento igualmente, memorização temporária é executada até que os pacotes divididos estejam todos presentes, seguindo que desempacotamento é começado, assim atraso aumenta, e também recursos para a memória temporária são necessários.

[007] Quer dizer, com o dispositivo no lado de recepção de dados codificados, pacotes recebidos são desempacotados por uma unidade de processamento de desempacotamento, e dados codificados extraídos são decodificados por um decodificador, mas neste momento, há a necessidade para ter uma memória temporária a ambos o processamento de desempacotamento e processamento de decodificação, assim havia a preocupação que a capacidade de memória temporária poderia aumentar.

Petição 870190088096, de 06/09/2019, pág. 7/138 / 112 [008] Por outro lado, vários métodos foram concebidos para reduzir a capacidade de memória temporária (por exemplo, Documento de Patente 1). [009] No Documento de Patente 1, ao mesmo tempo como pacotes recebidos por um dispositivo de retransmissão sendo acumulados em memória temporária para correção de erro, transmissão sequencial para o lado a jusante é executada sem esperar pelos pacotes do bloco de computação de correção de erro inteiro chegarem, e no evento que um pacote perdido é detectado, isto é restaurado executando computação de correção de erro, e o pacote recuperado é transmitido em um formato seguindo os pacotes enviados à frente.

[0010] Documento de Patente 1: Publicação de Pedido de Patente Japonesa Não Examinada N° 2005-12753

Exposição da Invenção

Problema Técnico [0011] Porém, no caso do método descrito no Documento de Patente 1 acima mencionado, memória temporária é necessária no dispositivo de retransmissão igualmente, afim de executar correção de erro. Quer dizer, houve a preocupação que a capacidade de memória temporária poderia aumentar, como descrito acima. Também, no caso do método descrito no Documento de Patente 1, a ordem de pacotes é mudada se o dispositivo de retransmissão executar correção de erro de pacote. Por conseguinte, há a necessidade para rearranjar na hora de desempacotamento no dispositivo de recepção, assim não só faz processamento de desempacotamento se tornar complicado e atraso de tempo aumentar, mas também uma memória temporária é necessária para processamento de desempacotamento. No evento de executar decodificação de dados codificados que foram empacotados no dispositivo de recepção e transmitidos, uma memória temporária de decodificação também é necessária além desta memória temporária de desempacotamento, assim houve a preocupação que não só a capacidade de

Petição 870190088096, de 06/09/2019, pág. 8/138 / 112 memória, mas também o tempo de atraso, poderiam aumentar adicionalmente. [0012] A presente invenção foi proposta à luz de um tal estado atual convencional, para habilitar redução em tempo de atraso ocorrendo ao empacotar e transmitir/receber dados.

Solução Técnica [0013] Um aspecto da presente invenção é um dispositivo de processamento de informação para executar processamento de empacotamento de adicionar informação de cabeçalho a dados codificados de dados de imagem codificados todo incremento predeterminado e empacotamento, incluindo: meio de criação para criar a informação de cabeçalho; meio de divisão para dividir os dados codificados em uma pluralidade de dados parciais, a toda quantidade de dados predeterminada determinada previamente; meio de empacotamento para adicionar a informação de cabeçalho criada pelo meio de criação a cada um da pluralidade de dados parciais obtidos pelos dados codificados tendo sido divididos pelo meio de divisão; e empacotamento; e meio de colocação de indicador para fixar, sobre se um cabeçalho de pacote dos pacotes gerados pelo meio de empacotamento dos quais a carga útil são os dados parciais de cabeça da pluralidade dos dados parciais, um indicador de cabeçalho indicando o cabeçalho de pacote, incluído em informação de cabeçalho, e fixar, sobre se um pacote final do qual a carga útil são os dados parciais de fim da pluralidade dos dados parciais, um indicador de fim indicando o pacote final, incluído em informação de cabeçalho.

[0014] Os dados codificados podem ser dados codificados que foram transformados em wavelet e codificados por entropia, em incrementos de precintos que são grupos de linhas incluindo outras sub-bandas, necessárias para gerar um valor de linha de componentes de banda mais baixa de dados de imagem.

[0015] Os dados codificados podem ser providos na ordem de

Petição 870190088096, de 06/09/2019, pág. 9/138 / 112 decodificação.

[0016] Meio de codificação pode ser adicionalmente incluído para codificar os dados de imagem todo incremento predeterminado e gerar os dados codificados; em que o meio de divisão divide os dados codificados gerados pelo meio de codificação.

[0017] O meio de codificação pode prover informação adicionada do mesmo formato como com a informação de cabeçalho; e o meio de criação cria a informação de cabeçalho usando a informação adicionada provida pelo meio de codificação.

[0018] O meio de codificação pode prover informação de indicador indicando sucesso ou falha da codificação, e o meio de empacotamento executa empacotamento usando só a informação de cabeçalho criada pelo meio de criação no evento que determinação é feita que a codificação falhou, baseado na informação de indicador.

[0019] Um aspecto da presente invenção também é um método de processamento de informação de um dispositivo de processamento de informação para executar processamento de empacotamento de adicionar informação de cabeçalho a dados codificados de dados de imagem codificados todo incremento predeterminado e empacotamento, caracterizado pelo fato de compreender as etapas de: criar a informação de cabeçalho; dividir os dados codificados em uma pluralidade de dados parciais, a toda quantidade de dados predeterminada determinada previamente; adicionar a informação de cabeçalho a cada um da pluralidade de dados parciais obtidos pelos dados codificados tendo sido divididos, e empacotamento; e fixar, sobre um cabeçalho de pacote dos pacotes gerados do qual a carga útil são os dados parciais de cabeça da pluralidade dos dados parciais, uma indicador de cabeçalho indicando o cabeçalho de pacote, incluído em informação de cabeçalho, e fixar, sobre um pacote final do qual a carga útil são os dados parciais de fim da pluralidade dos dados parciais, um indicador de fim

Petição 870190088096, de 06/09/2019, pág. 10/138 / 112 indicando o pacote final, incluído em informação de cabeçalho.

[0020] Um aspecto da presente invenção é adicionalmente um programa para fazer um computador executar processamento de empacotamento de adicionar informação de cabeçalho a dados codificados de dados de imagem codificados todo incremento predeterminado e empacotamento, o computador fazendo o computador executar processamento de informação caracterizado pelo fato de compreender as etapas de: criar a informação de cabeçalho; dividir os dados codificados em uma pluralidade de dados parciais, a toda quantidade de dados predeterminada determinada previamente; adicionar a informação de cabeçalho a cada um da pluralidade de dados parciais obtidos pelos dados codificados tendo sido divididos, e empacotamento; e fixar, sobre um cabeçalho de pacote dos pacotes gerados de qual a carga útil são os dados parciais de cabeça da pluralidade dos dados parciais, uma indicador de cabeçalho indicando o cabeçalho de pacote, incluído em informação de cabeçalho, e fixar, sobre um pacote final do qual a carga útil são os dados parciais de fim da pluralidade dos dados parciais, uma indicador de fim indicando o pacote final, incluído em informação de cabeçalho.

[0021] Outro aspecto da presente invenção é um dispositivo de processamento de informação para executar processamento de desempacotamento no qual dados de carga útil são extraídos de pacotes, incluindo: meio de aquisição para adquirir os pacotes providos externamente; meio de determinação de perda para determinar se ou não perda de um pacote ocorreu na aquisição pelo meio de aquisição, baseado em informação de cabeçalho dos pacotes adquiridos pelo meio de aquisição; e meio de provisão para extrair os dados de carga útil dos pacotes adquiridos pelo meio de aquisição e prover a uma unidade de processamento a jusante no evento que determinação foi feita pelo meio de determinação de perda que perda dos pacotes não ocorreu, e descartar os pacotes adquiridos pelo meio de aquisição

Petição 870190088096, de 06/09/2019, pág. 11/138 / 112 no evento que determinação foi feita pelo meio de determinação de perda que perda dos pacotes ocorreu.

[0022] O meio de determinação de perda pode determinar que perda dos pacotes ocorreu no evento que um número de sequência que é informação indicando a ordem de pacotes, incluída na informação de cabeçalho, não é contínuo com o número de sequência do pacote obtido no tempo prévio.

[0023] Meio de notificação pode adicionalmente ser incluído para notificar a unidade de processamento a jusante no evento que o meio de determinação de perda determinou que perda dos pacotes ocorreu.

[0024] Meio de determinação de cabeçalho pode adicionalmente ser incluído para determinar se ou não um pacote adquirido pelo meio de aquisição é o cabeçalho de pacote de um grupo configurado de uma pluralidade de pacotes de quais os números de sequência são contínuos; em que, no evento que o meio de determinação de perda determina que perda dos pacotes não ocorreu, e também no evento que determinação é feita pelo meio de determinação de cabeçalho ser o cabeçalho de pacote do grupo, o meio de provisão adicionalmente provê a informação de cabeçalho também para a unidade de processamento a jusante.

[0025] No evento que o meio de determinação de perda determina que perda dos pacotes ocorreu, o meio de provisão pode descartar os pacotes até que determinação seja feita pelo meio de determinação de cabeçalho que o cabeçalho de pacote de um novo grupo foi adquirido pelo meio de aquisição.

[0026] Os dados de carga útil podem ser dados codificados que foram transformados em wavelet e codificados por entropia, em incrementos de precintos que são grupos de linhas incluindo outras sub-bandas, necessárias para gerar um valor de linha de componentes de banda mais baixa.

[0027] Os dados codificados podem ser providos na ordem de decodificação.

[0028] Na unidade de processamento a jusante, meio de execução de

Petição 870190088096, de 06/09/2019, pág. 12/138 / 112 processamento de decodificação pode adicionalmente ser incluído para executar processamento de decodificação para decodificar os dados codificados, que são os dados de carga útil providos pelo meio de provisão. [0029] O meio de execução de processamento de decodificação pode incluir: meio de retenção para reter temporariamente os dados codificados providos do meio de provisão; meio de decodificação para decodificar os dados codificados, retidos pelo meio de retenção, nos incrementos de precinto; e meio de transformação inversa de wavelet para executar transformação inversa de wavelet sobre dados de coeficiente obtidos decodificando pelo meio de decodificação.

[0030] Meio de determinação de sucesso/falha de codificação pode adicionalmente ser incluído para determinar se a codificação de entropia teve sucesso ou falhou, baseado em informação de cabeçalho dos pacotes adquiridos pelo meio de aquisição; em que o meio de provisão provê só a informação de cabeçalho no evento que determinação é feita pelo meio de determinação de sucesso/falha de codificação que a codificação falhou.

[0031] Outro aspecto da presente invenção também é um método de processamento de informação de um dispositivo de processamento de informação para executar processamento de desempacotamento no qual dados de carga útil são extraídos de pacotes, caracterizado pelo fato de compreender as etapas de: adquirir os pacotes providos externamente; determinar se ou não perda de um pacote ocorreu, baseado em informação de cabeçalho dos pacotes adquiridos; e extrair os dados de carga útil dos pacotes adquiridos e prover a uma unidade de processamento a jusante no evento que determinação foi feita que perda dos pacotes não ocorreu, e descartar os pacotes adquiridos no evento que determinação foi feita que perda dos pacotes ocorreu.

[0032] Outro aspecto da presente invenção é adicionalmente um programa para fazer um computador executar processamento de desempacotamento no qual dados de carga útil são extraídos de pacotes, o

Petição 870190088096, de 06/09/2019, pág. 13/138 / 112 programa fazendo o computador executar processamento de informação caracterizado pelo fato de compreender as etapas de: adquirir os pacotes providos externamente; determinar se ou não perda de um pacote ocorreu, baseado em informação de cabeçalho dos pacotes adquiridos; e extrair os dados de carga útil dos pacotes adquiridos e prover a uma unidade de processamento a jusante no evento que determinação foi feita que perda dos pacotes não ocorreu, e descartar os pacotes adquiridos no evento que determinação foi feita que perda dos pacotes ocorreu.

[0033] Com um aspecto da presente invenção, informação de cabeçalho é criada, dados codificados são divididos em uma pluralidade de dados parciais, a toda quantidade de dados predeterminada determinada previamente; a informação de cabeçalho é adicionada a cada uma da pluralidade de dados parciais obtidos pelos dados codificados tendo sido divididos, e empacotados; e um indicador de cabeçalho indicando o cabeçalho de pacote, incluído em informação de cabeçalho, é fixado sobre um cabeçalho de pacote dos pacotes gerado de quais a carga útil são os dados parciais de cabeça da pluralidade dos dados parciais, e uma indicador de fim indicando o pacote final, incluído em informação de cabeçalho, é fixado sobre um pacote final do qual a carga útil são os dados parciais de fim da pluralidade dos dados parciais.

[0034] Com o outro aspecto da presente invenção, pacotes providos externamente são adquiridos, se ou não perda de um pacote ocorreu na hora de aquisição é determinado baseado em informação de cabeçalho dos pacotes adquiridos; e no evento que determinação foi feita que perda dos pacotes não ocorreu, os dados de carga útil são extraídos dos pacotes adquiridos e providos a uma unidade de processamento a jusante, e no evento que determinação foi feita que perda dos pacotes ocorreu, os pacotes adquiridos são descartados.

Efeitos Vantajosos

Petição 870190088096, de 06/09/2019, pág. 14/138

10/ 112 [0035] De acordo com a presente invenção, transmissão/recepção de pacotes pode ser executada. Particularmente, o tempo de atraso ocorrendo ao empacotar e transmitir/receber dados pode ser reduzido.

Breve Descrição dos Desenhos [0036] Figura 1 é um diagrama de bloco ilustrando um exemplo de configuração de um sistema de transmissão ao qual a presente invenção foi aplicada.

[0037] Figura 2 é um diagrama de bloco ilustrando um exemplo de configuração de uma unidade de codificação na Figura 1.

[0038] Figura 3 é um desenho de linha esboçada para explicar esquematicamente sobre transformação de wavelet.

[0039] Figura 4 é um desenho de linha esboçada para explicar esquematicamente sobre transformação de wavelet.

[0040] Figura 5 é um desenho de linha esboçada ilustrando um exemplo de executar filtragem erguendo com um filtro 5 x 3, para nível de divisão = 2.

[0041] Figura 6 é um desenho de linha esboçada ilustrando esquematicamente o fluxo de transformação de wavelet e transformação inversa de wavelet de acordo com a presente invenção.

[0042] Figura 7 é um diagrama ilustrando um exemplo de configuração de um cabeçalho de precinto.

[0043] Figura 8 é um diagrama ilustrando um exemplo de configuração de um cabeçalho de imagem.

[0044] Figura 9 é um diagrama ilustrando um exemplo de informação trocada entre uma unidade de codificação e uma unidade de processamento de empacotamento.

[0045] Figura 10 é um diagrama de bloco ilustrando um exemplo de configuração detalhada da unidade de processamento de empacotamento mostrada na Figura 1.

Petição 870190088096, de 06/09/2019, pág. 15/138

11/ 112

[0046]

Figura 11 é um diagrama esquemático para explicar um

exemplo de precintos.

[0047]

Figura 12 é um diagrama esquemático para explicar um

exemplo de criar pacotes.

[0048]

Figura 13 é um diagrama esquemático para explicar um

exemplo de configuração de um cabeçalho de RTP.

[0049]

Figura 14 é um diagrama esquemático para explicar um

exemplo de configuração de um cabeçalho de carga útil de RTP.

[0050]

Figura 15 é um diagrama ilustrando um exemplo de

configuração de um cabeçalho comum.

[0051]

Figura 16 é um diagrama ilustrando um exemplo de

configuração de informação de parâmetro de quantização.

[0052]

Figura 17 é um diagrama ilustrando um exemplo de

configuração de informação de tamanho.

[0053]

Figura 18 é um diagrama ilustrando um exemplo de

configuração de informação de formato.

[0054]

Figura 19 é um diagrama ilustrando um exemplo de

configuração de informação de imagem.

[0055]

Figura 20 é um diagrama ilustrando um exemplo de

configuração de informação de cor.

[0056] Figura 21 é um diagrama de bloco ilustrando um exemplo de configuração detalhada de uma unidade de processamento de desempacotamento mostrada na Figura 1.

[0057]

Figura 22 é um diagrama ilustrando um exemplo do modo no

qual modos de controle transitam.

[0058]

Figura 23 é um diagrama ilustrando um exemplo de

informação trocada entre a unidade de processamento de desempacotamento e unidade de decodificação.

[0059]

Figura 24 é um diagrama de bloco ilustrando um exemplo de

Petição 870190088096, de 06/09/2019, pág. 16/138

12/ 112 configuração detalhado da unidade de decodificação mostrada na Figura 1. [0060] Figura 25 é um fluxograma para explicar um exemplo do fluxo de processamento de codificação.

[0061] Figura 26 é um fluxograma para explicar um exemplo do fluxo de processamento de empacotamento.

[0062] Figura 27 é um fluxograma para explicar um exemplo do fluxo de processamento de modo de começo.

[0063] Figura 28 é um fluxograma para explicar um exemplo do fluxo de processamento modo comum.

[0064] Figura 29 é um fluxograma para explicar um exemplo do fluxo de processamento de modo de espera.

[0065] Figura 30 é um fluxograma para explicar um exemplo do fluxo de processamento de modo de processamento.

[0066] Figura 31 é um fluxograma para explicar um exemplo do fluxo de processamento de modo de perda.

[0067] Figura 32 é um fluxograma para explicar um exemplo do fluxo de processamento de controle de decodificação.

[0068] Figura 33 é um fluxograma para explicar um exemplo do fluxo de processamento de decodificação.

[0069] Figura 34 é um fluxograma para explicar um exemplo do fluxo de processamento de operação de notificação de erro.

[0070] Figura 35 é um diagrama esquemático para explicar um exemplo do modo de operar notificação de erro.

[0071] Figura 36 é um diagrama ilustrando outro exemplo de configuração de um cabeçalho de carga útil de RTP.

[0072] Figura 37 é um diagrama ilustrando um exemplo de configuração de informação de segmento.

[0073] Figura 38 é um fluxograma para explicar outro exemplo do fluxo de processamento de empacotamento.

Petição 870190088096, de 06/09/2019, pág. 17/138 / 112 [0074] Figura 39 é um desenho de linha esboçada ilustrando esquematicamente um exemplo do modo no qual cada um dos componentes do dispositivo de transmissão e dispositivo de recepção executa operações paralelas.

[0075] Figura 40 é um diagrama de bloco ilustrando outro exemplo de configuração da unidade de codificação mostrada na Figura 1.

[0076] Figura 41 é um desenho de linha esboçada para explicar o fluxo de processamento no caso de executar processamento de rearranjo de coeficiente de wavelet no lado de unidade de codificação.

[0077] Figura 42 é um desenho de linha esboçada para explicar o fluxo de processamento no caso de executar processamento de rearranjo de coeficiente de wavelet no lado de unidade de decodificação.

[0078] Figura 43 é um diagrama de bloco ilustrando ainda outro exemplo de configuração da unidade de codificação mostrada na Figura 1.

[0079] Figura 44 é um diagrama de bloco ilustrando um exemplo de configuração de uma unidade de decodificação correspondendo à unidade de codificação na Figura 43.

[0080] Figura 45 é um diagrama ilustrando um exemplo de configuração de um sistema de processamento de informação ao qual a presente invenção foi aplicada.

Explicação de Numerais de Referência [0081] 100 - sistema de transmissão, 102 - dispositivo de transmissão,

103 - dispositivo de recepção, 110 - linha, 132 - unidade de desempacotamento, 133 - unidade de decodificação, 202 - unidade criadora de cabeçalho de RTP, 203 - unidade criadora de cabeçalho comum, 204 unidade criadora de cabeçalho estendido, 205 - unidade criadora de informação de imagem, 206 - unidade de confirmação de indicador, 207 unidade de confirmação de tamanho, 208 - unidade de processamento de fragmento, 209 - unidade de empacotamento, 252 - unidade analisadora de

Petição 870190088096, de 06/09/2019, pág. 18/138 / 112 informação de cabeçalho, 253 - unidade de transição de modo de controle, 254 - unidade de controle, 255 - unidade de provisão de cabeçalho, 256 unidade de provisão de dados, 257 - unidade de notificação de erro, 258 unidade de provisão de sinal de controle, 351 - unidade de obtenção de informação de controle, 352 - unidade de controle de decodificação, 353 unidade de execução de processamento de decodificação, 354 - unidade de obtenção de cabeçalho, 355 - unidade de obtenção de dados, 356 - unidade de obtenção de notificação de erro, 357 - unidade de processamento de descarte.

Melhor Modo para Executar a Invenção [0082] Uma concretização da presente invenção será explicada abaixo.

[0083] Figura 1 é um diagrama de bloco ilustrando um exemplo de configuração de um sistema de transmissão ao qual a presente invenção foi aplicada.

[0084] Na Figura 1, o sistema de transmissão 100 é um sistema de transmissão de dados em que um dispositivo de transmissão 102 executa codificação de compressão, empacotamento, e transmissão de dados de imagem gerados por um aparelho gerador de imagem 101, um dispositivo de recepção 103 recebe, desempacota, e decodifica os pacotes transmitidos, por uma linha 110, e um dispositivo de exibição 104 exibe uma imagem dos dados de imagem obtidos.

[0085] O aparelho gerador de imagem 101 tem um dispositivo gerador de imagem usando um CCD (Dispositivo Acoplado por Carga) ou CMOS (Semicondutor de Óxido de Metal Complementar) ou similar, que visualiza um assunto, converte a imagem gerada em dados de imagem de dados digitais, e provê os dados de imagem adquiridos para o dispositivo de transmissão 102.

[0086] O dispositivo de transmissão 102 tem uma unidade de codificação 121, uma unidade de processamento de empacotamento 122, e

Petição 870190088096, de 06/09/2019, pág. 19/138 / 112 uma unidade de transmissão 123. O dispositivo de transmissão 102 codifica os dados de imagem providos do aparelho gerador de imagem 101 com um método predeterminado na unidade de codificação 121, empacota dados codificados obtidos pela codificação na unidade de processamento de empacotamento 122, e remete os pacotes gerados à linha 110 da unidade de transmissão 123 com um método de comunicação predeterminado.

[0087] A linha 110 conecta o dispositivo de transmissão 102 e o dispositivo de recepção 103, e é um meio de transmissão arbitrário para transmitir pacotes remetidos do dispositivo de transmissão 102 para o dispositivo de recepção 103.

[0088] O dispositivo de recepção 103 tem uma unidade de recepção

131, uma unidade de processamento de desempacotamento 132, e uma unidade de decodificação 133.

[0089] O dispositivo de recepção 103 recebe pacotes transmitidos através da linha 110 na unidade de recepção 131, extrai os dados codificados dos pacotes recebidos na unidade de processamento de desempacotamento

132, e na unidade de decodificação 133 decodifica os dados codificados com um método de decodificação correspondendo à unidade de codificação 121 do dispositivo de transmissão 102 e produz os dados de imagem de banda base obtidos para o dispositivo de exibição 104.

[0090] O dispositivo de exibição 104 tem um monitor, e exibe os dados de imagem providos do dispositivo de recepção 103 no monitor dele.

[0091] Este sistema de transmissão 100 na Figura 1 é um sistema em que tempo de atraso devido a processamento de empacotamento pela unidade de processamento de empacotamento 122 e tempo de atraso devido a processamento de desempacotamento pela unidade de processamento de desempacotamento 132 são reduzidos, e tempo de atraso de ser visualizado no aparelho gerador de imagem 101 para aquela imagem sendo exibida no dispositivo de exibição 104 pode ser reduzido.

Petição 870190088096, de 06/09/2019, pág. 20/138 / 112 [0092] Com o sistema de transmissão 100 na Figura 1, um aparelho gerador de imagem 101 é mostrado como um dispositivo para prover dados de imagem que o dispositivo de transmissão 102 transmite, mas qualquer dispositivo bastará contanto que um dispositivo possa prover dados de imagem. Também, um dispositivo de exibição 104 é mostrado como um dispositivo que usa os dados de imagem recebidos pelo dispositivo de recepção 103, mas qualquer dispositivo bastará contanto que um dispositivo possa usar dados de imagem.

[0093] Também, enquanto só dados de imagem serão descritos como dados que são transmitidos, outros dados, tais como dados de áudio, por exemplo, podem ser transmitidos junto com os dados de imagem.

[0094] O método de transmissão de pacote que o dispositivo de transmissão 102 executa pode ser unidifusão, em que transmissão é só para o dispositivo de recepção 103, ou pode ser multidifusão, em que transmissão é para múltiplos dispositivos incluindo a dispositivo de recepção 103, ou pode ser radiodifusão, em que transmissão é para um número não especificado de dispositivos.

[0095] A linha 110 pode ser de qualquer forma contanto que seja capaz de transmitir pacotes, e pode ser cabo, ou pode ser sem fios, ou pode ser aquela incluindo ambos. Também, enquanto a linha 110 é mostrada por uma seta na Figura 1, isto pode ser um cabo de transmissão dedicado ou de propósito geral, ou pode incluir uma ou múltiplas redes de comunicação tais como uma LAN (Rede Local) ou a Internet por exemplo, ou pode incluir um dispositivo de retransmissão de comunicação de algum tipo. Adicionalmente, o número de linhas (canais) da linha 110 pode ser qualquer um.

[0096] A seguir, detalhes das partes da dispositivo de transmissão 102 e dispositivo de recepção 103 mostrados na Figura 1 serão descritos.

[0097] Figura 2 é um diagrama de bloco ilustrando um exemplo de configuração interna da unidade de codificação 121 do dispositivo de

Petição 870190088096, de 06/09/2019, pág. 21/138 / 112 transmissão 102 na Figura 1. Na Figura 2, a unidade de codificação 121 tem uma unidade de transformação de wavelet 150, uma unidade de memória temporária de cálculo intermediário 151, uma unidade de memória temporária de rearranjo de coeficiente 152, uma unidade de rearranjo de coeficiente 153, uma unidade de controle de taxa 154, e uma unidade de codificação de entropia 155.

[0098] Os dados de imagem introduzidos à unidade de codificação 121 são armazenados temporariamente na unidade de memória temporária de cálculo intermediário 151. A unidade de transformação de wavelet 150 sujeita os dados de imagem armazenados na unidade de memória temporária de cálculo intermediário 151 à transformação de wavelet. Quer dizer, a unidade de transformação de wavelet 150 lê os dados de imagem da unidade de memória temporária de cálculo intermediário 151, sujeita isto a processamento de filtro usando um filtro de análise para gerar os dados de coeficiente de componentes de banda baixa e componentes de banda alta, e armazena os dados de coeficiente gerados na unidade de memória temporária de cálculo intermediário 151. A unidade de transformação de wavelet 150 inclui um filtro de análise horizontal e filtro de análise vertical, e sujeita um grupo de dados de imagem a processamento de filtro de análise considerando ambas da direção horizontal de tela e direção vertical de tela. A unidade de transformação de wavelet 150 lê os dados de coeficiente dos componentes de banda baixa armazenados na unidade de memória temporária de cálculo intermediário 151 novamente, sujeita os dados de coeficiente lidos a processamento de filtro usando o filtro de análise para adicionalmente gerar os dados de coeficiente de componentes de banda alta e componentes de banda baixa. Os dados de coeficiente gerados são armazenados na unidade de memória temporária de cálculo intermediário 151.

[0099] A unidade de transformação de wavelet 150 repete este processamento, e quando o nível de divisão alcança um nível predeterminado,

Petição 870190088096, de 06/09/2019, pág. 22/138 / 112 lê os dados de coeficiente da unidade de memória temporária de cálculo intermediário 151, e escreve os dados de coeficiente lidos na unidade de memória temporária de rearranjo de coeficiente 152.

[00100] A unidade de rearranjo de coeficiente 153 lê os dados de coeficiente escritos na unidade de memória temporária de rearranjo de coeficiente 152 em uma ordem predeterminada, e provê isto à unidade de codificação de entropia 155. A unidade de codificação de entropia 155 codifica os dados de coeficiente providos usando um método de codificação de entropia predeterminado tal como codificação de Huffman, codificação aritmética, ou similar, por exemplo.

[00101] A unidade de codificação de entropia 155 opera sincronamente com a unidade de controle de taxa 154, e é controlada tal que a taxa de bit dos dados codificados de compressão a serem produzidos seja um valor geralmente constante. Quer dizer, baseado em informação de dados codificados da unidade de codificação de entropia 155, a unidade de controle de taxa 154 provê, à unidade de codificação de entropia 155, sinais de controle para efetuar controle assim para terminar processamento de codificação pela unidade de codificação de entropia 155 no ponto que a taxa de bit da compressão de dados codificada pela unidade de codificação de entropia 155 alcança o valor visado ou imediatamente antes de alcançar o valor visado. No ponto que o processamento de codificação termina de acordo com o sinal de controle provido da unidade de controle de taxa 154, a unidade de codificação de entropia 155 produz os dados codificados.

[00102] Note que um arranjo em que a unidade de codificação de entropia 155 primeiro executa quantização sobre os dados de coeficiente lidos da unidade de rearranjo de coeficiente 153, e sujeita os coeficientes quantizados obtidos a processamento de codificação de fonte tal como codificação de Huffman, codificação aritmética, ou similar, permite expectativa por melhoria adicional em eficiência de compressão. Qualquer

Petição 870190088096, de 06/09/2019, pág. 23/138 / 112 método pode ser usado para esta quantização, e usando meio geral, isto é, uma técnica em que dados de coeficiente W são divididos por tamanho de etapa de quantização Δ como mostrado na Expressão (1) seguinte, por exemplo, é suficiente.

[00103] Coeficiente Quantizado = W/Δ (1) [00104] O tamanho de etapa de quantização Δ neste momento é calculado na unidade de controle de taxa 154, por exemplo.

[00105] A unidade de codificação de entropia 155 provê os dados codificados adquiridos codificando à unidade de processamento de empacotamento 122.

[00106] A seguir, descrição será feita em mais detalhe relativa ao processamento executado pela unidade de transformação de wavelet 150 na Figura 2. Primeiro, transformação de wavelet será descrita esquematicamente. Com transformação de wavelet sobre dados de imagem, como ilustrado esquematicamente na Figura 3, processamento para dividir dados de imagem em uma banda de frequência espacial alta e uma banda de frequência espacial baixa é repetido recursivamente sobre uma banda de frequência espacial baixa obtida como resultado de divisão. Assim, dados de banda de frequência espacial baixa são dirigidos em uma região menor, por esse meio habilitando codificação de compressão efetiva.

[00107] Agora, Figura 3 é um exemplo de um caso em que processamento de divisão da região de componente de banda mais baixa de dados de imagem em regiões de componente de banda baixa L e regiões de componente de banda alta H é repetido três vezes, por esse meio obtendo nível de divisão = 3, indicando o número total de níveis de divisão hierárquicos. Na Figura 3, L e H representam um componente de banda baixa e componente de banda alta respectivamente, e com respeito à ordem de L e H, o lado dianteiro indica uma banda que é um resultado de divisão na direção horizontal, e o lado traseiro indica uma banda que é um resultado de

Petição 870190088096, de 06/09/2019, pág. 24/138 / 112 divisão na direção vertical. Também, um numeral antes de L e H indica o nível de divisão da região disso, onde quanto mais baixo o nível de banda de componente é, menor o valor representando é.

[00108] Também, como pode ser entendido do exemplo mostrado na Figura 3, o processamento é executado de uma maneira gradual da região inferior direita à região superior esquerda da tela, por esse meio dirigindo componentes de banda baixa em uma região pequena. Quer dizer, com o exemplo mostrado na Figura 3, a região inferior direita da tela é fixada a uma região 3HH incluindo os mínimos componentes de banda baixa (incluindo a maioria de componentes de banda alta), e a região superior esquerda obtida pela tela sendo dividida em quatro regiões é adicionalmente dividida em quatro regiões, e das quatro regiões divididas, a região superior esquerda é adicionalmente dividida em quatro regiões. A região de canto superior mais à esquerda é fixada a uma região 0LL incluindo a maioria dos componentes de banda baixa.

[00109] A razão por que transformação e divisão são executadas repetidamente sobre componentes de banda baixa é porque a energia da tela se concentra em componentes de banda baixa. Isto também pode ser entendido de uma situação em que quando o nível de divisão procede de um estado de nível de divisão = a 1 de qual um exemplo é mostrado em A na Figura 4 para um estado de nível de divisão = 3 de qual um exemplo é mostrado em B na Figura 4, sub-bandas são formadas tal como mostrado em B na Figura 4. Por exemplo, o nível de divisão de transformação de wavelet mostrada na Figura 3 é 3, e como resultado disso, dez sub-bandas são formadas.

[00110] A unidade de transformação de wavelet 150 executa normalmente o processamento tal como descrito acima usando um banco de filtro composto de um filtro de banda baixa e filtro de banda alta. Note que um filtro digital normalmente tem resposta a impulso de múltiplos

Petição 870190088096, de 06/09/2019, pág. 25/138 /112 comprimentos de derivação, isto é, um coeficiente de filtro, assim há a necessidade para sujeitar dados de imagem de entrada ou dados de coeficiente à memorização temporária tanto quanto processamento de filtro pode ser executado previamente. Também, semelhantemente, até mesmo em um caso em que transformação de wavelet é executada com múltiplos estágios, há a necessidade para sujeitar o coeficiente de transformação de wavelet gerado no estágio prévio à memorização temporária tanto quanto processamento de filtro pode ser executado.

[00111] Um método empregando um filtro 5 x 3 será descrito como um exemplo específico de transformação de wavelet. Este método empregando um filtro 5 x 3 também é empregado com padrão de JPEG 2000, e é um método excelente visto que transformação de wavelet pode ser executada com poucas derivações de filtro.

[00112] Resposta a impulso de um filtro 5x3 (expressão de transformada Z) é, como mostrado nas Expressões (2) e (3) seguintes, configurada de um filtro de banda baixa H0(z) e um filtro de banda alta H1(z). De acordo com as Expressões (2) e (3), pode ser achado que o filtro de banda baixa H0(z) tem cinco derivações, e o filtro de banda alta H1(z) tem três derivações.

Ho(z) = (-1 + 2z^-1 + 6z^-2 + 2z^-3 - z-4)/8 (2)

H1(z) = (-1 + 2z^-1 - z^-2)/2 (3) [00113] De acordo com estas Expressão (2) e Expressão (3), os coeficientes de componentes de banda baixa e componentes de banda alta podem ser calculados diretamente. Aqui, empregando uma técnica de levantamento (Levantamento) habilita computação de processamento de filtro ser reduzida.

[00114] A seguir, este método de transformação de wavelet será descrito mais especificamente. Figura 5 ilustra um exemplo em que processamento de filtro de acordo com levantamento de um filtro 5 x 3 é

Petição 870190088096, de 06/09/2019, pág. 26/138 / 112 executado até nível de divisão = 2. Note que, na Figura 5, a porção mostrada como filtros de análise no lado esquerdo do desenho são os filtros da unidade de transformação de wavelet 150. Também, a porção mostrada como filtros de síntese no lado direito do desenho são os filtros de uma unidade de transformação inversa de wavelet em um dispositivo de decodificação descrito mais tarde.

[00115] Note que com a descrição seguinte, por exemplo, deixe-nos dizer que com o pixel da canto superior esquerdo da tela como a cabeça a um dispositivo de exibição ou similar, pixéis são varridos da borda esquerda à borda direita da tela, por esse meio compondo uma linha, e varredura para cada linha é executada da borda superior à borda inferior da tela, por esse meio compondo uma tela.

[00116] Na Figura 5, a coluna de borda esquerda ilustra que dados de pixel dispostos a posições correspondentes na linha de dados de imagem originais estão arranjados na direção vertical. Quer dizer, o processamento de filtro na unidade de transformação de wavelet 150 é executado por pixéis na tela sendo varridos verticalmente usando um filtro vertical. A primeira por terceira colunas da borda esquerda ilustram processamento de filtro de nível de divisão = 1, e a quarta por sexta colunas ilustram processamento de filtro de nível de divisão = 2. A segunda coluna da borda esquerda ilustra saída de componente de banda alta baseado nos pixéis dos dados de imagem originais da borda esquerda, e a terceira coluna da borda esquerda ilustra saída de componente de banda baixa baseado nos dados de imagem originais e saída de componente de banda alta. O processamento de filtro de nível de divisão = 2 é executado sobre a saída do processamento de filtro de nível de divisão = 1, tal como mostrado na quarta por sexta colunas da borda esquerda.

[00117] Com o processamento de filtro de nível de divisão = 1, dados de coeficiente de componente de banda alta são calculados baseado nos pixéis dos dados de imagem originais como um primeiro estágio do processamento

Petição 870190088096, de 06/09/2019, pág. 27/138 / 112 de filtro, dados de coeficiente de componente de banda baixa são calculados baseado nos dados de coeficiente de componente de banda alta calculados no primeiro estágio do processamento de filtro, e os pixéis dos dados de imagem originais. Um exemplo do processamento de filtro de nível de divisão = 1 é ilustrado na primeira por terceira colunas no lado esquerdo (lado de filtro de análise) na Figura 5. Os dados de coeficiente de componente de banda alta calculados são armazenados na unidade de memória temporária de rearranjo de coeficiente 152 na Figura 2. Também, os dados de coeficiente de componente de banda baixa calculados são armazenados na unidade de memória temporária de cálculo intermediário 151 na Figura 2.

[00118] Na Figura 5, a unidade de memória temporária de rearranjo de coeficiente 152 é representada como a porção cercada com únicas linhas pontilhadas interrompidas, e a unidade de memória temporária de cálculo intermediário 151 é representada como os dados cercados com linhas pontilhadas.

[00119] O processamento de filtro de nível de divisão = 2 é executado baseado nos resultados do processamento de filtro de nível de divisão = 1 retidos na unidade de memória temporária de cálculo intermediário 151. Com o processamento de filtro de nível de divisão = 2, os dados de coeficiente calculados como coeficientes de componente de banda baixa no processamento de filtro de nível de divisão = 1 são considerados como dados de coeficiente incluindo componentes de banda baixa e componentes de banda alta, o mesmo processamento de filtro como aquele do nível de divisão = 1 é executado. Os dados de coeficiente de componente de banda alta e dados de coeficiente de componente de banda baixa calculados pelo processamento de filtro de nível de divisão = 2 são armazenados na unidade de memória temporária de rearranjo de coeficiente 152.

[00120] Com a unidade de transformação de wavelet 150, o processamento de filtro tal como descrito acima é executado cada na direção

Petição 870190088096, de 06/09/2019, pág. 28/138 / 112 horizontal e direção vertical da tela. Por exemplo, primeiro, o processamento de filtro de nível de divisão = 1 é executado na direção horizontal, e os dados de coeficiente gerados de componentes de banda alta e componentes de banda baixa são armazenados na unidade de memória temporária de cálculo intermediário 151. A seguir, os dados de coeficiente armazenados na unidade de memória temporária de cálculo intermediário 151 são sujeitos ao processamento de filtro de nível de divisão = 1 na direção vertical. De acordo com o processamento nas direções horizontal e vertical ao nível de divisão = 1, são formadas quatro regiões de uma região HH e região HL dos dados de coeficiente, cada um obtido dividindo adicionalmente componentes de banda alta em componentes de banda alta e componentes de banda baixa, e uma região LH e região LL dos dados de coeficiente, cada um obtido dividindo adicionalmente componentes de banda baixa em componentes de banda alta e componentes de banda baixa.

[00121] Subsequentemente, ao nível de divisão = 2, os dados de coeficiente de componente de banda baixa gerados ao nível de divisão = 1 são sujeitos a processamento de filtro considerando cada uma da direção horizontal e direção vertical. Quer dizer, ao nível de divisão = 2, a região LL formada sendo dividida ao nível de divisão = 1 é adicionalmente dividida em quatro regiões, uma região HH, região HL, região LH e região LL são formadas dentro da região LL.

[00122] A unidade de transformação de wavelet 150 é configurada assim para executar processamento de filtragem de acordo com transformação de wavelet de uma maneira gradual dividindo o processamento de filtro em processamento em incrementos de várias linhas relativas à direção vertical da tela, isto é, dividindo em múltiplos tempos. Com o exemplo mostrado na Figura 5, a primeiro processamento equivalente a processamento da primeira linha na tela, sete linhas são sujeitas a processamento de filtro, e a segundo processamento e depois disso, equivalente a processamento da oitava linha,

Petição 870190088096, de 06/09/2019, pág. 29/138 / 112 processamento de filtro é executado todas quatro linhas. O número de linhas é baseado no número de linhas necessárias para gerar um valor de linha dos componentes de banda mais baixa depois que a região é dividida em dois de componentes de banda alta e componentes de banda baixa.

[00123] Note que, daqui por diante, um grupo de linha incluindo outras sub-bandas, que é necessário para gerar um valor de linha dos componentes de banda mais baixa (um valor de linha de dados de coeficiente da sub-banda de componente de banda mais baixa), será chamado um precinto (ou bloco de linha). Aqui, uma linha indica um valor de fila de dados de pixel ou dados de coeficiente formados dentro de uma imagem, campo, ou cada sub-banda correspondendo aos dados de imagem antes de transformação de wavelet. Quer dizer, um precinto (ou bloco de linha) indica, com os dados de imagem originais antes de transformação de wavelet, um grupo de dados de pixel equivalente ao número de linhas necessárias para gerar um valor de linha dos dados de coeficiente de sub-banda de componente de banda mais baixa depois de transformação de wavelet, ou um grupo de dados de coeficiente de cada sub-banda obtida sujeitando o grupo de dados de pixel disso à transformação de wavelet.

[00124] De acordo com a Figura 5, um coeficiente C5 obtido como um resultado de processamento de filtro ao nível de divisão = 2 é calculado baseado em um coeficiente C4 e um coeficiente Ca armazenado na unidade de memória temporária de cálculo intermediário 151, e um coeficiente C4 é calculado baseado no coeficiente Ca, coeficiente Cb, e coeficiente Cc armazenados na unidade de memória temporária de cálculo intermediário 151. Adicionalmente, o coeficiente Cc é calculado baseado no coeficiente C2 e coeficiente C3 armazenados na unidade de memória temporária de rearranjo de coeficiente 152, e os dados de pixel da quinta linha. Também, o coeficiente C3 é calculado baseado nos dados de pixel da quinta por sétima linhas. Assim, a fim de obter o coeficiente C5 que é um componente de banda baixa

Petição 870190088096, de 06/09/2019, pág. 30/138 / 112 ao nível de divisão = 2, os dados de pixel da primeira por sétima linhas são precisados.

[00125] Por outro lado, com o segundo processamento de filtro e em diante, os dados de coeficiente já calculados no processamento de filtro até agora e armazenados na unidade de memória temporária de rearranjo de coeficiente 152 podem ser empregados, assim número necessário de linhas pode ser suprimido para ser menos.

[00126] Quer dizer, de acordo com a Figura 5, dos coeficientes de componente de banda baixa obtidos como resultados de processamento de filtro ao nível de divisão = 2, um coeficiente C9, que é o próximo coeficiente do coeficiente C5, é calculado baseado no coeficiente C4 e coeficiente C8, e o coeficiente Cc armazenado na unidade de memória temporária de cálculo intermediário 151. O coeficiente C4 já foi calculado no primeiro processamento de filtro supracitado, e armazenado na unidade de memória temporária de rearranjo de coeficiente 152. Semelhantemente, o coeficiente Cc já foi calculado no primeiro processamento de filtro supracitado, e armazenado na unidade de memória temporária de cálculo intermediário 151. Por conseguinte, com o segundo processamento de filtro, só o processamento de filtro para calcular o coeficiente C8 é executado recentemente. Este novo processamento de filtro é executado adicionalmente usando a oitava linha por décima primeira linha.

[00127] Assim, com o segundo processamento de filtro e em diante, os dados calculados no processamento de filtro até agora e armazenados na unidade de memória temporária de cálculo intermediário 151 e unidade de memória temporária de rearranjo de coeficiente 152, podem ser empregados, por meio de que cada processamento pode ser suprimido a processar todas quatro linhas.

[00128] Note que em um caso em que o número de linhas na tela não é idêntico ao número de linhas para codificação, as linhas dos dados de imagem

Petição 870190088096, de 06/09/2019, pág. 31/138 / 112 originais são copiadas usando um método predeterminado de forma que o número de linhas case com o número de linhas para codificação, por esse meio executando processamento de filtro.

[00129] Assim, o processamento de filtro por meio de que um valor de linha dos dados de coeficiente de componente de banda mais baixa podem ser obtidos é executado de uma maneira gradual sendo dividido em múltiplos tempos (em incrementos de precinto) sobre as linhas da tela inteira, por meio de que uma imagem decodificada pode ser obtida com baixo atraso na hora de enviar dados codificados.

[00130] A fim de executar transformação de wavelet, uma primeira memória temporária empregada para executar transformação de wavelet ela mesma, e uma segunda memória temporária para armazenar coeficientes gerados durante a hora de executar processamento, até que um nível de divisão predeterminado seja obtido, são precisadas. A primeira memória temporária corresponde à unidade de memória temporária de cálculo intermediário 151, e é mostrada cercada com as linhas pontilhadas na Figura 5. Também, a segunda memória temporária corresponde à unidade de memória temporária de rearranjo de coeficiente 152, e é mostrada cercada com as únicas linhas pontilhadas interrompidas na Figura 5. Os coeficientes armazenados na segunda memória temporária são empregados na hora de decodificação, assim estes são para serem sujeitos a processamento de codificação de entropia do estágio subsequente.

[00131] A seguir, o processamento da unidade de rearranjo de coeficiente 153 na Figura 2 será descrito. Como descrito acima, os dados de coeficiente calculados na unidade de transformação de wavelet 150 são armazenados na unidade de memória temporária de rearranjo de coeficiente 152, a ordem disso é rearranjada pela unidade de rearranjo de coeficiente 153, e os dados de coeficiente rearranjado são lidos e enviados para a unidade de codificação de entropia 155 em incrementos de unidades de codificação.

Petição 870190088096, de 06/09/2019, pág. 32/138 / 112 [00132] Como já descrito acima, com transformação de wavelet, coeficientes são gerados do lado de componente de banda alta para o lado de componente de banda baixa. No exemplo na Figura 5, no primeiro tempo, o coeficiente de componente de banda alta C1, coeficiente C2 e coeficiente C3 são gerados sequencialmente no processamento de filtro de nível de divisão = 1, dos dados de pixel da imagem original. O processamento de filtro de nível de divisão = 2 é então executado sobre os dados de coeficiente de componente de banda baixa obtidos no processamento de filtro de nível de divisão = 1, por meio de que coeficiente de componente de banda baixa C4 e coeficiente C5 são gerados sequencialmente. Quer dizer, a primeira vez, dados de coeficiente são gerados na ordem de coeficiente C1, coeficiente C2, coeficiente C3, coeficiente C4 e coeficiente C5. A ordem de geração dos dados de coeficiente é sempre nesta ordem (a ordem de banda alta para banda baixa) baseado no princípio de transformação de wavelet.

[00133] Reciprocamente, no lado de decodificação, a fim de decodificar imediatamente com baixo atraso, gerar e produzir uma imagem de componentes de banda baixa é necessário. Portanto, rearranjar os dados de coeficiente gerados no lado de codificação do lado de componente de banda mais baixa para o lado de componente de banda mais alta e prover isto ao lado de decodificação é desejável.

[00134] Descrição adicionalmente detalhada será dada com o exemplo na Figura 5. O lado direito da Figura 5 mostra um lado de filtro de síntese executando transformação inversa de wavelet. O processamento de sintetização de primeira vez (processamento de transformação inversa de wavelet) incluindo a primeira linha de dados de imagem de saída no lado de decodificação é executado empregando o coeficiente de componente de banda mais baixa C4 e coeficiente C5, e coeficiente C1, gerados no processamento de filtro de primeira vez no lado de codificação.

[00135] Quer dizer, com o processamento de sintetização de primeira

Petição 870190088096, de 06/09/2019, pág. 33/138 / 112 vez, dados de coeficiente são providos do lado de codificação para o lado de decodificação na ordem de coeficiente C5, coeficiente C4, e coeficiente C1, por meio de que no lado de decodificação, processamento de sintetização sobre o coeficiente C5 e coeficiente C4 é executado para gerar o coeficiente Cf, através de processamento de nível de sintetização = 2 que é processamento de sintetização correspondendo ao nível de divisão = 2, e armazena o coeficiente Cf na memória temporária. Processamento de sintetização sobre o coeficiente Cf e o coeficiente C1 é então executado com o processamento de nível de sintetização = 1 que é processamento de sintetização correspondendo ao nível de divisão = 1, por meio de que a primeira linha é saída.

[00136] Assim, com o processamento de sintetização de primeira vez, os dados de coeficiente gerados no lado de codificação na ordem de coeficiente C1, coeficiente C2, coeficiente C3, coeficiente C4, e coeficiente C5 e armazenados na unidade de memória temporária de rearranjo de coeficiente 152 são rearranjados à ordem de coeficiente C5, coeficiente C4, coeficiente C1 e assim sucessivamente, e providos ao lado de decodificação. [00137] Note que com o lado de filtro de síntese mostrado no lado direito da Figura 5, os coeficientes providos do lado de codificação são referenciados com um número do coeficiente no lado de codificação em parênteses, e mostra a ordem de linha do filtro de síntese fora dos parênteses. Por exemplo, coeficiente C1 (5) mostra que no lado de filtro de análise no lado esquerdo da Figura 5 este é coeficiente C5, e no lado de filtro de síntese está na primeira linha.

[00138] O processamento de sintetização no lado de decodificação pelos dados de coeficiente gerados com o processamento de filtro de segunda vez e depois disso no lado de codificação, pode ser executado empregando dados de coeficiente providos da sintetização no evento de processamento de sintetização do tempo prévio ou do lado de codificação. No exemplo na

Petição 870190088096, de 06/09/2019, pág. 34/138

30/ 112

Figura 5, o processamento de sintetização de segunda vez no lado de decodificação que é executado empregando o coeficiente de componente de banda baixa C8 e coeficiente C9 gerados com o processamento de filtro de segunda vez no lado de codificação adicionalmente requer o coeficiente C2 e coeficiente C3 gerados no processamento de filtro de primeira vez no lado de codificação, e a segunda linha pela quinta linha são decodificadas.

[00139] Quer dizer, com o processamento de sintetização de segunda vez, dados de coeficiente são providos do lado de codificação para o lado de decodificação na ordem de coeficiente C9, coeficiente C8, coeficiente C2, coeficiente C3. No lado de decodificação, com o processamento de nível de sintetização = 2, um coeficiente Cg é gerado empregando o coeficiente C8 e coeficiente C9, e coeficiente C4 provido do lado de codificação no processamento de sintetização de primeira vez, e o coeficiente Cg é armazenado na memória temporária. Um coeficiente Ch é gerado empregando o coeficiente Cg e o coeficiente C4 descrito acima, e coeficiente Cf gerado pelo processamento de sintetização de primeira vez e armazenado na memória temporária, e o coeficiente Ch é armazenado na memória temporária.

[00140] Com o processamento de nível de sintetização = 1, processamento de sintetização é executado empregando o coeficiente Cg e coeficiente Ch gerados no processamento de nível de sintetização = 2 e armazenado na memória temporária, o coeficiente C2 provido do lado de codificação (mostrado como coeficiente C6 (2) com o filtro de síntese), e coeficiente C3 (mostrado como coeficiente C7 (3) com o filtro de síntese), e a segunda linha por quinta linha são decodificadas.

[00141] Assim, com o processamento de sintetização de segunda vez, os dados de coeficiente gerados no lado de codificação na ordem de coeficiente C2, coeficiente C3, (coeficiente C4, coeficiente C5), coeficiente C6, coeficiente C7, coeficiente C8, coeficiente C9 são rearranjados e providos ao lado de decodificação na ordem de coeficiente C9, coeficiente C8,

Petição 870190088096, de 06/09/2019, pág. 35/138

31/ 112 coeficiente C2, coeficiente C3, e assim sucessivamente.

[00142] Assim, com o terceiro processamento de sintetização e depois disso igualmente, semelhantemente, os dados de coeficiente armazenados na unidade de memória temporária de rearranjo de coeficiente 152 são rearranjados em uma ordem predeterminada e providos à unidade de decodificação, em que as linhas são decodificadas em incrementos de quatro linhas.

[00143] Note que com o processamento de sintetização no lado de decodificação correspondendo ao processamento de filtro incluindo as linhas na extremidade de fundo da tela no lado de codificação (em seguida chamada a última vez), os dados de coeficiente gerados no processamento até agora e armazenados na memória temporária são todos para serem saídos, assim o número de linhas de saída aumenta. Com o exemplo na Figura 5, oito linhas são saídas durante a última vez.

[00144] Note que o processamento de rearranjo de dados de coeficiente pela unidade de rearranjo de coeficiente 153 fixa os endereços de leitura no evento de ler os dados de coeficiente armazenados na unidade de memória temporária de rearranjo de coeficiente 152, por exemplo, em uma ordem predeterminada.

[00145] O processamento anterior será descrito em detalhes adicionais com referência à Figura 6. Figura 6 é um exemplo de executar processamento de filtro através de transformação de wavelet até o nível de divisão = 2, empregando um filtro 5 x 3. Com a unidade de transformação de wavelet 150, como um exemplo é mostrado em A na Figura 6, o processamento de filtro de primeira vez é executado na primeira linha pela sétima linha dos dados de imagem de entrada em cada uma das direções horizontal e vertical (In-1 em A na Figura 6).

[00146] Com o processamento de nível de divisão = 1 do processamento de filtro de primeira vez, os dados de coeficiente para três

Petição 870190088096, de 06/09/2019, pág. 36/138

32/ 112 valores de linha do coeficiente C1, coeficiente C2, e coeficiente C3 são gerados, e como um exemplo mostrado em B na Figura 6, são cada dispostos na região HH, região HL e região LH formadas com o nível de divisão = 1 (WT-1 em B na Figura 6).

[00147] Também, a região LL formada com o nível de divisão = 1 é dividida adicionalmente em quatro com o processamento de filtro nas direções horizontal e vertical pelo nível de divisão = 2. Com o coeficiente C5 e coeficiente C4 gerados com o nível de divisão = 2, uma linha está disposta na região LL pelo coeficiente C5 pelo nível de divisão = 1, e uma linha está disposta em cada uma da região HH, região HL, e região LH, pelo coeficiente C4.

[00148] Com o processamento de filtro de segunda vez e depois disso pela unidade de transformação de wavelet 150, processamento de filtro é executado em incrementos de quatro linhas (In-2,... em A na Figura 6), dados de coeficiente são gerados em incrementos de duas linhas ao nível de divisão = 1 (WT-2 em B na Figura 6) e dados de coeficiente são gerados em incrementos de uma linha ao nível de divisão = 2.

[00149] Com o exemplo da segunda vez na Figura 5, dados de coeficiente valem duas linhas do coeficiente C6 e coeficiente C7 é gerado no processamento de filtro de nível de divisão = 1, e como um exemplo é mostrado em B na Figura 6, é disposto seguindo os dados de coeficiente que são gerados no processamento de filtro de primeira vez da região HH, região HL, e região LH formadas com o nível de divisão 1. Semelhantemente, dentro da região LL pelo nível de divisão = 1, o coeficiente C9 valendo uma linha gerada com o processamento de filtro de nível de divisão = 2 está disposta na região LL, e o coeficiente C8 valendo uma linha está disposto em cada uma de região HH, região HL e região LH.

[00150] No evento de decodificar os dados sujeitos à transformação de wavelet como em B na Figura 6, como um exemplo é mostrado em C na

Petição 870190088096, de 06/09/2019, pág. 37/138 / 112

Figura 6, a primeira linha pelo processamento de sintetização de primeira vez no lado de decodificação é produzida (Out-1 em C na Figura 6) sobre o processamento de filtro de primeira vez pela primeira linha pela sétima linha no lado de codificação. Depois disso, quatro linhas de cada vez são produzidas no lado de decodificação (Out-2,... em C na Figura 6) sobre o processamento de filtro da segunda vez até antes da última vez no lado de codificação. Oito linhas são produzidas no lado de decodificação sobre o processamento de filtro pela última vez no lado de codificação.

[00151] Os dados de coeficiente gerados pela unidade de transformação de wavelet 150 do lado de componente de banda alta para o lado de componente de banda baixa são armazenados sequencialmente na unidade de memória temporária de rearranjo de coeficiente 152. Com a unidade de rearranjo de coeficiente 153, quando dados de coeficiente são acumulados na unidade de memória temporária de rearranjo de coeficiente 152 até que o rearranjo de dados de coeficiente acima descrito possa ser executado, os dados de coeficiente são rearranjados na ordem necessária para processamento de sintetização e lidos da unidade de memória temporária de rearranjo de coeficiente 152. Os dados de coeficiente lidos são providos sequencialmente à unidade de codificação de entropia 155.

[00152] Os dados de imagem codificados em incrementos de precintos como descrito acima (dados codificados) são providos à unidade de processamento de empacotamento 122. Neste momento, a unidade de codificação de entropia 155 provê informação relativa àqueles dados de imagem à unidade de processamento de empacotamento 122 como informação de cabeçalho (cabeçalho de precinto), em incrementos de precintos. Figura 7 ilustra um exemplo de configuração do cabeçalho de precinto.

[00153] Como mostrado na Figura 7, um cabeçalho de precinto 171 é composto de 4 palavras (32 x 4 bits) de dados, e inclui informação tal como

Petição 870190088096, de 06/09/2019, pág. 38/138

34/ 112

PID, AT, AID, FT, CF, IF, marca de tempo de precinto, coeficiente de quantização e comprimento de código de precinto.

[00154] O PID (ID de Precinto) é informação de 12 bits indicando o número de um precinto como contado da cabeça da imagem. O AT (Tipo de Unidade de Alinhamento) é informação de 4 bits indicando os atributos de uma unidade de alinhamento configurada dentro de um precinto. Uma unidade de alinhamento são dados codificados dentro do precinto que foram divididos em incrementos de dados predeterminados, tais como incrementos de codificação ou similar, por exemplo. Quer dizer, um precinto é configurado de 1 ou múltiplas unidades de alinhamento. O AID (ID de Unidade de Alinhamento) é informação de 5 bits indicando o número de uma unidade de alinhamento como contada da cabeça do precinto. O FT (Tipo de Campo) é informação de 2 bits indicando qual campo o quadro é, progressivo ou entrelaçado. O CF (Indicador de Componente) é informação de 3 bits indicando que, dos componentes de componente de luminância Y, componente de diferença de cor Cb, e componente de diferença de cor Cr, múltiplos componentes foram postos juntos em uma única unidade de alinhamento ou precinto.

[00155] O IF (Indicador Incompleto) é informação de indicador de 1 bit indicando uma unidade de alinhamento ou precinto considerando que codificação falhou por alguma razão. Esta gama de falha está limitada a uma carga útil indicada pelo PID, AT e AID.

[00156] A marca de tempo de precinto (Marca de Tempo de Precinto) é informação indicando os 32 bits de ordem inferior de uma marca de tempo desse precinto. O coeficiente de quantização (QP, Y ou C) é informação de 16 bits indicando o valor de um coeficiente de quantização usado para quantização do componente de luminância Y ou componente de diferença de cor C. O comprimento de código de precinto (Comprimento de Código de Precinto Y ou C) é informação de 26 bits indicando o comprimento de dados

Petição 870190088096, de 06/09/2019, pág. 39/138 / 112 de dados codificados do componente de luminância Y ou componente de diferença de cor C desse precinto.

[00157] Também, a unidade de codificação de entropia 155 provê informação relativa àqueles dados de imagem para a unidade de processamento de empacotamento 122 como informação de cabeçalho (cabeçalho de quadro), em incrementos de quadros. Figura 8 ilustra um exemplo de configuração do cabeçalho de quadro.

[00158] Como mostrado na Figura 8, um cabeçalho de quadro 172 é composto de 26 palavras (32 x 26 bits) de dados, e inclui informação tal como PI, w, CEF, CBD, DL, WF, PDI, SF, FR, AR, DBSZ, marca de tempo completa, posição de começo V0, SD, posição de começo H, VF, tamanho total V, TSD, tamanho total H, PXCS, tamanho V, VSD, tamanho H, BRT, CTS, e WTm.

[00159] O PI (Indicação de Perfil) é informação de 5 bits para especificar um perfil. O w é informação de indicador de 1 bit para indicar se ou não incluir uma tabela de ponderação, que é informação de tabela para fixar um valor de costume de um coeficiente de ponderação, no pacote. O CEF (Indicador de Extensão de Cor) é informação de indicador de 1 bit para indicar se ou não usar um cabeçalho estendido para informação de cor. O CBD (Profundidade de Bit de Componente) é informação de 5 bits indicando a profundidade de bit do componente. Um valor, onde 8 foi subtraído de um valor especificado previamente, é armazenado. O DL (Nível de DWT) é informação de 3 bits indicando o número de divisões de transformação de wavelet (níveis de divisão). O WF (Filtro de Wavelet) é informação de 2 bits indicando o tipo de filtro usado para transformação de wavelet. O PDI (Indicação de Descontinuidade de Quadro) é informação de 1 bit indicando a continuidade de uma marca de tempo. O SF (Formato de Amostragem) é informação de 2 bits indicando o método de amostragem de diferença de cor.

[00160] O FR (Taxa de Quadro) é informação de 1 bit indicando a taxa

Petição 870190088096, de 06/09/2019, pág. 40/138

36/ 112 de quadro. A AR (Relação de Aspecto) é informação de 6 bits indicando a relação de aspecto de pixel. O DBSZ (Tamanho do Memória Temporária de Decodificador) é informação de 4 bits indicando o tamanho de memória temporária de precinto no decodificador. A marca de tempo completa (FTS (Marca de Tempo Completa)) é informação de 46 bits indicando uma marca de tempo de tamanho completo.

[00161] A posição de começo V0 (FFVS (Começo Vertical de Primeiro Campo)) é informação de 13 bits indicando a posição de começo de pixel de valor de direção vertical do campo de cabeça. O SD (Diff de Começo) é informação de 2 bits indicando a diferença entre o FFVS e o segundo campo. A posição de começo H (HS (Começo Horizontal)) é informação de 13 bits indicando a posição de começo de pixel válida na direção horizontal. O VF (Formato de Vídeo) é informação de 4 bits indicando o formato de vídeo de sinais comprimidos.

[00162] O tamanho total V (FFVTS (Tamanho Total Vertical de Primeiro Campo)) é informação de 13 bits indicando o número total de pixéis incluindo o espaço em branco do campo de cabeça. O TSD (Diff de Tamanho Total) é informação de 2 bits indicando a diferença entre o FFVTS e o segundo campo. O tamanho total H (HTS (Tamanho Total Horizontal)) é informação de 13 bits indicando o número total de pixéis incluindo o espaço em branco na direção horizontal. O PXCS (Escala de Relógio de Pixel) é informação de 3 bits indicando a escala do relógio.

[00163] O tamanho V (FFVVS (Tamanho Válido Vertical de Primeiro Campo)) é informação de 13 bits indicando o tamanho de pixel de valor de direção vertical do campo de cabeça. O VSD (Diff de Tamanho Válido) é informação de 2 bits indicando a diferença entre o FFVVS e o segundo campo. O tamanho H (HVS (Tamanho Válido Horizontal)) é informação de 13 bits indicando o tamanho de pixel de valor na direção horizontal. O BRT (Temporização de Reiniciação de Valor B) é informação de 2 bits indicando a

Petição 870190088096, de 06/09/2019, pág. 41/138 / 112 temporização de reiniciação de um valor B.

[00164] O CTS (Tamanho de Tabela de Costume) é informação de 16 bits indicando o tamanho de uma tabela de costume. Há tantos valores de costume subsequentes quanto o número de valores especificados, com o tamanho disso sendo CTS x 2 bytes. O WTm (Tabela de Ponderação m) é informação de 16 x m bits indicando a m-ésima tabela de ponderação.

[00165] Note que na realidade, como mostrado na Figura 9, informação de atributo, informação VÁLIDA, e assim sucessivamente, também é provida da unidade de codificação 121 para a unidade de processamento de empacotamento 122, além de dados. Informação de atributo é informação indicando se os dados a serem providos são dados de cabeçalho ou imagem, indicando se dados de componente de luminância ou dados de componente de diferença de cor, e assim sucessivamente.

[00166] Informação VÁLIDA é informação para notificar a temporização de leitura de dados.

[00167] A unidade de processamento de empacotamento 122 executa processamento de empacotamento sobre dados codificados providos a cada incremento de dados predeterminado (precinto), baseado no tamanho dos dados e um tamanho de pacote especificado separadamente.

[00168] Figura 10 é um diagrama de bloco ilustrando um exemplo de configuração interna da unidade de processamento de empacotamento 122 na Figura 1.

[00169] Na Figura 10, a unidade de processamento de empacotamento 122 inclui uma unidade de aquisição de dados 201, uma unidade criadora de cabeçalho de RTP (Protocolo de Transporte em Tempo Real) 202, uma unidade criadora de cabeçalho comum 203, uma unidade criadora de cabeçalho estendido 204, uma unidade criadora de informação de quadro 205, uma unidade de confirmação de indicador 206, uma unidade de confirmação de tamanho 207, uma unidade de processamento de fragmento 208, uma

Petição 870190088096, de 06/09/2019, pág. 42/138

38/ 112 unidade de empacotamento 209, e uma unidade de saída 210.

[00170] A unidade de aquisição de dados 201 adquire dados codificados e pacotes e similar providos da unidade de codificação 121 baseado em informação de atributos e informação VÁLIDA e similar provida junto com os dados. Por exemplo, ao obter um cabeçalho de precinto 171, a unidade de aquisição de dados 201 provê isto à unidade criadora de cabeçalho de RTP 202, unidade criadora de cabeçalho comum 203, unidade criadora de cabeçalho estendido, unidade de confirmação de indicador 206, e unidade de confirmação de tamanho 207. Também, ao obter um cabeçalho de quadro 172 por exemplo, a unidade de aquisição de dados 201 provê isto à unidade criadora de informação de quadro 205. Adicionalmente, ao adquirir dados codificados por exemplo, a unidade de aquisição de dados 201 provê isto à unidade de processamento de fragmento 208.

[00171] Após a unidade de aquisição de dados 201 obter um cabeçalho de precinto, a unidade criadora de cabeçalho de RTP 202 cria um cabeçalho de RTP que é um cabeçalho de um pacote de RTP, baseado no cabeçalho de precinto obtido. Detalhes de cabeçalhos de RTP serão descritos mais tarde. A unidade criadora de cabeçalho de RTP 202 provê o cabeçalho de RTP criado para a unidade de empacotamento 209, e faz notificação de término de processamento à unidade criadora de cabeçalho comum 203.

[00172] Ao receber a notificação da unidade criadora de cabeçalho de RTP 202, a unidade criadora de cabeçalho comum 203 cria um cabeçalho comum, que é um cabeçalho comum anexado a cada pacote criado daquele precinto, baseado no cabeçalho de precinto 171 que a unidade de aquisição de dados 201 obteve. Um cabeçalho comum inclui informação básica relativa àquele precinto. Detalhes de cabeçalhos comuns serão descritos mais tarde. A unidade criadora de cabeçalho comum 203 provê o cabeçalho comum criado à unidade de empacotamento 209, e faz notificação de término de processamento à unidade criadora de cabeçalho estendido 204.

Petição 870190088096, de 06/09/2019, pág. 43/138

39/ 112 [00173] Ao receber a notificação da unidade criadora de cabeçalho comum 203, a unidade criadora de cabeçalho estendido 204 cria informação para um cabeçalho estendido em que é provida informação não incluída no cabeçalho comum como necessário, relativa àquele precinto, baseado no cabeçalho de precinto 171 que a unidade de aquisição de dados 201 obteve. Criar este cabeçalho estendido habilita criação de cabeçalho flexível e efetiva para a parte transmissora. Enquanto os conteúdos da informação do cabeçalho estendido são opcionalmente, isto pode ser, por exemplo, informação relativa a coeficientes de quantização, informação relativa a tamanho, e assim sucessivamente. Detalhes de cabeçalhos estendidos serão descritos mais tarde. A unidade criadora de cabeçalho estendido 204 provê o cabeçalho estendido criado à unidade de empacotamento 209, e faz notificação de término de processamento à unidade criadora de informação de quadro 205.

[00174] Ao receber a notificação da unidade criadora de cabeçalho estendido 204, e adicionalmente a unidade de aquisição de dados 201 obtendo o cabeçalho de quadro 172, a unidade criadora de informação de quadro 205 cria informação de quadro incluindo informação relativa àquele quadro, baseado no cabeçalho de quadro 172. Detalhes desta informação de quadro serão descritos mais tarde. A unidade criadora de informação de quadro 205 provê a informação de quadro criada à unidade de empacotamento 209, faz a informação de quadro ser inserida no cabeçalho estendido, e notifica término do processamento à unidade de confirmação de indicador 206. Note que no evento que a unidade de aquisição de dados 201 não obteve o cabeçalho de quadro 172, a unidade criadora de informação de quadro 205 notifica término do processamento à unidade de confirmação de indicador 206 sem criar informação de quadro.

[00175] Ao receber a notificação da unidade criadora de informação de quadro 205, a unidade de confirmação de indicador 206 faz referência ao IF incluído no cabeçalho de precinto 171 que a unidade de aquisição de dados

Petição 870190088096, de 06/09/2019, pág. 44/138 / 112

201 obteve, e determina se ou não incluir dados codificados no pacote, de acordo com o valor desse indicador. Por exemplo, no evento que IF = 1, a unidade de confirmação de indicador 206 determina que codificação dos dados desse precinto falhou, faz a unidade de aquisição de dados 201 descartar (não adquirir) esses dados codificados indecifráveis, e adicionalmente controla a unidade de empacotamento 209 para empacotar somente com informação de cabeçalho (assim para não incluir uma carga útil). Também, no evento que IF = 0 por exemplo, a unidade de confirmação de indicador 206 determina que codificação desse precinto teve êxito, faz a unidade de empacotamento 209 empacotar incluindo uma carga útil, e faz notificação de término de processamento à unidade de confirmação de tamanho 207.

[00176] Ao receber a notificação da unidade de confirmação de indicador 206, a unidade de confirmação de tamanho 207 confirma se ou não o tamanho de dados do precinto é maior do que um tamanho de pacote fixado separadamente previamente (valor máximo de tamanho de dados de carga útil incluídos em um único pacote), baseado no comprimento de código de precinto incluído no cabeçalho de precinto que a unidade de aquisição de dados 201 obteve. Por exemplo, no evento que o tamanho de dados do precinto é maior do que o tamanho de pacote, a unidade de confirmação de tamanho 207 controla a unidade de processamento de fragmento 208 para dividir os dados codificados que a unidade de aquisição de dados 201 adquire em cada tamanho de pacote. Reciprocamente, no evento que o tamanho de dados do precinto não é maior do que o tamanho de pacote por exemplo, a unidade de confirmação de tamanho 207 controla a unidade de processamento de fragmento 208 assim para não dividir os dados codificados que a unidade de aquisição de dados 201 adquire.

[00177] A unidade de processamento de fragmento 208 é controlada pela unidade de confirmação de tamanho 207 assim para dividir os dados

Petição 870190088096, de 06/09/2019, pág. 45/138 /112 codificados que a unidade de aquisição de dados 201 adquire em cada tamanho de pacote, no evento que o tamanho de dados do precinto é maior do que o tamanho de pacote, e prover à unidade de empacotamento 209. Quer dizer, neste caso, cada vez que a unidade de aquisição de dados 201 adquire tamanho de pacote de valor 1 de dados codificados, levando em conta a porção de cabeçalho igualmente, a unidade de processamento de fragmento 208 provê o valor de tamanho de pacote 1 de dados codificados à unidade de empacotamento 209 como uma carga útil.

[00178] Reciprocamente, a unidade de processamento de fragmento 208 é controlada pela unidade de confirmação de tamanho 207 assim para prover os dados codificados que a unidade de aquisição de dados 201 adquire à unidade de empacotamento 209 sem mudança, no evento que o tamanho de dados do precinto não é maior do que o tamanho de pacote. Quer dizer, neste caso, a unidade de processamento de fragmento 208 provê o valor de precinto 1 de dados codificados que a unidade de aquisição de dados 201 adquire à unidade de empacotamento 209 como uma carga útil.

[00179] A unidade de empacotamento 209 empacota a carga útil provida da unidade de processamento de fragmento 208 usando informação de cabeçalho provida de cada porção. Por exemplo, no evento que dados codificados de 1 precinto são para serem divididos em múltiplas cargas úteis pela unidade de processamento de fragmento 208, a unidade de empacotamento 209 adiciona informação de cabeçalho necessária para cada um a cada carga útil, e empacota cada um. Também, no evento que a unidade de processamento de fragmento 208 não é para dividir os dados codificados por exemplo, a unidade de empacotamento 209 adiciona informação de cabeçalho necessária para a única carga útil provida da unidade de processamento de fragmento 208, e empacota. Adicionalmente, no evento que a unidade de confirmação de indicador 206 instrui para não incluir uma carga útil no pacote por exemplo, a unidade de empacotamento 209 executa

Petição 870190088096, de 06/09/2019, pág. 46/138 / 112 empacotamento com informação de cabeçalho sozinha, baseado nessa instrução.

[00180] Também, a unidade de empacotamento 209 fixa os valores de informação de indicador, tais como SFF, M, etc., incluída nos cabeçalhos comuns dos pacotes gerados, como apropriado. O SFF (Indicador de Fragmento de Começo) é informação de indicador indicando se ou não esse pacote é um pacote incluindo a porção de cabeça de um precinto (cabeçalho de pacote), e M (Marcador) é informação de indicador indicando se ou não um pacote incluindo a porção de fim de um precinto (pacote final). Esta informação de indicador é referida na hora de processamento de desempacotamento pela unidade de processamento de desempacotamento 132.

[00181] Por exemplo, no evento da unidade de processamento de fragmento 208 dividir dados codificados, a unidade de empacotamento 209 fixa a 1 o SFF do pacote da carga útil de cabeça do grupo de carga útil gerado dividindo os dados codificados de um único precinto, e fixa o M do pacote da carga útil final a 1.

[00182] Também, no evento que a unidade de processamento de fragmento 208 não divide os dados codificados por exemplo, a unidade de empacotamento 209 fixa o SFF e M do único pacote gerado cada um a 1.

[00183] Fixando a informação de indicador tal como SFF e Min desse modo, a unidade de processamento de desempacotamento 132 pode facilmente contar se esse pacote é um cabeçalho de pacote de um precinto, um pacote final, ou outro pacote, se referindo a esta informação de indicador. Por conseguinte, a unidade de processamento de desempacotamento 132 pode reduzir o tempo de espera como descrito mais tarde, e pode reduzir o tempo de atraso de processamento de desempacotamento.

[00184] A unidade de empacotamento 209 provê o pacote gerado à unidade de saída 210.

Petição 870190088096, de 06/09/2019, pág. 47/138 / 112 [00185] A unidade de saída 210 provê o pacote de RTP provido da unidade de empacotamento 209 à unidade de transmissão 123 (Figura 1) e faz ser transmitido ao dispositivo de recepção 103 (Figura 1).

[00186] Como descrito acima, a unidade de codificação 121 divide um único quadro (quadro ou campo) em múltiplos precintos, e executa codificação de cada precinto, como mostrado na Figura 11.

[00187] A unidade de processamento de empacotamento 122 divide dados codificados de um único precinto em cada tamanho de pacote predeterminado e empacota, como mostrado na Figura 12. No evento que o tamanho de dados do precinto não é maior do que o tamanho de pacote, o pacote gerado é 1. No exemplo na Figura 12, 5 pacotes são gerados de dados codificados de um único precinto.

[00188] Um exemplo de um formato de transmissão de dados de imagem é mostrado abaixo.

[00189] Figura 13 ilustra a configuração de um cabeçalho de RTP que é informação de cabeçalho de um pacote de RTP que a unidade criadora de cabeçalho de RTP 202 cria. Um cabeçalho de RTP 221 é provido com os campos de versão número (V), enchimento (P), se ou não há um cabeçalho estendido (X), número de fontes de transmissão (Contador) (CC), informação de marcador (bit de marcador) (M), tipo de carga útil (Tipo de Carga Útil) (PT), sequência número, marca de tempo, e identificador de fonte de sincronização (fonte de transmissão) (SSRC (Identificador de Fonte de Sincronização)).

[00190] A versão número (V) é informação de 2 bits indicando a versão número do RTP. O enchimento (P) é informação de indicador de 1 bit, indicando que um ou mais octetos de enchimento (dados embutidos) foram adicionados ao término da carga útil no evento que o valor disso é 1. Se ou não há um cabeçalho estendido (X) é informação de indicador de 1 bit, indicando que um cabeçalho estendido foi adicionado além de um cabeçalho

Petição 870190088096, de 06/09/2019, pág. 48/138 / 112 de comprimento fixo no evento que o valor disso é 1 (há extensão de cabeçalho). O número de fontes de transmissão (CC) é informação de 4 bits indicando o número de identificadores de CSRC, indicando o número de identificadores de fontes de dados individuais no evento de um único empacotamento de RTPP de dados de múltiplas fontes de dados como com uma teleconferência de multiponto, por exemplo.

[00191] Informação de marcador (M) é informação de indicador de 1 bit, indicando um evento arbitrário ou similar na carga útil, por exemplo. O método de uso da informação de marcador (M) é fixado no tipo de carga útil (PT) ou similar, por exemplo. O tipo de carga útil (PT) é informação de 7 bits para especificar o formato da carga útil levada por esse pacote.

[00192] A sequência número é informação numérica de 16 bits indicando a ordem de pacotes de dados de RTP, com o valor inicial sendo fixado aleatoriamente, e o valor de pacotes subsequentes é incrementado por 1. Esta sequência número indica a ordem de pacotes ao longo dos dados codificados inteiros (dados de imagem) sendo transmitidos.

[00193] A marca de tempo é informação de 32 bits indicando o ponto em tempo de amostragem do primeiro byte do pacote de RTP. O relógio de amostragem é determinado pelo perfil de dados da carga útil. Por exemplo, se nós dizemos que a frequência de amostragem do sinal de áudio é 8 kHz, o valor da marca de tempo é incrementado por 1 a todo 125 bs, assim se nós dizemos que o pacote de dados de RTP são dados de 20 ms, o valor da marca de tempo aumenta 160 para cada pacote. Note que o valor inicial é fixado aleatoriamente.

[00194] O identificador (SSRC) de fonte de sincronização (fonte de transmissão) é um identificador de 32 bits indicando a fonte de transmissão deste pacote. Esta informação é gerada aleatoriamente. No evento que o endereço de transporte muda, este identificador de SSRC também é atualizado.

Petição 870190088096, de 06/09/2019, pág. 49/138 / 112 [00195] A unidade criadora de cabeçalho comum 203, unidade criadora de cabeçalho estendido 204, e unidade criadora de informação de quadro 205 geram vários tipos de informação incluídos no cabeçalho de carga útil seguindo o cabeçalho de RTP. Figura 14 ilustra um exemplo de configuração de um cabeçalho de carga útil. Como mostrado na Figura 14, um cabeçalho de carga útil é configurado de um cabeçalho comum 231, informação de parâmetro de quantização 232, informação de tamanho 233, informação de formato 234, informação de quadro 235, e informação de cor 236, e é adicionado em frente de uma carga útil 237.

[00196] O cabeçalho comum 231 é informação de cabeçalho incluindo informação básica relativa ao precinto, criada pela unidade criadora de cabeçalho comum 203. Este cabeçalho comum 231 é um cabeçalho obrigatório, e é adicionado a todos os pacotes.

[00197] A informação de parâmetro de quantização 232 é um cabeçalho estendido criado pela unidade criadora de cabeçalho estendido 204, e inclui informação relativa a coeficientes de quantização. A informação de tamanho 233 é um cabeçalho estendido criado pela unidade criadora de cabeçalho estendido 204, e inclui informação relativa a tamanho de dados. A informação de formato 234 é um cabeçalho estendido criado pela unidade criadora de cabeçalho estendido 204, e inclui informação relativa ao formato dos dados. A informação de quadro 235 é um cabeçalho estendido criado pela unidade criadora de informação de quadro 205, e inclui informação relativa à imagem original (quer dizer, os dados de imagem que são codificados, empacotados e transmitidos). A informação de cor 236 é um cabeçalho estendido criado pela unidade criadora de cabeçalho estendido 204, e inclui informação relativa à cor dos dados de imagem.

[00198] A informação de parâmetro de quantização 232, informação de formato 234, informação de quadro 235, e informação de cor 236, são anexadas ao cabeçalho de pacote de um precinto (incluindo casos de pacotes

Petição 870190088096, de 06/09/2019, pág. 50/138 / 112 em que fragmentação não é executada) como um cabeçalho estendido. A informação de tamanho 233 é anexada a qualquer pacote arbitrário como um cabeçalho estendido.

[00199] Quer dizer, no evento de adicionar informação de tamanho a todos os pacotes, tudo do cabeçalho comum 231 pela carga útil 237 é incluído no pacote na cabeça do precinto. Por outro lado, só o cabeçalho comum 231 e a informação de tamanho 233 e a carga útil 237 são incluídas em pacotes diferentes do cabeçalho de pacote do precinto.

[00200] Detalhes de cada informação serão descritos.

[00201] Figura 15 é um diagrama ilustrando um exemplo de configuração de um cabeçalho comum 231. Como mostrado na Figura 15, o cabeçalho comum 231 inclui informação de PID, AT, AID, SFF, M, TSF, NF, FT, CF, IF, X, e TS e assim sucessivamente. Quer dizer, a primeira palavra (primeira fila do topo) e segunda palavra (segunda fila do topo) do cabeçalho comum 231 foram criadas usando a primeira palavra (Palavra 0) e segunda palavra (Palavra 1) do cabeçalho de precinto 171 provido da unidade de codificação 121 sem mudança, e SFF, M, TSF, e NF foram adicionados aos 4 bits que eram um campo vazio (Reservado) na primeira palavra.

[00202] O SFF (Indicador de Fragmento de Começo) é informação de indicador de 1 bit indicando se ou não a cabeça da carga útil indicada pelo PID, AT e AID. Quer dizer, no evento que este pacote é o pacote na cabeça do precinto (cabeçalho de pacote), o valor deste SFF é fixado a 1, e em outros casos, é fixado a 0.

[00203] M (Marcador) é informação de indicador de 1 bit indicando se ou não incluir a poção de fim da carga útil indicada pelo PID, AT e AID. Quer dizer, no evento que este pacote é o pacote incluindo a porção de fim do precinto ou unidade de alinhamento (pacote final), o valor deste M é fixado a 1, e em outros casos, é fixado a 0.

[00204] TSF (Indicador de Marca de Tempo) é informação de

Petição 870190088096, de 06/09/2019, pág. 51/138 / 112 indicador de 1 bit indicando se ou não incluir uma marca de tempo no cabeçalho comum. Quer dizer, no evento que o valor deste TSF é 1, a segunda palavra (Palavra 1) do cabeçalho de precinto 171 é anexada à segunda palavra do cabeçalho comum 231.

[00205] NF (Indicador de Próximo) é informação de indicador de 1 bit indicando a presença de uma carga útil subsequente. Quer dizer, no evento que uma carga útil de múltiplos precintos ou unidades de alinhamento está anexada a este pacote e este cabeçalho não é o último precinto ou unidade de alinhamento no pacote, o valor deste NF é fixado a 1.

[00206] TS (Marca de Tempo) é informação indicando os 32 bits de ordem inferior da marca de tempo do precinto ao qual a carga útil deste pacote pertence, e corresponde à segunda palavra (Palavra 1) do cabeçalho de precinto 171.

[00207] Note que a terceira palavra (terceira fila do topo) mostrada na Figura 15 mostra um cabeçalho estendido anexado continuando do cabeçalho comum 231.

[00208] Figura 16 é um diagrama ilustrando um exemplo de configuração da informação de parâmetro de quantização 232 incluída no cabeçalho estendido. Como mostrado na Figura 16, a informação de parâmetro de quantização 232 é informação incluindo informação tal como ET, QP e X. A unidade criadora de cabeçalho estendido 204 cria esta informação de parâmetro de quantização 232 usando a terceira palavra (Palavra 2) do cabeçalho de precinto 171 provido da unidade de codificação 121.

[00209] O ET (Tipo de Extensão) é informação de 5 bits indicando os conteúdos do cabeçalho estendido. O valor de especificação na hora de usar esta informação de parâmetro de quantização 232 é arbitrário, mas é 00011 por exemplo. O QP (Parâmetro de Quantização) é informação de 16 bits indicando o valor de um coeficiente de quantização. O X (Extensão) é um

Petição 870190088096, de 06/09/2019, pág. 52/138 / 112 indicador indicando se ou não usar o cabeçalho estendido.

[00210] Figura 17 é um diagrama ilustrando um exemplo de configuração da informação de tamanho 233 incluída no cabeçalho estendido. Como mostrado na Figura 17, a informação de tamanho 233 é informação incluindo informação tal como ET, SS e X. A unidade criadora de cabeçalho estendido 204 cria esta informação de tamanho 233 usando a quarta palavra (Palavra 3) do cabeçalho de precinto 171 provido da unidade de codificação 121.

[00211] O ET (Tipo de Extensão) é informação de 5 bits indicando os conteúdos do cabeçalho estendido. O valor de especificação na hora de usar esta informação de tamanho 233 é arbitrário, mas é 00100 por exemplo. O SS (Tamanho de Segmento) é informação de 26 bits indicando o tamanho de carga útil do segmento em comprimento de palavra. O X (Extensão) é um indicador indicando se ou não usar o cabeçalho estendido.

[00212] Como mostrado na Figura 7, e Figura 15 por Figura 17, a unidade de codificação 121 provê o cabeçalho de precinto 171 com o mesmo formato como o cabeçalho comum 231 e cabeçalho estendido (informação de parâmetro de quantização 232 e informação de tamanho 233), à unidade de processamento de empacotamento 122. Por conseguinte, a unidade criadora de cabeçalho comum 203 e unidade criadora de cabeçalho estendido 204 da unidade de processamento de empacotamento 122 pode criar cabeçalhos comuns e cabeçalhos estendidos facilmente e à alta velocidade.

[00213] Figura 18 é um diagrama ilustrando um exemplo de configuração da informação de formato 234 incluída no cabeçalho estendido. Como mostrado em A na Figura 18, a informação de formato 234 é basicamente informação incluindo ET, FTI e X e assim sucessivamente. A unidade criadora de cabeçalho estendido 204 cria esta informação de formato 234 usando informação provida da unidade de codificação 121, por exemplo.

[00214] O ET (Tipo de Extensão) é informação de 5 bits indicando os

Petição 870190088096, de 06/09/2019, pág. 53/138 / 112 conteúdos do cabeçalho estendido. O valor de especificação na hora de usar esta informação de formato 234 é arbitrário, mas é 00101 por exemplo. O FTI (Identificador de Tipo de Formato) é informação indicando a qual tipo de formato a informação descrita está relacionada. Este valor é arbitrário, mas no evento que informação de Bayer é descrita por exemplo, um valor 00001 é fixado. O X (Extensão) é um indicador indicando se ou não usar o cabeçalho estendido.

[00215] B na Figura 18 ilustra um exemplo de configuração da informação de formato 234 em um caso em que informação de Bayer é descrita. Neste caso, além do ET, FTI e X, a informação de formato 234 inclui informação de MT, SMT, BLF, VLOF, SSF, EVF, DC, BL, RBL, RVLO, DSS, NSS e EV e assim sucessivamente.

[00216] O MT (Tipo de Mosaico) é informação de 4 bits indicando o tipo de mosaico da carga útil. O SMT (Tipo de Mosaico de Começo) é informação de 4 bits indicando a primeira informação de pixel no canto esquerdo superior do quadro. O BLF (Indicador de Nível de Preto) é informação de indicador de 1 bit indicando a presença de informação de nível de preto. O VLOF (Indicador de Compensação de Linha Vertical) é informação de indicador de 1 bit indicando a presença de informação de correção de linha vertical. O SSF (Indicador de Velocidade de Obturador) é informação de indicador de 1 bit indicando a presença de informação de velocidade de obturador. O EVF (Indicador de EV) é informação de indicador de 1 bit indicando a presença de informação de EV. O DC (Correção de Defeito) é informação de indicador de 1 bit indicando se ou não executar correção de defeito.

[00217] O BL (Nível de Preto) é informação de indicador de 32 bits indicando um valor de nível de preto. O RBL (Nível de Preto Revisado) é informação de 32 bits indicando um valor de compensação de correção de nível de preto. O BL e RBL só existem no evento que o valor do BLF é 1.

Petição 870190088096, de 06/09/2019, pág. 54/138

50/ 112 [00218] O RVLO (Compensação de Linha Vertical Revisada) é informação de 32 bits indicando um valor de compensação de correção de linha vertical. O RVLO só existe no evento que o valor de VLOF é 1.

[00219] O DSS é informação de 32 bits indicando numerador de velocidade de obturador (unidade é APEX). O NSS é informação de 32 bits indicando denominador de velocidade de obturador (unidade é APEX). O DSS e NSS só existem no evento que o valor do SSF é 1.

[00220] EV é informação de 32 bits indicando o valor de EV. O EV só existe no evento que o valor de EVF é 1.

[00221] Figura 19 é um diagrama ilustrando um exemplo de configuração da informação de quadro 235 incluída no cabeçalho estendido. Como mostrado na Figura 19, a informação de quadro 235 inclui a informação de ET, PI, CEF, CBD, DL, WF, PDI, SF, FR, AR, DBSZ, FTS, FFVS, SD, HS, VF, FFVTS, TSD, HTS, PXCS, FFVVS, VSD, HVS, BRT, WCF, X, CTS e WTm e assim sucessivamente. A unidade criadora de informação de quadro 205 cria esta informação de quadro 235 usando o cabeçalho de quadro 172 provido da unidade de codificação 121.

[00222] Quer dizer, a informação de quadro 235 é aquela em que ET foi adicionado a um campo vazio (Reservado) na primeira palavra (Palavra 0) e WCF e X foram adicionados a um campo vazio (Reservado) na sexta palavra (Palavra 5) do cabeçalho de quadro 172 provido da unidade de codificação 121.

[00223] O ET (Tipo de Extensão) é informação de 5 bits indicando os conteúdos do cabeçalho estendido. O valor de especificação na hora de usar esta informação de quadro 235 é arbitrário, mas é 00010 por exemplo. O WCF (Indicador de Costume de Ponderação) é um indicador de informação de 1 bit indicando se usar um valor de costume para um coeficiente de ponderação. O CTS só existe no evento que o valor deste WCF é 1. O X (Extensão) é um indicador indicando se ou não usar o cabeçalho estendido

Petição 870190088096, de 06/09/2019, pág. 55/138

51/ 112 seguindo este cabeçalho.

[00224] Como mostrado na Figura 8 e Figura 19, a unidade de codificação 121 provê o cabeçalho de quadro 172 do mesmo formato como a informação de quadro 235 para a unidade de processamento de empacotamento 122. Por conseguinte, a unidade criadora de informação de quadro 205 da unidade de processamento de empacotamento 122 pode criar informação de quadro 235 facilmente e à alta velocidade.

[00225] Figura 20 é um diagrama ilustrando um exemplo de configuração de informação de cor 236 incluída em um cabeçalho estendido. Como mostrado na Figura 20, a informação de cor 236 inclui informação de ET e X e assim sucessivamente. A unidade criadora de cabeçalho estendido 204 cria esta informação de cor 236 usando informação provida da unidade de codificação 121 e assim sucessivamente.

[00226] O ET (Tipo de Extensão) é informação de 5 bits indicando os conteúdos do cabeçalho estendido. O X (Extensão) é um indicador indicando se ou não usar o cabeçalho estendido.

[00227] A unidade de processamento de empacotamento 122 empacota dados codificados para cada precinto como descrito acima, e provê à unidade de transmissão 123. A unidade de transmissão 123 transmite sequencialmente os pacotes para o dispositivo de recepção 103 pela linha 110.

[00228] Um pacote remetido da unidade de transmissão 123 com um formato tal como acima é provido à unidade de recepção 131 do dispositivo de recepção 103 pela linha 110. Ao receber o pacote, a unidade de recepção 131 o provê à unidade de processamento de desempacotamento 132.

[00229] Figura 21 é um diagrama de bloco ilustrando um exemplo de configuração interna da unidade de processamento de desempacotamento 132. Como mostrado na Figura 21, a unidade de processamento de desempacotamento 132 tem, por exemplo, uma unidade de aquisição de pacote 251, uma unidade analisadora de informação de cabeçalho 252, uma

Petição 870190088096, de 06/09/2019, pág. 56/138

52/ 112 unidade de transição de modo de controle 253, uma unidade de controle 254, uma unidade de provisão de cabeçalho 255, uma unidade de provisão de dados 256, uma unidade de notificação de erro 257, e uma unidade de provisão de sinal de controle 258.

[00230] A unidade de aquisição de pacote 251 adquire pacotes providos da unidade de recepção 131. Neste momento, ao adquirir informação sobre a carga útil de RTP, a unidade de aquisição de pacote 251 provê sequencialmente a informação já adquirida à unidade analisadora de informação de cabeçalho 252 enquanto continuando a aquisição. Quer dizer, a unidade de aquisição de pacote 251 provê informação de cabeçalho à unidade analisadora de informação de cabeçalho 252 antes que aquisição da carga útil seja completada. Também, a unidade de aquisição de pacote 251 também provê informação de cabeçalho à unidade de provisão de cabeçalho 255, e também provê a carga útil à unidade de provisão de dados 256.

[00231] A unidade analisadora de informação de cabeçalho 252 analisa a informação de cabeçalho do pacote de RTP que a unidade de aquisição de pacote 251 adquiriu, isto é, o cabeçalho de RTP e informação de cabeçalho de carga útil, e provê os resultados de análise à unidade de transição de modo de controle 253 e unidade de controle 254.

[00232] A unidade de transição de modo de controle 253 controla o modo de operação da unidade de controle 254 baseada nos resultados de análise da informação de cabeçalho provida da unidade analisadora de informação de cabeçalho 252, e causa transição como necessário.

[00233] A unidade de controle 254 controla as operações da unidade de provisão de cabeçalho 255, unidade de provisão de dados 256, unidade de notificação de erro 257, e unidade de provisão de sinal de controle 258, baseada nos resultados de análise providos da unidade analisadora de informação de cabeçalho 252, no modo de controle no qual transição era feita sob controle da unidade de transição de modo de controle 253.

Petição 870190088096, de 06/09/2019, pág. 57/138 / 112 [00234] A unidade de provisão de cabeçalho 255 é controlada pela unidade de controle 254 para extrair vários tipos de informação incluídos no cabeçalho de carga útil provido da unidade de aquisição de pacote 251, restaura o cabeçalho de precinto 171 e cabeçalho de quadro 172, e provê à unidade de decodificação 133. A unidade de provisão de dados 256 é controlada pela unidade de controle 254 para prover os dados de carga útil providos da unidade de aquisição de pacote 251 à unidade de decodificação 133. A unidade de notificação de erro 257 é controlada pela unidade de controle 254 para notificar erros tal como a ocorrência de perda de pacote à unidade de decodificação 133. A unidade de provisão de sinal de controle 258 é controlada pela unidade de controle 254 para prover vários tipos de informação de controle diferente de cabeçalhos e dados à unidade de decodificação 133.

[00235] Para os modos de controle da unidade de controle 254, há os quatro modos do modo de começo 301, modo de espera 302, modo de processamento 303, e modo de perda 304, como mostrado na Figura 22. A unidade de transição de modo de controle 253 compreende o estado de recepção de pacotes de RTP baseado nos resultados de análise de informação de cabeçalho pela unidade analisadora de informação de cabeçalho 252, e de acordo com o estado, faz o modo de controle da unidade de controle 254 transitar para o modo ótimo.

[00236] O modo de começo 301 é um modo para processar o primeiro pacote dos dados codificados inteiros. Na hora de começar processamento de desempacotamento, a unidade de controle 254 é fixada para este modo de começo 301. O modo de espera 302 é um modo para processar o cabeçalho de pacote de um precinto. Seguindo o último pacote de um precinto tendo sido processado, a unidade de controle 254 é fixada a este modo de espera 302. O modo de processamento 303 é um modo para processar cada pacote diferente da cabeça do precinto em tempos normais onde perda de pacote não ocorreu.

Petição 870190088096, de 06/09/2019, pág. 58/138 / 112

Quando perda de pacote não está ocorrendo, a unidade de controle 254 é fixada a este modo de processamento 303 para cada pacote diferente da cabeça do precinto. O modo de perda 304 é um modo para processar, em um caso em que um erro tal como uma perda de pacote ocorreu, os pacotes restantes desse precinto. No evento que perda de pacote ocorreu, a unidade de controle 254 é fixada a este modo de perda 304.

[00237] Detalhes das operações da unidade de processamento de desempacotamento 132 em cada modo serão descritos mais tarde.

[00238] Note que na realidade, informação de começo, informação de fim, informação VÁLIDA, informação de atributo, e notificação de erro, e assim sucessivamente, também é provida da unidade de processamento de desempacotamento 132 à unidade de decodificação 133, além de dados, como mostrado na Figura 23.

[00239] Informação de começo é informação indicando a carga útil do cabeçalho de pacote de um precinto ou unidade de alinhamento, e o valor 1 é fixado a esta informação de começo na hora da unidade de processamento de desempacotamento 132 prover a carga útil do cabeçalho de pacote de um precinto ou unidade de alinhamento à unidade de decodificação 133. Informação de fim é informação indicando a carga útil do pacote final de um precinto ou unidade de alinhamento, e o valor 1 é fixado a esta informação de fim na hora da unidade de processamento de desempacotamento 132 prover a carga útil do pacote final de um precinto ou unidade de alinhamento à unidade de decodificação 133.

[00240] Informação de atributo é informação indicando se os dados a serem providos sãos dados de cabeçalho ou imagem, indicando se dados de componente de luminância ou dados de componente de diferença de cor, e assim sucessivamente. Informação VÁLIDA é informação para notificar a temporização de leitura de dados. Notificação de erro é informação para notificar a ocorrência de um erro tal como uma perda de pacote à unidade de

Petição 870190088096, de 06/09/2019, pág. 59/138 / 112 decodificação 133.

[00241] Figura 24 é um diagrama de bloco ilustrando um exemplo de configuração interna da unidade de decodificação 133 na Figura 1. Como mostrado na Figura 24, a unidade de decodificação 133 tem uma unidade de obtenção de informação de controle 351, uma unidade de controle de decodificação 352, uma unidade de execução de processamento de decodificação 353, uma unidade de obtenção de cabeçalho 354, uma unidade de aquisição de dados 355, uma unidade de obtenção de notificação de erro 356, e uma unidade de processamento de descarte 357.

[00242] A unidade de obtenção de informação de controle 351 obtém informação de controle da unidade de processamento de desempacotamento 132 tal como informação de começo, informação de fim, informação VÁLIDA, e informação de atributo, e provê a informação de controle à unidade de controle de decodificação 352. A unidade de controle de decodificação 352 faz a unidade de execução de processamento de decodificação 353 começar processamento de decodificação a uma temporização predeterminada, baseada nessa informação de controle.

[00243] A unidade de execução de processamento de decodificação 353 executa processamento de decodificação dos dados codificados adquiridos pela unidade de aquisição de dados 355, baseada na informação de cabeçalho provida da unidade de processamento de desempacotamento 132 e obtida pela unidade de obtenção de cabeçalho 354. A unidade de execução de processamento de decodificação 353 tem uma unidade de memória temporária 361, uma unidade de decodificação de entropia 362, e uma unidade de transformação inversa de wavelet 363, como mostrado na Figura 24. A unidade de memória temporária 361 contém temporariamente dados codificados providos da unidade de aquisição de dados 355, e provê os dados codificados à unidade de decodificação de entropia 362 como necessário. Também, a unidade de memória temporária 361 contém temporariamente

Petição 870190088096, de 06/09/2019, pág. 60/138 / 112 dados de coeficiente, que são resultados decodificados dos dados codificados, providos da unidade de decodificação de entropia 362, e provê os dados de coeficiente à unidade de transformação inversa de wavelet 363, como necessário.

[00244] A unidade de decodificação de entropia 362 é controlada pela unidade de decodificação de controle 352 assim para ler os dados codificados retidos na unidade de memória temporária 361, executar decodificação de entropia com um método correspondendo à unidade de codificação de entropia 155 da unidade de codificação 121, e gerar dados de coeficiente. Note que no evento de executar quantização na unidade de codificação de entropia 155, depois de executar o processamento de decodificação de entropia, a unidade de decodificação de entropia 362 também executa processamento de quantização inversa sobre os dados de coeficiente obtidos. A unidade de decodificação de entropia 362 provê os dados de coeficiente obtidos à unidade de memória temporária 361 para serem acumulados.

[00245] A unidade de transformação inversa de wavelet 363 lê os dados de coeficiente acumulados na unidade de memória temporária 361 a uma temporização predeterminada, executa processamento de transformação inversa de wavelet com um método correspondendo à unidade de transformação de wavelet 150 da unidade de codificação 121, e produz os dados de imagem de banda base obtidos para o dispositivo de exibição 104 como dados de imagem de saída.

[00246] A unidade de obtenção de cabeçalho 354 obtém informação de cabeçalho tais como cabeçalhos de precinto e cabeçalhos de quadro providos da unidade de processamento de desempacotamento 132, e provê estes à unidade de memória temporária 361 para serem retidos. A unidade de aquisição de dados 355 adquire os dados de carga útil providos da unidade de processamento de desempacotamento 132, e provê isto à unidade de memória temporária 361 para serem retidos.

Petição 870190088096, de 06/09/2019, pág. 61/138 / 112 [00247] A unidade de obtenção de notificação de erro 356 obtém notificação de erro notificando que uma perda de pacote ocorreu no processamento de recepção, ou similar, que é provida da unidade de processamento de desempacotamento 132, e provê isto à unidade de processamento de descarte 357. Ao obter uma notificação de erro, a unidade de processamento de descarte 357 descarta os dados codificados acumulados na unidade de memória temporária 361 da unidade de execução de processamento de decodificação 353. Quer dizer, no evento que uma perda de pacote ocorreu no processamento de recepção de pacotes (no evento que a ocorrência de perda de pacote foi confirmada baseada em números de sequência), execução de processamento de decodificação de entropia correto sobre o precinto atual considerando que a perda de pacote ocorreu é impossível, assim os dados codificados do precinto atual considerando que a perda de pacote ocorreu, que estão acumulados na unidade de memória temporária 361, são todos descartados.

[00248] A seguir, o fluxo de processamento que cada unidade executa será descrito. Primeiro, um exemplo do fluxo de processamento de codificação executado pela unidade de codificação 121 do dispositivo de transmissão 102 será descrito com referência ao fluxograma na Figura 25.

[00249] Ao começo de processamento de codificação, na Etapa S1, a unidade de transformação de wavelet 150 fixa número A do precinto a ser processado para colocações iniciais. Em casos normais, número A é fixado a 1. No término de colocação, na Etapa S2, a unidade de transformação de wavelet 150 obtém dados de imagem para os números de linha necessários (isto é, um precinto) para gerar a linha da A-ésima linha do topo da sub-banda de banda mais baixa, na Etapa S3 executa processamento de filtragem de análise vertical para executar filtragem de análise sobre os dados de imagem formados na direção vertical de tela sobre os dados de imagem disso, e na Etapa S4 executa processamento de filtragem de análise horizontal para

Petição 870190088096, de 06/09/2019, pág. 62/138 / 112 executar processamento de filtragem de análise sobre os dados de imagem formados na direção horizontal de tela.

[00250] Na Etapa S5, a unidade de transformação de wavelet 150 determina se ou não o processamento de filtragem de análise foi executado ao último nível, e no caso de determinar que o nível de divisão não alcançou o último nível, o processamento é retornado à Etapa S3, em que o processamento de filtragem de análise na Etapa S3 e Etapa S4 é repetido sobre o nível de divisão atual.

[00251] No evento que o processamento de filtragem de análise é determinado na Etapa S5 ter sido executado ao último nível, a unidade de transformação de wavelet 150 procede o processamento à Etapa S6.

[00252] Na Etapa S6, a unidade de rearranjo de coeficiente 153 rearranja os coeficientes do precinto A (o A-ésimo precinto do topo do quadro (quadro ou campo)) na ordem de banda baixa para banda alta. Na Etapa S7, a unidade de codificação de entropia 155 sujeita o coeficiente à codificação de entropia em incrementos de linha.

[00253] No término de codificação de entropia, na Etapa S8, a unidade de codificação de entropia 155 primeiro remete o cabeçalho de precinto 171 (Figura 7), e na Etapa S9, determina se ou não o precinto atualmente a ser processado é o precinto de cabeça do quadro (isto é, A = 1). No evento que determinação é feita que a cabeça do quadro, o processamento procede à Etapa S10, e a unidade de codificação de entropia 155 remete o cabeçalho de quadro 172 (Figura 8). No processamento da Etapa S10 terminando, o processamento procede à Etapa S11. Também, no evento que determinação é feita na Etapa S9 que o precinto atualmente a ser processado não é o precinto de cabeça do quadro, o processamento da Etapa S10 é omitido, e o processamento procede à Etapa S11.

[00254] Na Etapa S11, a unidade de codificação de entropia 155 remete os dados codificados do precinto A externamente, seguindo a

Petição 870190088096, de 06/09/2019, pág. 63/138 / 112 informação de cabeçalho.

[00255] A unidade de transformação de wavelet 150 incrementa o valor em número A por 1 na Etapa S12, toma o próximo precinto como um objetivo de processamento, e na Etapa S13, determina se ou não há linhas de entrada de imagem não processadas no quadro a ser processado. No evento que é determinado que há, o processamento é retornado à Etapa S2, e o processamento depois disso é repetido para o novo precinto a ser processado.

[00256] Como descrito acima, o processamento na Etapa S2 por Etapa S13 é executado repetidamente para codificar cada precinto. No evento que determinação é feita na Etapa S13 que não há nenhuma linha de entrada de imagem não processada, a unidade de transformação de wavelet 150 termina o processamento de codificação para esse quadro. Um novo processamento de codificação é começado para o próximo quadro.

[00257] Com um método de transformação de wavelet convencional, primeiro, processamento de filtragem de análise horizontal é executado sobre o quadro inteiro, e a seguir processamento de filtragem de análise vertical é executado sobre esse quadro inteiro. Os componentes de banda baixa inteiros obtidos são sujeitos a processamento de filtragem de análise horizontal e processamento de filtragem de análise vertical do mesmo modo em ordem. Como descrito acima, processamento de filtragem de análise é repetido recursivamente até que o nível de divisão alcance o nível final. Por conseguinte, há a necessidade para reter os resultados de cada processamento de filtragem de análise em uma memória temporária. Neste momento, há a necessidade para a memória temporária reter os resultados de filtragem do quadro inteiro ou o componente de banda baixa inteiro do nível de divisão nesse ponto em tempo, significando que grande capacidade de memória é precisada (a quantidade de dados a serem retidos é grande).

[00258] Também, neste caso, rearranjo de coeficiente a jusante e codificação de entropia não podem ser executados até que toda a

Petição 870190088096, de 06/09/2019, pág. 64/138 / 112 transformação de wavelet do quadro termine, por esse meio aumentando tempo de atraso.

[00259] Reciprocamente, com a unidade de transformação de wavelet 150 da unidade de codificação 121, processamento de filtragem de análise vertical e processamento de filtragem de análise horizontal são executados continuamente em incrementos de precintos ao último nível como descrito acima, assim comparado a um método convencional, a quantidade de dados precisando ser retida (memorizados temporariamente) de uma vez (durante o mesmo período de tempo) é pequena, por meio de que a capacidade de memória da memória temporária que precisa ser preparada pode ser reduzida grandemente. Também, executando o processamento de filtragem de análise ao último nível, as etapas posteriores para rearranjo de coeficiente ou processamento de codificação de entropia também podem ser executadas (isto é, rearranjo de coeficiente ou codificação de entropia pode ser executada em incrementos de precinto). Por conseguinte, tempo de atraso pode ser reduzido grandemente quando comparado ao método convencional.

[00260] Também, a unidade de codificação de entropia 155 provê o cabeçalho de precinto 171 para cada precinto e o cabeçalho de quadro 172 para cada quadro à unidade de processamento de empacotamento 122 junto com os dados codificados, assim a unidade de processamento de empacotamento 122 pode gerar facilmente informação de cabeçalho. Também, o formato deste cabeçalho de precinto 171 e cabeçalho de quadro 172 é o mesmo como o formato do cabeçalho de carga útil que a unidade de processamento de empacotamento 122 adiciona aos pacotes, assim a unidade de processamento de empacotamento 122 pode gerar informação de cabeçalho até mesmo mais fácil.

[00261] Adicionalmente, no evento que codificação falhou por alguma razão, a unidade de codificação de entropia 155 fixa o IF do cabeçalho de precinto 171, indicando que este precinto ou unidade de alinhamento é um

Petição 870190088096, de 06/09/2019, pág. 65/138 /112 precinto ou unidade de alinhamento considerando que codificação falhou. Se referindo a este IF, a unidade de processamento de empacotamento 122 pode suprimir facilmente dados desnecessários que não podem ser decodificados de serem empacotados e transmitidos ao dispositivo de recepção 103.

[00262] A seguir, um exemplo do fluxo de processamento de empacotamento pela unidade de processamento de empacotamento 122 será descrito com referência ao fluxograma na Figura 26.

[00263] Na Etapa S31, a unidade de aquisição de dados 201 da unidade de processamento de empacotamento 122 determina se ou não o cabeçalho de precinto 171 foi obtido, e aguarda até que determinação seja feita que obteve. No evento que determinação é feita que o cabeçalho de precinto 171 provido da unidade de codificação 121 foi obtido, o processamento procede à Etapa S32.

[00264] Na Etapa S32, a unidade criadora de cabeçalho de RTP 202 cria um cabeçalho de RTP 221. Na Etapa S33, a unidade criadora de cabeçalho comum 203 cria um cabeçalho comum 231 baseado no cabeçalho de precinto 171. Neste momento, a unidade criadora de cabeçalho comum 203 adiciona os campos dos SFF, M, TSF e NF, para a primeira palavra (Palavra 0) do cabeçalho de precinto 171.

[00265] Na Etapa S34, a unidade criadora de cabeçalho estendido 204 cria os cabeçalhos estendidos da informação de parâmetro de quantização 232, informação de tamanho 233, informação de formato 234, e informação de cor 236, e assim sucessivamente, baseada no cabeçalho de precinto 171.

[00266] Na Etapa S35, a unidade criadora de informação de quadro 205 determina se ou não o cabeçalho de quadro 172 foi obtido. No evento que determinação é feita que o cabeçalho de quadro 172 foi obtido, o processamento procede à Etapa S36. Na Etapa S36, a unidade criadora de informação de quadro 205 se refere ao cabeçalho de quadro 172 e determina se ou não o valor de w é 1, e no caso de determinar que o valor de w é 1,

Petição 870190088096, de 06/09/2019, pág. 66/138 / 112 na Etapa S37 inclui a tabela de ponderação (WTm) na informação de quadro assim para ser empacotado. No processamento da Etapa S37 terminando, o processamento procede à Etapa S39.

[00267] Também, no evento que determinação é feita na Etapa S36 que o valor de w é 0, a unidade criadora de informação de quadro 205 apaga a tabela de ponderação (WTm) da informação de quadro na Etapa S38. No processamento da Etapa S38 terminando, o processamento procede à Etapa S39.

[00268] Adicionalmente, no evento que determinação é feita na Etapa S35 que um cabeçalho de quadro não foi obtido, o processamento procede à Etapa S39.

[00269] Na Etapa S39, a unidade de confirmação de indicador 206 determina se ou não o valor do IF do cabeçalho de precinto 171 é 0. No evento que determinação é feita que o valor do IF do cabeçalho de precinto 171 é 0, o processamento procede à Etapa S40.

[00270] Na Etapa S40, a unidade de confirmação de tamanho 207 determina se ou não o tamanho do precinto é maior do que o tamanho máximo da carga útil do pacote (tamanho de pacote).

[00271] No evento que determinação é feita que o tamanho do precinto é maior do que o tamanho de pacote, o processamento procede à Etapa S41. Na Etapa S41, a unidade de processamento de fragmento 208 divide os dados codificados de um único precinto em cada tamanho de pacote, assim para serem cargas úteis mutuamente diferentes. No processamento da Etapa S41 terminando, o processamento procede à Etapa S43.

[00272] Também, na Etapa S40, no evento que determinação é feita que o tamanho de dados do precinto não é maior do que o tamanho de pacote, a unidade de processamento de fragmento 208 não executa divisão de dados codificados. Quer dizer, neste caso, o processamento da Etapa 841 é omitido, e o processamento procede à Etapa S43.

Petição 870190088096, de 06/09/2019, pág. 67/138 / 112 [00273] Adicionalmente, no evento que determinação é feita que IF = 0 na Etapa S39, o processamento procede à Etapa S42. Na Etapa S42, a unidade de aquisição de dados 201 é controlada pela unidade de confirmação de indicador 206 para descartar os dados codificados providos. No processamento da Etapa S42 terminando, o processamento procede à Etapa

543.

[00274] Na Etapa S43, a unidade de empacotamento 209 gera um pacote de RTP usando cada carga útil e informação de cabeçalho, e na Etapa

544, fixa informação de indicador como SFF e M para cada pacote.

[00275] Em cada informação de indicador tendo sido fixada deste modo, a unidade de saída 210 produz o pacote de RTP para a unidade de transmissão 123.

[00276] Na Etapa S45, a unidade de aquisição de dados 201 determina se ou não todos os precintos foram processados. No evento que determinação é feita que um precinto não processado existe, o processamento retorna à Etapa S31, e processamento subsequente é repetido. Também, no evento que determinação é feita na Etapa S45 que todos os precintos foram processados, o processamento de empacotamento termina.

[00277] Como descrito acima, a unidade de processamento de empacotamento 122 podem gerar facilmente cabeçalhos comuns e cabeçalhos estendidos baseada na informação de cabeçalho provida da unidade de codificação 121.

[00278] Também, como descrito acima, na Etapa S36 por Etapa S38, a unidade criadora de informação de quadro 205 pode controlar adição de tabelas de ponderação baseada no valor de w no cabeçalho de precinto 171, facilmente e à alta velocidade. Quer dizer, a unidade criadora de informação de quadro 205 pode adequadamente adicionar a tabela de ponderação só quando necessária, apenas confirmando o valor de w do cabeçalho de precinto 171. Por conseguinte, aumento desnecessário de quantidade de dados

Petição 870190088096, de 06/09/2019, pág. 68/138 / 112 transferidos ao dispositivo de recepção 103 pelo dispositivo de transmissão 102, e aumento em carga desnecessário em cada porção por conseguinte, pode ser suprimido.

[00279] Adicionalmente, como descrito acima, no evento que o valor de IF do cabeçalho de precinto 171 é 1 na Etapa S39, a unidade de confirmação de indicador 206 controla a unidade de aquisição de dados 201 na Etapa S42 assim para não adquirir os dados codificados, para não adicionar uma carga útil ao pacote. Quer dizer, neste caso, só informação de cabeçalho é incluída no pacote de RTP saído da unidade de processamento de empacotamento 122, e nenhuma carga útil é incluída. Assim, a unidade de processamento de empacotamento 122 pode reduzir transmissão de dados desnecessários que não podem ser decodificados, facilmente e à alta velocidade, simplesmente se referindo ao cabeçalho de precinto 171 provido da unidade de codificação 121, e pode suprimir aumento desnecessário de carga na unidade de transmissão 123, linha 110, e dispositivo de recepção 103 e assim sucessivamente.

[00280] Também, como descrito acima, na Etapa S40, a unidade de confirmação de tamanho 207 pode determinar se ou não o tamanho do precinto é maior do que o tamanho de pacote baseada no cabeçalho de precinto 171, assim a unidade de processamento de empacotamento 122 pode determinar se ou não executar fragmentação de 1 precinto de dados codificados, facilmente e à alta velocidade, sem acumulação.

[00281] Adicionalmente, na Etapa S44, a unidade de empacotamento 209 fixa o indicador de SFF do cabeçalho comum 231 com respeito ao cabeçalho de pacote do precinto, e fixa o indicador de M do cabeçalho comum 231 para o pacote final do precinto. Fixando tais indicadores, a unidade de processamento de empacotamento 132 do dispositivo de recepção 103 pode identificar facilmente a cabeça do precinto e fim do precinto apenas se referindo à informação de cabeçalho. Assim, a unidade de processamento

Petição 870190088096, de 06/09/2019, pág. 69/138 / 112 de empacotamento 132 pode executar processamento de desempacotamento à alta velocidade e facilmente, como descrito mais tarde.

[00282] Adicionalmente, neste momento, devido ao indicador de IF do cabeçalho comum 231 tendo sido fixado, a unidade de processamento de empacotamento 132 do dispositivo de recepção 103 pode identificar facilmente que nenhuma carga útil está incluída no pacote, apenas se referindo à informação de cabeçalho. Assim, a unidade de processamento de desempacotamento 132 pode executar processamento de desempacotamento à alta velocidade e facilmente, como descrito mais tarde.

[00283] A seguir, o processamento que a unidade de processamento de desempacotamento 132 do dispositivo de recepção 103 recebendo pacotes executa será descrito. Como descrito acima, a unidade de processamento de desempacotamento 132 executa processamento de desempacotamento em quatro modos de controle. Na hora de começar o processamento de desempacotamento, a unidade de processamento de desempacotamento 132 é fixada ao modo de começo 301.

[00284] Primeiro, um exemplo do fluxo do modo de começo executado pela unidade de processamento de desempacotamento 132 no modo de começo 301 será descrito com referência ao fluxograma na Figura 27.

[00285] Na Etapa S61, a unidade de aquisição de pacote 251 determina se ou não um pacote foi adquirido, e aguarda até determinar que um pacote foi obtido pela unidade de recepção 131. No evento que determinação é feita que um pacote foi obtido, o processamento procede à Etapa S62. Na Etapa S62, a unidade analisadora de informação de cabeçalho 252 obtém a informação de cabeçalho do pacote, e determina se ou não PID = 0, CF = 4, e SFF = 1. Quer dizer, a unidade analisadora de informação de cabeçalho 252 determina se ou não um primeiro pacote no precinto de cabeça de um quadro, em que múltiplos componentes são reunidos em um. No evento que determinação é feita PID = 0, CF = 4 e SFF = 1 não se mantém, o

Petição 870190088096, de 06/09/2019, pág. 70/138 / 112 processamento retorna à Etapa S61 e processamento subsequente é repetido. Quer dizer, o processamento da Etapa S61 e Etapa S62 é repetido até que determinação seja feita que PID = 0, CF = 4 e SFF = 1, e na determinação sendo feita que PID = 0, CF = 4 e SFF = 1, o processamento procede à Etapa S63.

[00286] Na Etapa S63, a unidade de controle 254 executa processamento de modo comum, que é processamento de desempacotamento sobre o cabeçalho de pacote de um precinto executado em cada modo como descrito mais tarde. Detalhes do processamento de modo comum serão descritos mais tarde. No término de processamento de modo comum, o modo de controle transita para outro modo, assim o processamento de modo de começo termina.

[00287] Como descrito acima, no modo de começo, a unidade de controle 254 pode detectar facilmente o cabeçalho de pacote do precinto de cabeça de um quadro apenas se referindo ao valor do SFF do cabeçalho comum 231. Também, a unidade de controle 254 pode começar o processamento de modo comum no ponto em tempo detectando o cabeçalho de pacote do precinto de cabeça desse quadro, e pode começar extração da carga útil desse precinto. Quer dizer, a unidade de controle 254 pode compreender um novo precinto sem confirmar o último pacote do precinto, assim a temporização de começo de extração de carga útil pode ser feita até mais cedo, e tempo de atraso pode ser reduzido.

[00288] A seguir, um exemplo do fluxo de processamento de modo comum executado na Etapa S63 na Figura 27 será descrito com referência ao fluxograma na Figura 28. Este processamento de modo comum é processamento executado em outros modos igualmente, como será descrito mais tarde, e é processamento que a unidade de processamento de desempacotamento 132 executa em precintos quando o cabeçalho de pacote de um novo precinto foi confirmado embora o pacote final do precinto prévio

Petição 870190088096, de 06/09/2019, pág. 71/138 / 112 não tenha sido confirmado.

[00289] Por conseguinte, este processamento de modo comum é começado em um estado no qual a unidade de aquisição de pacote 251 já adquiriu um pacote.

[00290] No processamento de modo comum sendo começado, na Etapa

582, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho comum 231 e determina se ou não IF = 0. No evento que determinação é feita que IF = 1, o processamento procede à Etapa S83.

[00291] No evento que determinação é feita que IF = 1, na Etapa

583, a unidade de controle 254 controla a unidade de provisão de cabeçalho 255 e unidade de provisão de dados 256 para transferir só a porção de cabeçalho do pacote à unidade de codificação 133. No evento que IF = 1, nenhuma carga útil é incluída basicamente nesse pacote. Até mesmo se incluída, esta é indecifrável, assim a unidade de controle 254 controla a unidade de provisão de dados 256 assim para proibir transferência dessa carga útil.

[00292] No processamento na Etapa S83 terminando, a unidade de transição de modo de controle 253 faz transição do modo de controle para o modo de espera no qual o cabeçalho de pacote do próximo precinto é esperado na Etapa S84. Processamento do modo de espera será descrito mais tarde. Na transição para o modo de controle, o processamento de modo comum é terminado.

[00293] No evento que determinação é feita na Etapa S82 que IF = 0, o processamento procede à Etapa S85. Neste caso, os dados codificados da carga útil sãos dados codificados corretamente. Na Etapa S85, a unidade de provisão de cabeçalho 255 é controlada pela unidade de controle 254 assim para transferir 4 palavras de cabeçalho de precinto à unidade de decodificação 133.

[00294] Na Etapa S86, a unidade analisadora de informação de

Petição 870190088096, de 06/09/2019, pág. 72/138 / 112 cabeçalho 252 faz referência ao cabeçalho comum 231 e determina se ou não PID = 0 e CF = 4 se mantém. No evento que determinação é feita que PID = 0 e CF = 4 se mantém, o processamento procede à Etapa S87. Na Etapa S87, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho comum 231 e determina se ou não w = 1. No evento que determinação é feita que w = 1, o processamento procede à Etapa S88, onde a unidade de provisão de cabeçalho 255 é controlada pela unidade de controle 254 para transferir 26 palavras do cabeçalho de quadro 172 para a unidade de decodificação 133 assim para incluir a tabela de ponderação igualmente. No processamento da Etapa S88 terminando, o processamento procede à Etapa S90.

[00295] Também, no evento que determinação é feita na Etapa S87 que w =1 não se mantém, o processamento procede à Etapa S89, onde a unidade de provisão de cabeçalho 255 é controlada pela unidade de controle 254 para transferir 6 palavras do cabeçalho de quadro 172 para a unidade de decodificação 133 assim para não incluir a tabela de ponderação igualmente. No processamento da Etapa S89 terminando, o processamento procede à Etapa S90.

[00296] Também, no evento que determinação é feita na Etapa S86 que PID = 0 e CF = 4 se mantém, este não é o precinto de cabeça de um quadro, assim a unidade de provisão de cabeçalho 255 é controlada pela unidade de controle 254 para não transferir o cabeçalho de quadro 172 para a unidade de decodificação 133. Por conseguinte, neste caso, o processamento procede à Etapa S90.

[00297] Na Etapa S90, a unidade de provisão de dados 256 é controlada pela unidade de controle 254 assim para transferir a carga útil restante do pacote, isto é, os dados codificados, para a unidade de decodificação 133. Na Etapa S91, a unidade analisadora de informação de cabeçalho 252 se refere ao cabeçalho comum 231, e determina se ou não M

Petição 870190088096, de 06/09/2019, pág. 73/138 / 112 = 1. No evento que determinação é feita que M = 1, e que o pacote a ser processado é o último pacote do precinto, o processamento procede à Etapa S92, onde a unidade de controle 254 é controlada pela unidade de transição de modo de controle 253 assim para transitar o modo de controle para o modo de espera. Quer dizer, o processamento do pacote final terminou esta vez, assim o modo de controle transita para o modo de espera, onde o cabeçalho de pacote do próximo precinto é esperado. Na transição do modo de controle, o processamento de modo comum termina.

[00298] Também, no evento que determinação é feita na Etapa S91 que M = 1 não se mantém, e que o pacote a ser processado não é o último pacote do precinto, o processamento procede à Etapa S93, onde a unidade de controle 254 é controlada pela unidade de transição de modo de controle 253 assim para transitar o modo de controle para o modo de processamento. Quer dizer, processamento de transferência de um pacote que não é o pacote final terminou com êxito esta vez, assim o modo de controle transita para o modo de processamento, onde um pacote subsequente do mesmo precinto é esperado. Na transição do modo de controle, o processamento de modo comum termina. No evento que este processamento de modo comum é executado na Etapa S63 na Figura 27, o processamento retorna à Etapa S63 na Figura 27 ao término do processamento de modo comum, e o processamento de modo de começo termina.

[00299] Como descrito acima, a unidade de processamento de desempacotamento 132 pode identificar facilmente o cabeçalho de pacote e pacote final de um precinto, baseado nos valores de SFF e M. Também, o pacote final pode ser identificado por M, assim a unidade de processamento de desempacotamento 132 pode causar prontamente transição de modo como adequado para cada precinto. Por conseguinte, a unidade de processamento de desempacotamento 132 pode executar processamento de desempacotamento adequado para cada precinto. Adicionalmente, o cabeçalho de pacote pode ser

Petição 870190088096, de 06/09/2019, pág. 74/138

70/ 112 identificado pelo SFF, assim a unidade de processamento de desempacotamento 132 pode compreender atualização do precinto até mesmo sem confirmar o pacote final. Quer dizer, no evento que uma perda de pacote ocorreu por exemplo, isto é, até mesmo no evento que número de sequência do pacote adquirido não é contínuo com o número de sequência do pacote adquirido a vez prévia, se o pacote for um cabeçalho de pacote de um novo precinto, a unidade de processamento de desempacotamento 132 pode começar extração da carga útil do pacote do novo precinto sem esperar o próximo precinto. Quer dizer, a unidade de processamento de desempacotamento 132 pode reduzir tempo de espera desnecessário. Certamente, a unidade de processamento de desempacotamento 132 pode encurtar tempo de espera no caso de executar o processamento de modo comum no modo de processamento e modo de perda igualmente, não apenas no modo de começo, assim encurtamento de tempo de atraso pode ser realizado.

[00300] Também, como mostrado na Etapa S83, a unidade de processamento de desempacotamento 132 pode suprimir facilmente provisão de carga útil indecifrável desnecessária para a unidade de decodificação 133 apenas referenciando o cabeçalho comum 231. Assim, a carga de processamento de decodificação na unidade de decodificação 133 pode ser aliviada. Note que informação de cabeçalho pode ser usada para processamento de decodificação, assim a unidade de controle 254 transfere só a informação de cabeçalho.

[00301] A seguir, um exemplo do fluxo de processamento de modo de espera será descrito com referência ao fluxograma na Figura 29. Este processamento de modo de espera é processamento de um modo no qual o cabeçalho de pacote do próximo precinto é esperado, e é começado no modo de controle sendo transitado para o modo de espera pela unidade de transição de modo de controle 253.

Petição 870190088096, de 06/09/2019, pág. 75/138

71/ 112 [00302] No processamento de modo de espera sendo começado, a unidade de aquisição de pacote 251 determina se ou não um pacote foi recebido, e aguarda até que recepção seja determinada na Etapa S111. No evento que um pacote é provido da unidade de recepção 131 e determinação é feita que um pacote foi recebido, o processamento procede à Etapa S112.

[00303] Na Etapa S112, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho de RTP 221, e determina se ou não o número de sequência é contínuo com o pacote recebido a vez prévia. No evento que o número de sequência não é contínuo com o pacote recebido a vez prévia, isto indica que a recepção de pacote falhou (perda de pacote ocorreu). No evento que o número de sequência é contínuo com o pacote recebido a vez prévia, e determinação é feita que perda de pacote não ocorreu, o processamento procede à Etapa S113.

[00304] Cada processamento da Etapa S113 por S122 é executado da mesma maneira como cada processamento da Etapa S82 e Etapa S83, Etapa S85 por Etapa S91, e Etapa S93, no processamento de modo comum descrito com referência à Figura 28.

[00305] Quer dizer, o processamento na Etapa S113 corresponde à Etapa S82, e o processamento na Etapa S114 corresponde à Etapa S83. Note porém, que no caso do processamento de modo de espera, este já está no modo de espera, assim processamento correspondendo à Etapa S84 na Figura 28 é omitido, e o processamento procede à Etapa S111 (equivalente a transitar para o modo de espera na Figura 28, e processamento de modo de espera sendo começado).

[00306] Também, o processamento na Etapa S115 por Etapa S121 corresponde à Etapa S85 por Etapa S91 na Figura 28, respectivamente. Note porém, que no caso do processamento de modo de espera, este já está no modo de espera, assim processamento correspondendo à Etapa S92 na Figura 28 é omitido no evento que determinação de M = 1 é feita na Etapa S121, e

Petição 870190088096, de 06/09/2019, pág. 76/138

72/ 112 o processamento procede à Etapa S111 (equivalente a transitar para o modo de espera na Figura 28, e processamento de modo de espera sendo começado). [00307] Note que no evento que determinação é feita na Etapa S121 que M = 1 não se mantém, o processamento procede à Etapa S122. O processamento na Etapa S122 corresponde ao processamento na Etapa S93 na Figura 28, e na unidade de transição de modo de controle 253 fazendo transição do modo de controle para o modo de processamento, o processamento de modo de espera termina.

[00308] Também, na Etapa S112, no evento que o número de sequência não é contínuo com o pacote recebido a vez prévia, e determinação é feita que perda de pacote ocorreu, o processamento procede à Etapa S123.

[00309] Na Etapa S123, a unidade analisadora de informação de cabeçalho 252 se refere ao cabeçalho comum 231, e determina se ou não SFF = 1. No evento que determinação é feita que SFF = 1, o processamento retorna à Etapa S113, e processamento subsequente é repetido. Processamento de decodificação é executado em incrementos de precintos, assim se não houver nenhuma ocorrência de perda de pacote dentro do precinto, esse precinto pode ser decodificado. Quer dizer, no evento de SFF = 1, isto indica que uma perda de pacote não ocorreu no precinto para qual o pacote atualmente a ser processado pertence, mas em um precinto passado. Além disso, no evento do modo de espera, acumulação de dados codificados desse precinto passado pela unidade de decodificação 133 terminou. Por conseguinte, até mesmo se houver a ocorrência de perda de pacote, do pacote recentemente obtido é o cabeçalho de pacote de um novo precinto, essa perda de pacote é ignorada, e o processamento retorna à Etapa S113.

[00310] No evento que determinação é feita na Etapa S123 que SFF = 1 não se mantém, o processamento procede à Etapa S124. Neste caso, a perda de pacote ocorreu dentro do mesmo precinto como o pacote a ser processado. Por conseguinte, esse precinto não pode ser decodificado, assim

Petição 870190088096, de 06/09/2019, pág. 77/138 / 112 transferência da carga útil é cancelada. Quer dizer, na Etapa S124, a unidade de provisão de dados 256 é controlada pela unidade de controle 254 para não transferir o pacote recebido para a unidade de decodificação 133, mas descartar.

[00311] Como descrito acima, este é modo de espera, assim acumulação de dados codificados de precintos passados pela unidade de codificação 133 terminou, e dados codificados de um novo precinto não foram ainda acumulados. Por conseguinte, neste caso, a unidade de decodificação 133 não precisa descartar dados, assim a unidade de processamento de desempacotamento 132 não tem nenhuma necessidade para notificar a unidade de codificação 133 do erro.

[00312] Na Etapa S125, a unidade de controle 254 é controlada pela unidade de transição de modo de controle 253 para transitar o modo de controle para o modo de perda, que é um modo para aguardar no precinto onde um erro ocorreu, até que um pacote do próximo precinto seja adquirido. No modo de controle sendo transitado para o modo de perda, o processamento de modo de espera termina.

[00313] Como descrito acima, no modo de espera, a unidade de processamento de desempacotamento 132 pode facilmente identificar o cabeçalho de pacote e pacote final de um precinto, baseada nos valores de SFF e M. Também, o pacote final pode ser identificado por M, assim a unidade de processamento de desempacotamento 132 pode causar prontamente transição de modo como adequado para cada precinto. Por conseguinte, a unidade de processamento de desempacotamento 132 pode executar processamento de desempacotamento adequado para cada precinto. Adicionalmente, o cabeçalho de pacote pode ser identificado pelo SFF, assim a unidade de processamento de desempacotamento 132 pode compreender atualização do precinto até mesmo sem confirmar o pacote final. Quer dizer, no evento que uma perda de pacote ocorreu por exemplo, isto é, até mesmo no

Petição 870190088096, de 06/09/2019, pág. 78/138

74/ 112 evento que número de sequência do pacote adquirido não é contínuo com o número de sequência do pacote adquirido a vez prévia, se o pacote for um cabeçalho de pacote de um precinto novo, a unidade de processamento de desempacotamento 132 pode começar extração da carga útil do pacote do novo precinto sem esperar o próximo precinto. Quer dizer, a unidade de processamento de desempacotamento 132 pode reduzir tempo de espera desnecessário.

[00314] A seguir, um exemplo do fluxo de processamento de modo de processamento será descrito com referência ao fluxograma na Figura 30. Este processamento de modo de processamento é processamento de um modo para esperar por pacotes subsequentes no mesmo precinto, e é começado no modo de controle sendo transitado para o modo de processamento pela unidade de transição de modo de controle 253.

[00315] No processamento de modo de processamento sendo começado, a unidade de aquisição de pacote 251 determina se ou não um pacote foi recebido na Etapa S141, e aguarda até que recepção seja determinada. No evento que um pacote é provido da unidade de recepção 131 e determinação é feita que um pacote foi recebido, o processamento procede à Etapa S142.

[00316] Na Etapa S142, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho de RTP 221, e determina se ou não o número de sequência é contínuo com o pacote recebido a vez prévia. No evento que o número de sequência é contínuo com o pacote recebido a vez prévia, e determinação é feita que perda de pacote não ocorreu, o processamento procede à Etapa S143.

[00317] Na Etapa S143, a unidade de provisão de cabeçalho 255 é controlada pela unidade de controle 254 para apagar o cabeçalho comum 231 do pacote. Na Etapa S144, a unidade de provisão de dados 256 é controlada pela unidade de controle 254 assim para transferir os dados de carga útil

Petição 870190088096, de 06/09/2019, pág. 79/138 / 112 restantes à unidade de codificação 133. Na Etapa S145, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho comum 231 e determina se ou não M = 1, e no evento que determinação é feita que M = 1 não se mantém e não é o pacote final do precinto, um pacote subsequente existe no mesmo precinto, assim o processamento retorna à Etapa S141, e o processamento subsequente é repetido.

[00318] Quer dizer, o processamento da Etapa S141 por Etapa S145 é repetido, com a carga útil sendo extraída de cada pacote no precinto, e transferida à unidade de decodificação 133.

[00319] No evento que determinação é feita na Etapa S145 que M = 1 e o pacote a ser processado é o pacote final do precinto, o processamento procede à Etapa S146, onde a unidade de controle 254 é controlada pela unidade de transição de modo de controle 253 assim para transitar o modo de controle para o modo de espera. No modo de controle sendo transitado para o modo de espera, o processamento de modo de processamento termina.

[00320] Também, no evento que determinação é feita na Etapa S142 que o número de sequência não é contínuo com o pacote recebido a vez prévia, e que uma perda de pacote ocorreu, o processamento procede à Etapa S147.

[00321] Neste caso, os dados do precinto estão sendo acumulados na unidade de decodificação 133, assim na Etapa S147, a unidade de notificação de erro 257 é controlada pela unidade de controle 254 assim para notificar um erro de transferência à unidade de decodificação 133.

[00322] Na notificação de erro terminando, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho comum 231 na Etapa S148, e determina se ou não SFF = 1. No evento que determinação é feita que SFF = 1, o processamento procede à Etapa S149. Na Etapa S149, a unidade de controle 254 executa o processamento de modo comum descrito com referência ao fluxograma na Figura 28. Neste caso, no processamento de

Petição 870190088096, de 06/09/2019, pág. 80/138

76/ 112 modo comum terminando, o processamento retorna à Etapa S149 na Figura 30, e o processamento de modo de processamento termina.

[00323] Também, no evento que determinação é feita na Etapa S148 que SFF = 1 não se mantém, o processamento procede à Etapa S150, onde a unidade de provisão de dados 256 é controlada pela unidade de controle 254 para descartar o pacote recebido. Na Etapa S151, a unidade de controle 254 é controlada pela unidade de transição de modo de controle 253 assim para transitar o modo de controle para o modo de perda. No modo de controle sendo transitado para o modo de perda, o processamento de modo de processamento termina.

[00324] Como descrito acima, no modo de processamento, a unidade de processamento de desempacotamento 132 pode identificar facilmente o cabeçalho de pacote e pacote final de um precinto, baseado nos valores de SFF e M. Também, o pacote final pode ser identificado por M, assim a unidade de processamento de desempacotamento 132 pode causar prontamente transição de modo como adequado para cada precinto. Por conseguinte, a unidade de processamento de desempacotamento 132 pode executar processamento de desempacotamento adequado para cada precinto. Adicionalmente, o cabeçalho de pacote pode ser identificado pelo SFF, assim a unidade de processamento de desempacotamento 132 pode compreender atualização do precinto até mesmo sem confirmar o pacote final.

[00325] Por exemplo, no evento que uma perda de pacote não ocorreu, a unidade de processamento de desempacotamento 132 extrai as cargas úteis de cada um dos pacotes providos sequencialmente, confirma o pacote final baseado no valor de M, e no evento que determinação é feita processamento para esse precinto terminou, transita para o modo de espera. No evento que uma perda de pacote ocorre, a unidade de processamento de desempacotamento 132 notifica a unidade de codificação 133 de um erro, descarta esse pacote se não um cabeçalho de pacote, e transita para o modo de

Petição 870190088096, de 06/09/2019, pág. 81/138 / 112 perda para aguardar até que um pacote do próximo precinto seja confirmado. Note porém, que no evento que SFF 1, isto é, no evento que o pacote obtido na hora de confirmar uma perda de pacote é o cabeçalho de pacote de um novo precinto, a unidade de processamento de desempacotamento 132 executa processamento de modo comum, por meio de que, extrair a carga útil desse precinto pode ser começado sem transitar para o modo de espera ou modo de perda, isto é, sem esperar um pacote de um novo precinto, assim o tempo de começo de extração de carga útil pode ser feito mais cedo, e tempo de atraso pode ser reduzido.

[00326] A seguir, um exemplo do fluxo de processamento de modo de perda será descrito com referência ao fluxograma na Figura 31. Este processamento de modo de perda é processamento de um modo para esperar até que um pacote do próximo precinto seja recebido no evento que uma perda de pacote ocorreu no mesmo precinto, e é começado no modo de controle sendo transitado para o modo de perda pela unidade de transição de modo de controle 253.

[00327] No processamento de modo de perda sendo começado, na Etapa S171, a unidade de aquisição de pacote 251 determina se ou não um pacote foi recebido, e aguarda até que recepção seja determinada. No evento que um pacote é provido da unidade de recepção 131 e determinação é feita que um pacote foi recebido, o processamento procede à Etapa S172.

[00328] Na Etapa S172, a unidade analisadora de informação de cabeçalho 252 faz referência ao cabeçalho comum 231 e determina se ou não SFF = 1. No evento que determinação é feita que SFF = 1 não se mantém e não é o cabeçalho de pacote do precinto, o processamento procede à Etapa S173, onde a unidade analisadora de informação de cabeçalho 252 determina se ou não M = 1 esta vez. No evento que determinação é feita que M = 1 não se mantém, isto é, não é o pacote final do precinto, o processamento retorna à Etapa S171, e processamento subsequente é repetido.

Petição 870190088096, de 06/09/2019, pág. 82/138

78/ 112 [00329] No evento que determinação é feita que M = 1 na Etapa S173, o processamento procede à Etapa S174, onde a unidade de controle 254 é controlada pela unidade de transição de modo de controle 253 assim para transitar o modo de controle para o modo de espera. No modo de controle sendo transitado para o modo de espera, o processamento de modo de perda termina.

[00330] Também, no evento que determinação é feita na Etapa S172 que SFF = 1, a unidade de controle 254 executa o processamento de modo comum descrito com referência ao fluxograma na Figura 28. Neste caso, no processamento de modo comum terminando, o processamento retorna à Etapa S175 na Figura 31, e o processamento de modo de perda termina.

[00331] Como descrito acima, no modo de perda igualmente, a unidade de processamento de desempacotamento 132 pode identificar facilmente o cabeçalho de pacote e pacote final de um precinto, baseado nos valores de SFF e M. Também, o pacote final pode ser identificado por M, assim a unidade de processamento de desempacotamento 132 pode causar prontamente transição de modo como adequado para cada precinto. Por conseguinte, a unidade de processamento de desempacotamento 132 pode executar processamento de desempacotamento adequado para cada precinto. Adicionalmente, o cabeçalho de pacote pode ser identificado pelo SFF, assim a unidade de processamento de desempacotamento 132 pode compreender atualização do precinto até mesmo sem confirmar o pacote final.

[00332] No caso do modo de perda, a unidade de processamento de desempacotamento 132 basicamente aguarda enquanto adquirindo pacotes, e no evento de detectar um pacote final baseado no valor de M, transita para o modo de espera, e se prepara para aquisição do cabeçalho de pacote do próximo precinto. Também, no caso de detectar o cabeçalho de pacote baseado no valor do SFF, a unidade de processamento de desempacotamento 132 executa o processamento de modo comum, por esse meio começando

Petição 870190088096, de 06/09/2019, pág. 83/138

79/ 112 extração da carga útil desse precinto.

[00333] Assim, a unidade de processamento de desempacotamento 132 pode fazer a temporização de começo de extração de carga útil até mais cedo, e tempo de atraso pode ser reduzido.

[00334] Como descrito acima, executando processamento de desempacotamento enquanto trocando o modo de controle de acordo com a situação, a unidade de processamento de desempacotamento 132 pode executar processamento adequado em sequência baseado em informação de cabeçalho de pacotes providos, até mesmo sem prover uma memória temporária de desempacotamento e acumular pacotes para cada precinto, e pode executar processamento de desempacotamento facilmente e à alta velocidade. Também, no evento de uma ocorrência de perda de pacote, a unidade de processamento de desempacotamento 132 executa notificação de erro como necessário, assim a unidade de codificação 133 pode suprimir execução de processamento de decodificação desnecessário, e aliviar a carga de processamento de decodificação.

[00335] Adicionalmente, com o valor do IF, a unidade de processamento de desempacotamento 132 pode suprimir facilmente cargas úteis indecifráveis desnecessárias de serem providas à unidade de codificação 133. Isto permite a carga de processamento de decodificação da unidade de decodificação 133 ser aliviada.

[00336] A unidade de decodificação 133 executa processamento de decodificação de dados codificados providos da unidade de processamento de desempacotamento 132, de acordo com processamento da unidade de processamento de desempacotamento 132 como descrito acima. Para este fim, a unidade de decodificação 133 executa processamento de controle de decodificação, onde execução de processamento de decodificação é controlada. Um exemplo do fluxo de processamento de controle de decodificação será descrito com referência ao fluxograma na Figura 32. Este

Petição 870190088096, de 06/09/2019, pág. 84/138 / 112 processamento de controle de codificação é executado do tempo de provisão de dados codificados sendo começado a terminar.

[00337] Na Etapa S191, a unidade de aquisição de dados 355 adquire os dados codificados providos da unidade de processamento de desempacotamento 132. Na Etapa S192, a unidade de memória temporária 361 acumula os dados codificados. Na Etapa S193, a unidade de obtenção de informação de controle 351 obtém informação de controle. Na Etapa S194, a unidade de controle de codificação 352 determina se ou não os dados que a unidade de aquisição de dados 355 adquiriu são a carga útil do cabeçalho de pacote do precinto, baseado na informação de controle que a unidade de obtenção de informação de controle 351 obteve. No evento que determinação é feita que esta é a carga útil do cabeçalho de pacote do precinto, o processamento procede à Etapa S195. Na Etapa S195, a unidade de codificação de controle 352 determina se ou não os dados obtidos pela unidade de aquisição de dados 355 e acumulados na unidade de memória temporária 361 são contínuos, baseado na informação de controle obtida pela unidade de obtenção de informação de controle 351. No evento que determinação é feita que não há nenhuma ocorrência de perda de pacote e que os dados obtidos pela unidade de aquisição de dados 355 e acumulados na unidade de memória temporária 361 são contínuos, o processamento retorna à Etapa S191, e o processamento da Etapa S191 e em diante é repetido sobre os próximos dados codificados.

[00338] Também, na Etapa S195, no evento que determinação é feita que há ocorrência de perda de pacote e que os dados não são contínuos, o processamento procede à Etapa S196. Na Etapa S196, a unidade de controle de decodificação 352 controles a unidade de decodificação de entropia 362 para começar processamento de complementação. A unidade de decodificação de entropia 362 executa processamento de decodificação em incrementos de precintos, mas no evento que dados de um precinto foram

Petição 870190088096, de 06/09/2019, pág. 85/138 /112 suprimidos, executa processamento de complementação usando dados de outro precinto, ou similar.

[00339] Por conseguinte, no evento de adquirir um cabeçalho de pacote que não é contínuo com um pacote adquirido a vez prévia, a unidade de controle de decodificação 352 controla a unidade de decodificação de entropia 362 para executar processamento de complementação sobre o precinto um antes. No processamento de complementação terminando, o processamento procede à Etapa S197.

[00340] Na Etapa S197, a unidade de codificação de controle 352 determina se ou não terminar o processamento de controle de decodificação, e no evento de determinar não terminar, o processamento retorna à Etapa S191, e processamento subsequente disso é repetido. Também, no evento que determinação é feita que o processamento de controle de decodificação é para terminar na Etapa S197, o processamento de controle de decodificação é terminado.

[00341] Também, no evento que determinação é feita na Etapa S194 que os dados que a unidade de aquisição de dados 355 adquiriu não são a carga útil do cabeçalho de pacote do precinto, o processamento procede à Etapa S198, e a unidade de codificação de controle 352 determina se ou não os dados que a unidade de aquisição de dados 355 adquiriu são a carga útil do pacote final do precinto. No evento que determinação é feita que os dados são a carga útil do pacote final do precinto, o processamento procede à Etapa S199, onde a unidade de controle de decodificação 352 controla a unidade de decodificação de entropia 362 para começar processamento de decodificação dos dados codificados acumulados na unidade de memória temporária 361. No processamento da Etapa S199 terminando, o processamento retorna à Etapa S197.

[00342] Também, no evento que determinação é feita na Etapa S198 que os dados que a unidade de aquisição de dados 355 adquiriu não são a

Petição 870190088096, de 06/09/2019, pág. 86/138 / 112 carga útil do pacote final do precinto, o processamento retorna à Etapa S197. [00343] A seguir, um exemplo do fluxo do processamento de decodificação começado na Etapa S199 na Figura 33 será descrito com referência ao fluxograma na Figura 35. Este processamento de decodificação é controlado pelo processamento de controle de decodificação na Figura 34, e é executado em incrementos de precintos.

[00344] No processamento de decodificação começando, na Etapa

5211, a unidade de decodificação de entropia 362 adquire os dados codificados acumulados na unidade de memória temporária 361, e na Etapa

5212, sujeita os dados codificados à decodificação de entropia para cada linha. Na Etapa S213, a unidade de memória temporária 361 contém os dados de coeficiente obtidos pela decodificação. Na Etapa S214, a unidade de transformação inversa de wavelet 363 determina se ou não dados de coeficiente valendo um precinto foram acumulados na unidade memória temporária 361, e se for determinado não estarem acumulados, o processamento é retornado à Etapa S211, o processamento depois disso é executado, e aguarda até que dados de coeficiente valendo um precinto tenham sido acumulados na unidade memória temporária 361.

[00345] No evento que é determinado na Etapa S214 que dados de coeficiente valendo um precinto foram acumulados na unidade de memória temporária 361, a unidade de transformação inversa de wavelet 363 procede o processamento à Etapa S215, e lê o dados de coeficiente valendo um precinto, retidos na unidade de memória temporária 361.

[00346] A unidade de transformação inversa de wavelet 363 na Etapa S216 então sujeita os dados de coeficiente lidos a processamento de filtragem de síntese vertical que executa processamento de filtragem de síntese sobre os dados de coeficiente formados na direção vertical de tela, e na Etapa S217, executa processamento de filtragem de síntese horizontal que executa processamento de filtragem de síntese sobre os dados de coeficiente formados

Petição 870190088096, de 06/09/2019, pág. 87/138 / 112 na direção horizontal de tela, e na Etapa S218, determina se ou não o processamento de filtragem de síntese terminou por nível um (o nível em que o valor do nível de divisão é 1), isto é, determina se ou não transformação inversa foi executada ao estado antes de transformação de wavelet, e se for determinado não ter alcançado nível 1, o processamento é retornado à Etapa S216, por meio de que o processamento de filtragem na Etapa S216 e Etapa S217 é repetido.

[00347] Na Etapa S218, se o processamento de transformação inversa for determinado ter terminado por nível 1, a unidade de transformação inversa de wavelet 363 procede o processamento à Etapa S219, e produz os dados de imagem obtidos por processamento de transformação inversa externamente.

[00348] Na Etapa S220, a unidade de decodificação de entropia 362 determina se ou não terminar o processamento de decodificação, e no caso de determinar que o processamento de decodificação não será terminado, o processamento retorna à Etapa S211, e o processamento depois disso é repetido. Também, na Etapa S220, no caso que determinação é feita que o processamento de decodificação é para ser terminado, tal como o precinto terminando, a unidade de decodificação de entropia 362 termina o processamento de decodificação.

[00349] Com um método de transformação inversa de wavelet convencional, primeiro, processamento de filtragem de síntese horizontal é executado na direção horizontal da tela, e a seguir processamento de filtragem de síntese vertical é executado na direção vertical da tela, sobre todos os coeficientes do nível de divisão a serem processados. Quer dizer, há a necessidade para reter os resultados de processamento de filtragem de síntese em uma memória temporária cada vez que processamento de filtragem de síntese é executado, e neste momento, há a necessidade para a memória temporária reter os resultados de filtragem de síntese do nível de divisão a tempo nesse momento, e todos os coeficientes do próximo nível de divisão,

Petição 870190088096, de 06/09/2019, pág. 88/138 / 112 significando que grande capacidade de memória é precisada (a quantidade de dados a ser retida é grande).

[00350] Também, neste caso, saída de dados de imagem não é executada até que toda a transformação inversa de wavelet dentro do quadro (campo, no caso de método entrelaçado) termine, por esse meio aumentando tempo de atraso de entrada para saída.

[00351] Reciprocamente, no caso da unidade de transformação inversa de wavelet 363 da unidade de decodificação 133, como descrito acima, o processamento de filtragem de síntese vertical e processamento de filtragem de síntese horizontal são executados continuamente em incrementos de precintos até o nível 1, portanto comparado a um método convencional, a quantidade de dados precisando ser memorizada temporariamente de uma vez (durante o mesmo período de tempo) é pequena, assim facilitando redução notável em capacidade de memória estar preparada na memória temporária. Também, executando processamento de filtragem de síntese (processamento inverso de transformação de wavelet) até nível 1, os dados de imagem podem ser produzidos sequencialmente antes que todos os dados de imagem dentro de um quadro sejam obtidos (em incrementos de precintos), assim comparado a um método convencional, o tempo de atraso pode ser reduzido grandemente.

[00352] A seguir, um exemplo do fluxo de processamento de operação de notificação de erro que é processamento sobre uma notificação de erro da unidade de processamento de desempacotamento 132 na unidade de decodificação 133, executado em paralelo com o processamento de controle de decodificação na Figura 32, será descrito com referência ao fluxograma na Figura 34.

[00353] No processamento de notificação de erro sendo começado na Figura 34, a unidade de obtenção de notificação de erro 356 determina na Etapa S241 se ou não uma notificação de erro foi obtida da unidade de

Petição 870190088096, de 06/09/2019, pág. 89/138 / 112 processamento de desempacotamento 132. O processamento aguarda até que determinação seja feita que uma notificação de erro foi obtida. No evento que determinação é feita na Etapa S241 que uma notificação de erro foi obtida, o processamento procede à Etapa S242. Na Etapa S242, a unidade de processamento de descarte 357 determina se ou não um precinto sendo recebido atualmente (dados codificados pertencendo ao precinto mais recente considerando que uma perda de pacote ocorreu) está presente na unidade memória temporária 361.

[00354] No evento que determinação é feita que um precinto sendo recebido atualmente está presente na unidade memória temporária 361, o processamento procede à Etapa S243. Na Etapa S243, a unidade de processamento de descarte 357 descarta a parte sendo recebida que é acumulada na unidade de memória temporária 361. No processamento na Etapa S243 terminando, o processamento procede à Etapa S244. Também, no evento que determinação é feita na Etapa S242 que uma parte sendo recebida atualmente não está presente na unidade memória temporária 361, o processamento da Etapa S243, é omitido, e o processamento procede à Etapa S244.

[00355] Na Etapa S244, a unidade de processamento de descarte 357 determina se ou não terminar o processamento de operação de notificação de erro. No evento que determinação é feita que processamento de desempacotamento está continuando, e que processamento de operação de notificação de erro não será terminado tampouco, o processamento retorna à Etapa S241, e processamento subsequente depois disso é repetido. Também, no evento que determinação é feita na Etapa S244 que o processamento de operação de notificação de erro é para ser terminado, o processamento de operação de notificação de erro é terminado.

[00356] Deste modo, a unidade de decodificação 133 descarta dados codificados de uma parte onde uma perda de pacote ocorreu, de acordo com

Petição 870190088096, de 06/09/2019, pág. 90/138 / 112 uma notificação de erro da unidade de processamento de desempacotamento 132, assim processamento de decodificação desnecessário pode ser impedido de ser executado. Tal processamento de decodificação apropriado pode ser executado, assim a unidade de decodificação 133 pode executar o processamento de decodificação facilmente e à alta velocidade, e a carga de processamento de decodificação pode ser reduzida e a escala de circuito e custo reduzidos.

[00357] Um exemplo do modo no qual notificação de erro é executada pela unidade de processamento de desempacotamento 132 é mostrado na Figura 35.

[00358] Nós diremos que na Figura 35, a unidade de processamento de desempacotamento 132 e a unidade de decodificação 133 estão conectadas com 6 linhas de sinal. A unidade de processamento de desempacotamento 132 provê à unidade de decodificação 133 dados codificados (Dados 1) extraídos de um pacote recebido 1 apagando o cabeçalho de RTP e assim sucessivamente. Neste momento, no evento que os dados codificados (Dados 1) são a cabeça de uma nova parte, a unidade de provisão de sinal de controle 258 da unidade de processamento de desempacotamento 132 é controlada pela unidade de controle 254 assim para notificar informação de começo (COMEÇO).

[00359] No evento que o próximo pacote que chega é pacote 5, determinação é feita que houve uma perda de pacote. Neste momento, Dados 1 que fazem parte do precinto já foram transmitidos à unidade de decodificação 133, assim a unidade de notificação de erro 257 da unidade de processamento de desempacotamento 132 é controlada pela unidade de controle 254 para executar notificação de erro. Também, desde que o pacote 5 era SFF = 1, a unidade de provisão de sinal de controle 258 da unidade de processamento de desempacotamento 132 é controlada pela unidade de controle 254 assim para notificar informação de começo (COMEÇO).

Petição 870190088096, de 06/09/2019, pág. 91/138 / 112 [00360] Note que descrição foi feita acima que no evento que o tamanho de dados de um precinto é maior do que o tamanho de pacote, a unidade de processamento de empacotamento 122 divide os dados e gera múltiplos pacotes, e em um caso contrário, gera um único pacote, mas um arranjo pode ser feito em que, no evento que o tamanho de dados de um precinto é pequeno quando comparado ao tamanho de pacote, dados de múltiplos precintos podem ser feitos em um único pacote.

[00361] Neste momento, a configuração do cabeçalho de carga útil tem a informação de cabeçalho e carga útil formada em ordem como mostrado na Figura 36, por exemplo. No caso do exemplo na Figura 36, seguindo o cabeçalho 231 comum por carga útil 237 que sãos dados do primeiro precinto, informação de segmento 431, informação de parâmetro de quantização 432, informação de tamanho 433, informação de formato 434, informação de quadro 435, informação de cor 436, e carga útil 437 são configuradas, que sãos dados do segundo precinto, e seguindo isto são dados do terceiro e precintos subsequentes.

[00362] A informação de segmento 431 é um cabeçalho comum sobre o segundo precinto, e como mostrado na Figura 37, informação basicamente igual ao cabeçalho comum 231 é incluída. Quer dizer, a informação de segmento 431 é criada baseada no cabeçalho de precinto 171. Note que no evento que há dados de outro precinto depois deles mesmos, o valor de NF é fixado a 1 no cabeçalho comum 231 (o mesmo como com informação de segmento 431).

[00363] Um exemplo do fluxo de processamento de empacotamento neste momento será descrito com referência ao fluxograma na Figura 38.

[00364] Como mostrado na Figura 38, o processamento de empacotamento neste caso também é executado basicamente da mesma maneira como o caso descrito com referência à Figura 26. Cada processamento da Etapa S301 por Etapa S312 é executado da mesma maneira

Petição 870190088096, de 06/09/2019, pág. 92/138 / 112 como cada processamento da Etapa S31 por Etapa S42 na Figura 26, e cada processamento da Etapa S315 por Etapa S317 é executado da mesma maneira como cada processamento de Etapa S43 por Etapa S45 na Figura 26.

[00365] Note porém, na Etapa S310, no evento que determinação é feita que o tamanho do precinto não é maior do que o tamanho de pacote, a unidade de confirmação de tamanho 207 da unidade de processamento de empacotamento 122 determina se ou não uma nova carga útil pode ser adicionada ao mesmo pacote. No evento que determinação é feita que há diminuição no tamanho de pacote e a carga útil pode ser adicionada, o processamento procede à Etapa S314, onde a unidade de aquisição de dados 201 determina se ou não um cabeçalho de precinto foi obtido, e aguarda até que seja determinado que adquiriu. No evento que determinação é feita que um cabeçalho de precinto foi obtido, o processamento retorna à Etapa S303, e o processamento subsequente é repetido para o precinto a ser adicionado ao pacote. Quer dizer, repetindo processamento cíclico da Etapa S303 por Etapa S310 e Etapa S313 e Etapa S314, precintos são adicionados sequencialmente ao mesmo pacote até que o tamanho de dados total dos dados codificados seja maior do que o tamanho de pacote.

[00366] Note que na Etapa S313, no evento que determinação é feita que é impossível adicionar uma carga útil ao pacote, o processamento retorna à Etapa S313, e processamento subsequente é executado. Quer dizer, neste caso, um único pacote é gerado com dados codificados de um único precinto.

[00367] Executando processamento de empacotamento como acima, dados de múltiplos precintos podem ser incluídos em um único pacote.

[00368] Os vários processamentos executados por cada unidade do sistema de transmissão 100 mostrado na Figura 1 como acima são executados em paralelo como apropriado, como mostrado na Figura 39 por exemplo.

[00369] Figura 39 é um desenho mostrando esquematicamente um exemplo de operações paralelas para vários elementos do processamento

Petição 870190088096, de 06/09/2019, pág. 93/138 / 112 executado por cada unidade do sistema de transmissão 100 mostrado na Figura 1. Esta Figura 39 corresponde à Figura 6 acima descrita. Transformação de wavelet WT-1 na primeira vez é executada (B na Figura 39) com a unidade de transformação de wavelet 150 (Figura 2) sobre a entrada In-1 (A na Figura 39) dos dados de imagem. Como descrito com referência à Figura 5, a transformação de wavelet WT-1 na primeira vez é começada no ponto em tempo que as primeiras três linhas são entradas, e o coeficiente C1 é gerado. Quer dizer, um atraso de três linhas ocorre da entrada dos dados de imagem In-1 para o começo da transformação de wavelet WT-1. [00370] Os dados de coeficiente gerados são armazenados na unidade de memória temporária de rearranjo de coeficiente 152 (Figura 2). Depois disso, transformação de wavelet é executada sobre os dados de imagem de entrada e o processamento na primeira vez é terminado, por meio de que o processamento é transferido sem mudança à transformação de wavelet WT-2 na segunda vez.

[00371] Rearranjando Ord-1 de três, coeficiente C1, coeficiente C4, e coeficiente C5 é executado (C na Figura 39) com a unidade de rearranjo de coeficiente 153 (Figura 2) em paralelo com a entrada de dados de imagem In2 para o propósito de transformação de wavelet WT-2 na segunda vez e o processamento da transformação de wavelet WT-2 na segunda vez.

[00372] Note que um atraso do fim da transformação de wavelet WT-1 até que o rearranjo Ord-l comece é um atraso baseado em uma configuração de dispositivo ou sistema, e por exemplo é um atraso associado com a transmissão de um sinal de controle para instruir processamento de rearranjo à unidade de rearranjo de coeficiente 153, um atraso precisado para começo de processamento da unidade de rearranjo de coeficiente 153 sobre o sinal de controle, ou um atraso precisado para processamento de programa, e não é um atraso substantivo associado com processamento de codificação.

[00373] Os dados de coeficiente são lidos da unidade de memória

Petição 870190088096, de 06/09/2019, pág. 94/138 / 112 temporária de rearranjo de coeficiente 152 na ordem que rearranjo é feito, são providos à unidade de codificação de entropia 155 (Figura 2), e são sujeitos à codificação de entropia EC-1 (D na Figura 39). A codificação de entropia EC1 pode ser começada sem esperar pelo fim de todo o rearranjo dos três coeficiente C1, coeficiente C4, e coeficiente C5. Por exemplo, no ponto em tempo que o rearranjo de uma linha pelo coeficiente C5 saído primeiro é terminado, codificação de entropia sobre o coeficiente C5 pode ser começada. Neste caso, o atraso do começo de processamento do rearranjo Ord-1 para o começo de processamento da codificação de entropia EC-1 é uma linha.

[00374] Os dados codificados considerando que codificação de entropia EC-1 pela unidade de codificação de entropia 155 terminou são sujeitos a processamento de sinal predeterminado, e então transmitidos ao dispositivo de recepção 103 pela linha 110 (E na Figura 39). Neste momento, os dados codificados são empacotados e transmitidos.

[00375] Dados de imagem são entrados sequencialmente à unidade de codificação 121 do dispositivo de transmissão 102, das sete linhas no primeiro processamento, para a linha de fim da tela. Na unidade de codificação 121, todas as quatro linhas são sujeitas à transformação de wavelet WT-n, rearranjo Ord-n, e codificação de entropia EC-n, como descrito acima, de acordo com entrada de dados de imagem In-n (onde n é 2 ou maior). Rearranjo Ord e codificação de entropia EC executados no processamento da última vez na unidade de codificação 121 é executado em seis linhas. Este processamento é executado na unidade de codificação 121 em paralelo, como ilustrado exemplarmente em A por D na Figura 39.

[00376] Pacotes de dados codificados, codificados pela codificação de entropia EC-1, pela unidade de codificação 121 são transmitidos ao dispositivo de recepção 103, sujeitos a processamento de desempacotamento e assim sucessivamente, e então providos à unidade de decodificação 133. A unidade de decodificação de entropia 362 da unidade de decodificação 133

Petição 870190088096, de 06/09/2019, pág. 95/138 /112 executa sequencialmente decodificação iEC-1 de codificação de entropia sobre os dados codificados que são codificados com a codificação de entropia EC-1 provida, e restaura os dados de coeficiente (F na Figura 39). Os dados de coeficiente restaurados são armazenados sequencialmente na unidade de memória temporária 361. Em tantos dados de coeficiente quanto podem ser sujeitos à transformação inversa de wavelet sendo armazenados na unidade de memória temporária 361, a unidade de transformação inversa de wavelet 363 lê os dados de coeficiente da unidade de memória temporária 361, e executa transformação inversa de wavelet iWT-1 usando os dados de coeficiente lidos (G na Figura 39).

[00377] Como descrito com referência à Figura 5, a transformação inversa de wavelet iWT-1 na unidade de transformação inversa de wavelet 363 pode ser começada no ponto em tempo do coeficiente C4 e coeficiente C5 sendo armazenado na unidade de memória temporária 361. Por conseguinte, o atraso do começo de decodificação iEC-1 com a unidade de decodificação de entropia 362 ao começo da transformação inversa de wavelet iWT-1 com a unidade de transformação inversa de wavelet 363 vale duas linhas.

[00378] Com a unidade de transformação inversa de wavelet 363, na transformação inversa de wavelet iWT-1 de três linhas com a transformação de wavelet na primeira vez terminando, saída Out-1 dos dados de imagem gerados com a transformação inversa de wavelet iWT-1 é executada (H na Figura 39). Com a saída Out-1, como descrito com referência à Figura 5 e Figura 6, os dados de imagem da primeira linha são produzidos.

[00379] Seguindo a entrada dos dados de coeficiente codificados de três linhas com o processamento na primeira vez pela unidade de codificação 121 para a unidade de decodificação 133, os dados de coeficiente codificados com a codificação de entropia EC-n (n é 2 ou maior) são entrados sequencialmente. Com a unidade de decodificação 133, os dados de

Petição 870190088096, de 06/09/2019, pág. 96/138 / 112 coeficiente de entrada são sujeitos à decodificação de entropia iEC-n e transformação inversa de wavelet iWT-n para todas as quatro linhas, como descrito acima, e saída Out-n dos dados de imagem restaurados com a transformação inversa de wavelet iWT-n é executada sequencialmente. A decodificação de entropia iEC e transformação inversa de wavelet iWT correspondendo à última vez com a unidade de codificação 121 é executada sobre seis linhas, e oito linhas de saída Out são produzidas. Este processamento é executado em paralelo como exemplificado em F na Figura 39 por H na Figura 39 na unidade de decodificação 133.

[00380] Como descrito acima, executando cada processamento em paralelo na unidade de codificação 121 e na unidade de decodificação 133, em ordem do topo da tela para o fundo dela, processamento de compressão de imagem e processamento de decodificação de imagem podem ser executados com pequeno atraso.

[00381] Com referência à Figura 39, o tempo de atraso da entrada de imagem para a saída de imagem no caso de executar transformação de wavelet a nível de divisão = 2 usando um filtro 5 x 3 será calculado. O tempo de atraso de introduzir os dados de imagem da primeira linha na unidade de codificação 121 até que os dados de imagem da primeira linha sejam saídos da unidade de decodificação 133 se torna a soma dos vários elementos descritos abaixo. Note que atrasos diferindo baseado na configuração de sistema, tal como atraso no trajeto de transmissão e atraso associado com temporização de processamento atual das várias porções do dispositivo, são excluído.

(1) Atraso D_WT da primeira entrada de linha até que a transformação de wavelet WT-1 de sete linhas termine;

(2) Tempo D_Ord associado com três linhas de rearranjo de coeficiente Ord-1;

(3) Tempo D_EC associado com três linhas de codificação de

Petição 870190088096, de 06/09/2019, pág. 97/138 / 112 entropia EC-1;

(4) Tempo D_iEC associado com três linhas de decodificação de entropia iEC-1;

(5) Tempo D_iWT associado com três linhas de transformação inversa de wavelet iWT-1.

Atraso devido aos vários elementos descritos acima será calculado com referência à Figura 39. O atraso D_WT em (1) vale dez de linhas de tempo. O tempo D_Ord em (2), tempo D_EC em (3), tempo D_iEC em (4) e tempo D_iWT em (5) vale cada três de linhas de tempo. Também, com a unidade de codificação 121, a codificação de entropia EC-1 pode ser começada depois de uma linha do começo do rearranjo Ord-1. Semelhantemente, com a unidade de decodificação 133, a transformação inversa de wavelet iWT-1 podem ser começadas depois de duas linhas do começo de decodificação de entropia iEC-1. Também, a decodificação de entropia iEC-1 pode começar processamento no ponto em tempo de um valor de linha de codificar com a codificação de entropia EC-1 sendo terminada. [00382] Por conseguinte, com o exemplo na Figura 39, o tempo de atraso dos dados de imagem da primeira entrada de linha na unidade de codificação 121 até que os dados de imagem da primeira linha saídos da unidade de decodificação 133 se torne 10 + 1 + 1 + 2 + 3 = 17 linhas.

[00383] O tempo de atraso será considerado com um exemplo mais específico. No caso que os dados de imagem de entrada são um sinal de vídeo entrelaçado de uma HDTV (Televisão de Alta Definição), por exemplo uma quadro é composto de uma resolução de 1920 pixéis x 1080 linhas, e um campo é 1920 pixéis x 540 linhas. Por conseguinte, no caso que a frequência de quadro é 30 Hz, as 540 linhas de um campo são entradas à unidade de codificação 121 pelo tempo de 16,67 ms (= 1 segundo/60 campos).

[00384] Por conseguinte, o tempo de atraso associado com a entrada de sete linhas de dados de imagem é 0,216 ms (= 16,67 ms x 7/540 linhas), e se

Petição 870190088096, de 06/09/2019, pág. 98/138 / 112 torna um tempo muito curto sobre o tempo de atualização de um campo, por exemplo. Também, tempo de atraso do total de soma do atraso acima descrito D_WT em (1), tempo D_Ord em (2), tempo D_EC em (3), tempo D_iEC em (4), e tempo D_iWT em (5) é encurtado significativamente, como o número de linhas a ser processado é pequeno. Fazendo os componentes em hardware para executar cada processamento habilitará o tempo de processamento ser encurtado até mesmo adicionalmente.

[00385] Agora, a informação de indicador de SFF e M será descrita.

[00386] Como descrito acima, com o sistema de transmissão 100, a tolerância para tempo de atraso aumentado é baixa, assim transmitir dados mais eficientemente e executar processamento necessário mais eficientemente, até mesmo no mais leve, é requerido.

[00387] Há sistemas que executam codificação e decodificação em incrementos de dados predeterminados, com o convencional, igualmente. Há aqueles em que, no caso de empacotar dados codificados e transmitir, como com o sistema de transmissão 100 na Figura 1, os dados codificados nos incrementos de dados são divididos em uma pluralidade e cada é empacotada e transmitida. Porém, no caso de um sistema convencional, a tolerância sobre tempo de atraso é grande, assim no processamento de desempacotamento, pacotes do incremento de dados são acumulados, e processamento de desempacotamento é executado a cada incremento de dados. Assim, só dados codificados dos quais os incrementos de dados estão todos presentes, podem ser providos à unidade de decodificação e decodificados.

[00388] Porém, com este método, surge a necessidade para memória temporária a ambas a unidade de processamento de empacotamento e a unidade de codificação, que é indesejável com o sistema de transmissão 100 considerando que redução em tempo de atraso é requerida.

[00389] Por conseguinte, como descrito acima, a unidade de processamento de desempacotamento 132 usa o fato que os dados codificados

Petição 870190088096, de 06/09/2019, pág. 99/138 / 112 transmitidos podem ser processados na ordem de provisão a cada unidade, e extrai sequencialmente os dados de carga útil dos pacotes recebidos e provê à unidade de decodificação 133 sem acumular. A unidade de decodificação 133 começa processamento de decodificação a cada vez que um precinto de dados codificados que é provido sequencialmente é acumulado. Assim, o número de vezes de memorização temporária dos dados codificados pode ser reduzido, assim o sistema de transmissão 100 pode adicionalmente reduzir o tempo de atraso.

[00390] O SFF e M são informação de indicador indicando a cabeça ou fim de um precinto, e a unidade de processamento de desempacotamento 132 pode detectar a cabeça e fim de um precinto baseada nesta informação de indicador, e pode fazer notificação à unidade de decodificação 133 para esse efeito. A unidade de decodificação 133 pode compreender uma quebra em precintos baseada na notificação da unidade de processamento de desempacotamento 132, e começar o processamento de decodificação em incrementos de precintos.

[00391] Se isto fosse tudo, o M que indica o fim de um precinto sozinho seria suficiente. Se nós dissermos que há pacotes onde um precinto foi dividido em uma pluralidade e pacotes não divididos, presentes juntos, estes pacotes poderiam ser identificados contanto que haja informação de indicador indicando tendo sido divididos.

[00392] Porém, na realidade, pode haver falha concebida pela unidade de recepção 131 para receber um pacote (perder). No evento que tal perda de pacote ocorre, a unidade de processamento de desempacotamento 132 precisa mudar o processamento com aquele de operação normal, assim para não executar memorização temporária de um pacote. Por exemplo, no caso de perda de pacote ocorrendo, com o sistema de transmissão 100, tempo para o dispositivo de transmissão 102 reenviar esse pacote não pode ser assegurado, assim os dados codificados desse precinto não estarão todos presentes. Quer

Petição 870190088096, de 06/09/2019, pág. 100/138 / 112 dizer, a unidade de decodificação 133 não será capaz de executar processamento de decodificação sobre esse precinto, devido à ocorrência de perda de pacote.

[00393] Por conseguinte, no evento que uma perda de pacote ocorreu parcialmente por um precinto por exemplo, pode ser concebido que dados codificados para esse precinto até agora sejam acumulados na unidade de decodificação 133. Em tal caso, a unidade de processamento de desempacotamento 132 faz notificação de ocorrência da perda de pacote à unidade de decodificação 133, e faz os dados codificados do mesmo precinto dos dados codificados do pacote perdido, que estão acumulados, serem descartados. Por conseguinte, a unidade de decodificação 133 pode evitar execução de processamento de decodificação desnecessário nesse precinto (processamento de decodificação que falhará), por esse meio aliviando a carga.

[00394] Também, uma vez que uma perda de pacote ocorra, dados de codificação subsequentes desse precinto se tornarão desnecessários. Por conseguinte, até mesmo se a unidade de processamento de desempacotamento 132 adquirir pacotes, ela não provê os dados codificados à unidade de decodificação 133 até os próximos precintos subsequentes. Ao adquirir um pacote de um novo precinto, a unidade de processamento de desempacotamento 132 recomeça provisão de dados codificados.

[00395] Assim, a unidade de processamento de desempacotamento 132 executa processamento adequado como apropriado mudando o modo de controle de acordo com o estado. Para este fim, a unidade de processamento de desempacotamento 132 se refere ao SFF e M e detecta a cabeça e fim do precinto. Neste momento, se houver só M indicando o fim, a unidade de processamento de desempacotamento 132 não será capaz de determinar que o precinto mudou até detectar o fim do precinto. Por exemplo, no caso de perder o pacote final do precinto, a unidade de processamento de

Petição 870190088096, de 06/09/2019, pág. 101/138 / 112 desempacotamento 132 precisará esperar por um próximo novo precinto adicional, assim não só tempo de atraso aumentará, mas também processamento de decodificação não pode ser executado na unidade de decodificação 133, e há preocupação que a qualidade de imagem da imagem restaurada pode deteriorar.

[00396] Reciprocamente, fazendo referência ao valor do SFF e detectando o cabeçalho de pacote, a unidade de processamento de desempacotamento 132 pode não só reduzir tempo de espera desnecessário, tal como retomando dados à unidade de decodificação 133, mas também pode executar processamento excepcional só sobre o cabeçalho de pacote, tal como prover não só dados codificados, mas também informação de cabeçalho à unidade de decodificação 133, omitindo notificação de erro para notificar a ocorrência de perda de pacote à unidade de decodificação 133, continuando provisão de dados codificados à unidade de decodificação 133 até mesmo se uma perda de pacote ocorrer, e assim sucessivamente, por exemplo.

[00397] Assim, a unidade de processamento de desempacotamento 132 pode executar processamento apropriadamente com a informação de indicador de SFF e M, e pode adicionalmente reduzir tempo de atraso.

[00398] Também, a unidade de processamento de desempacotamento 132 notifica a unidade de decodificação 133 que os dados codificado sendo providos são a cabeça ou o fim do precinto, baseado neste SFF e M. Por conseguinte, a unidade de decodificação 133 pode compreender prontamente a cabeça e o fim de precintos, assim no evento que o fim de um precinto foi provido por exemplo, processamento de decodificação pode ser começado, e no evento que a cabeça de um novo precinto que não é contínuo foi provida, processamento de complementação pode ser executado sobre o precinto perdido prévio. Quer dizer, a unidade de decodificação 133 pode executar tal controle facilmente e à alta velocidade, baseado em notificação da unidade de processamento de desempacotamento 132.

Petição 870190088096, de 06/09/2019, pág. 102/138 / 112 [00399] Como descrito acima, o SFF e M não são simplesmente informação de indicador para notificar a temporização de começo de processamento de desempacotamento e processamento de decodificação, e é informação de indicador para causar processamento adequado ser selecionado e executado a uma temporização adequada pela unidade de processamento de desempacotamento 132 e unidade de decodificação 133, assim para adicionalmente reduzir o tempo de atraso até decodificar dados codificados e produzir.

[00400] Agora, enquanto rearranjo de coeficiente foi descrito como sendo executado imediatamente seguindo a transformação de wavelet (antes de codificação de entropia) na Figura 2, é suficiente para dados codificados serem providos à unidade de transformação inversa de wavelet 363 da unidade de decodificação 133 em ordem de banda baixa para banda alta (isto é, é suficiente serem providos na ordem de dados codificados obtida codificando dados de coeficiente pertencendo às sub-bandas de banda baixa, para dados codificados obtidos codificando dados de coeficiente pertencendo às sub-bandas de banda alta), e a temporização para rearranjo pode ser diferente de seguindo imediatamente transformação de wavelet.

[00401] Por exemplo, a ordem de dados codificados obtidos por codificação de entropia pode ser rearranjada. Figura 40 é um diagrama de bloco ilustrando um exemplo de configuração da unidade de codificação neste caso.

[00402] No caso na Figura 40, a unidade de codificação 500 inclui uma unidade de transformação de wavelet 150, unidade de memória temporária de cálculo intermediário 151, unidade de codificação de entropia 155, e unidade de controle de taxa 154, da mesma maneira como com o caso da unidade de codificação 121 na Figura 2, mas tem uma unidade de memória temporária de rearranjo de código 501 e unidade de rearranjo de código 502 em vez da unidade de memória temporária de rearranjo de coeficiente 152 e unidade de

Petição 870190088096, de 06/09/2019, pág. 103/138 / 112 rearranjo de coeficiente 153 na Figura 2.

[00403] A unidade de memória temporária de rearranjo de código 501 é uma memória temporária para rearranjar a ordem de saída de dados codificados, codificados na unidade de codificação de entropia 155, e a unidade de rearranjo de código 502 rearranja a ordem de saída dos dados codificados lendo os dados codificados acumulados na unidade de memória temporária de rearranjo de código 501 em uma ordem predeterminada.

[00404] Quer dizer, no caso na Figura 40, os coeficientes de wavelet saídos da unidade de transformação de wavelet 150 são providos à unidade de codificação de entropia 155 e codificados. Cada dado codificado obtido por essa codificação é provido sequencialmente à unidade de memória temporária de rearranjo de código 501, e acumulado temporariamente para rearranjo.

[00405] A unidade de rearranjo de código 502 lê os dados codificados escritos na unidade de memória temporária de rearranjo de código 501 em uma ordem predeterminada, e produz externamente da unidade de codificação 500.

[00406] No caso na Figura 40, a unidade de codificação de entropia 155 executa codificação de cada dados de coeficiente na ordem de saída pela unidade de transformação de wavelet 150, e escreve os dados codificados obtidos à unidade de memória temporária de rearranjo de código 501. Quer dizer, a unidade de memória temporária de rearranjo de código 501 armazena dados codificados em uma ordem correspondendo à ordem de saída de coeficientes de wavelet pela unidade de transformação de wavelet 150. Em um caso normal, comparando dados de coeficiente pertencendo a um precinto entre si, a unidade de transformação de wavelet 150 produz os dados de coeficiente mais cedo que pertencem a uma sub-banda de banda mais alta, e produz os dados de coeficiente mais tarde que pertencem a uma sub-banda de banda mais baixa. Quer dizer, cada dados codificados é armazenado na unidade de memória temporária de rearranjo de código 501 em uma ordem

Petição 870190088096, de 06/09/2019, pág. 104/138

100/ 112 começando dos dados codificados obtidos executando codificação de entropia de dados de coeficiente pertencendo a sub-bandas de banda alta para os dados codificados obtidos executando codificação de entropia de dados de coeficiente pertencendo a sub-bandas de banda baixa.

[00407] Reciprocamente, a unidade de rearranjo de código 502 executa rearranjo de dados codificados lendo cada dado codificado acumulado na unidade de memória temporária de rearranjo de código 501 disso em uma ordem arbitrária independente desta ordem.

[00408] Por exemplo, a unidade de rearranjo de código 502 lê com maior prioridade dados codificados obtidos codificando dados de coeficiente pertencendo a sub-bandas de banda baixa, e finalmente lê dados codificados obtidos codificando dados de coeficiente pertencendo à sub-banda de banda mais alta. Assim, lendo dados codificados de banda baixa para banda alta, a unidade de rearranjo de código 502 habilita a unidade de decodificação 133 decodificar cada dados codificados na ordem obtida, por esse meio reduzindo tempo de atraso ocorrendo no processamento de decodificação pela unidade de decodificação 133.

[00409] A unidade de rearranjo de código 502 lê os dados codificados acumulados na unidade de memória temporária de rearranjo de código 501, e produz externamente da unidade de codificação 500.

[00410] Note que os dados codificados e produzidos na unidade de codificação 500 mostrada na Figura 40 podem ser decodificados da mesma maneira como com o caso dos dados codificados produzidos da unidade de codificação 121 na Figura 2, pela unidade de decodificação 133 já descrita com referência à Figura 24.

[00411] Também, a temporização para executar rearranjo pode ser diferente da descrita acima. Por exemplo, como um exemplo é mostrado na Figura 41, isto pode ser executado na unidade de codificação, ou como um exemplo é mostrado na Figura 42, isto pode ser executado na unidade de

Petição 870190088096, de 06/09/2019, pág. 105/138

101/ 112 decodificação.

[00412] No processamento para rearranjar dados de coeficiente gerados por transformação de wavelet, uma capacidade relativamente grande é necessária como capacidade de armazenamento para a memória temporária de rearranjo de coeficiente, e também, alta capacidade de processamento é requerida para próprio processamento de rearranjo de coeficiente. Neste caso igualmente, não há nenhum problema qualquer em um caso em que a capacidade de processamento do dispositivo de codificação está a ou acima de um certo nível.

[00413] Agora, deixe-nos considerar situações nas quais o dispositivo de codificação está instalado em um dispositivo com capacidade de processamento relativamente baixa, tais como terminais móveis como um terminal de telefone celular ou PDA (Assistente Digital Pessoal). Por exemplo, em recentes anos, produtos em que funções de geração de imagem foram adicionadas a terminais de telefone celulares entraram em uso difundido (chamado terminal de telefone celular com função de câmera). Uma situação pode ser considerada em que os dados de imagem gerados por um terminal de telefone celular com tal função de câmera são sujeitos à codificação de compressão por transformação de wavelet e codificação de entropia, e transmitidos por comunicação sem fios ou cabo.

[00414] Tais terminais móveis por exemplo, são restringidos nas capacidades de processamento de CPU (Unidade de Processamento Central), e também têm um certo limite superior para capacidade de memória. Portanto, a carga e assim sucessivamente para processamento com o rearranjo de coeficiente acima descrito é um problema que não pode ser ignorado.

[00415] Assim, como com um exemplo mostrado na Figura 42, construindo o processamento de rearranjo na unidade de decodificação, a carga na unidade de codificação pode ser aliviada, assim habilitando a unidade de codificação ser instalada em um dispositivo com habilidade de

Petição 870190088096, de 06/09/2019, pág. 106/138

102/ 112 processamento relativamente baixa tal como um terminal móvel.

[00416] Figura 43 é um diagrama de bloco ilustrando a configuração de um exemplo da unidade de codificação neste caso. Note que na Figura 43, porções comuns à Figura 2 descrita acima são denotadas com os mesmos numerais de referência, e descrição detalhada será omitida.

[00417] A configuração da unidade de codificação 510 mostrada nesta Figura 43 é uma configuração em que a unidade de rearranjo de coeficiente 153 e a unidade de memória temporária de rearranjo de coeficiente 152 foi removida sobre a configuração da unidade de codificação 121 mostrada na Figura 2 descrita acima. Quer dizer, a unidade de codificação 510 tem a unidade de transformação de wavelet 150, unidade de memória temporária de cálculo intermediário 151, unidade de controle de taxa 154, e unidade de codificação de entropia 155, da mesma maneira como com o caso da unidade de codificação 121.

[00418] Os dados de imagem de entrada são acumulados temporariamente na unidade de memória temporária de cálculo intermediário 151. A unidade de transformação de wavelet 150 sujeita os dados de imagem acumulados na unidade de memória temporária de cálculo intermediário 151 à transformação de wavelet, e provê sequencialmente os dados de coeficiente gerados para à unidade de codificação de entropia 155 na ordem de geração de dados de coeficiente. Quer dizer, os dados de coeficiente gerados são providos à unidade de codificação de entropia 155 na ordem de componentes de banda alta para componentes de banda baixa, seguindo a ordem de transformação de wavelet. A unidade de codificação de entropia 155 sujeita os coeficientes providos à codificação de entropia, com a taxa de bit de dados de saída sendo controlada pela unidade de controle de taxa 154. Os dados codificados dos dados de coeficiente gerados por transformação de wavelet tendo sido sujeitos à codificação de entropia são produzidos da unidade de codificação de entropia 155.

Petição 870190088096, de 06/09/2019, pág. 107/138

103/ 112 [00419] Figura 44 é um diagrama de bloco ilustrando a configuração de um exemplo de um dispositivo de decodificação correspondendo a esta unidade de codificação 510. Note que nesta Figura 44, porções comum à Figura 24 descrita acima são denotadas com os mesmos numerais de referência, e descrição detalhada será omitida.

[00420] Como mostrado na Figura 44, a unidade de codificação 520 neste caso tem a unidade de obtenção de informação de controle 351, unidade de controle de decodificação 352, unidade de execução de processamento de decodificação 353, unidade de obtenção de cabeçalho 354, unidade de aquisição de dados 355, uma unidade de obtenção de notificação de erro 356, e unidade de processamento de descarte 357, da mesma maneira como com a unidade de decodificação 133 na Figura 24, com a unidade de execução de processamento de decodificação 353 adicionalmente tendo uma unidade de memória temporária de rearranjo de coeficiente 521.

[00421] Os dados codificados saídos da unidade de codificação de entropia 155 da unidade de codificação 510 descrita com a Figura 43 são providos à unidade de decodificação de entropia 362 pela unidade de memória temporária 361 na unidade de decodificação 520 na Figura 44, onde a codificação de entropia é decodificada e feita ser dados de coeficiente. Estes dados de coeficiente são armazenados na unidade de memória temporária de rearranjo de coeficiente 521 pela unidade de memória temporária 361. Nos dados de coeficiente sendo acumulados na unidade de memória temporária de rearranjo de coeficiente 521 para onde rearranjo de dados de coeficiente se torna possível, a unidade de transformação inversa de wavelet 363 lê os dados de coeficiente armazenados na unidade de memória temporária de rearranjo de coeficiente 521 rearranjados na ordem de componentes de banda baixa para componentes de banda alta, e executa processamento de transformação inversa de wavelet usando os dados de coeficiente na ordem lida. No evento de usar um filtro 5 x 3, isto é como mostrado na Figura 42 descrita acima.

Petição 870190088096, de 06/09/2019, pág. 108/138

104 / 112 [00422] Quer dizer, no evento de processamento da cabeça de 1 quadro por exemplo, no ponto que o coeficiente C1, coeficiente C4, e coeficiente C5 dos quais a codificação de entropia foi decodificada, são armazenados na unidade de memória temporária de rearranjo de coeficiente 521, a unidade de transformação inversa de wavelet 363 lê os dados de coeficiente da unidade de memória temporária de rearranjo de coeficiente 521, e executa processamento de transformação inversa de wavelet. Os dados sujeitos à transformação inversa de wavelet na unidade de transformação inversa de wavelet 363 são produzidos sequencialmente como dados de imagem de saída.

[00423] Note que neste caso igualmente, o processamento de cada componente na unidade de codificação 510, a transmissão de dados codificados sobre o trajeto de transmissão, e o processamento de cada componente na unidade de decodificação 520, são executados em paralelo, como já descrito com a Figura 39.

[00424] Como descrito acima, a presente invenção pode ser aplicada a várias concretizações, e pode ser aplicada facilmente a várias aplicações (isto é, tem alta versatilidade), que também é uma grande vantagem dela.

[00425] A série acima descrita de processamento pode ser executada por hardware, ou pode ser executada por software. No evento de executar a série de processamento por software, um programa configurando o software é instalado em um computador montado em hardware dedicado, ou um computador pessoal de uso geral por exemplo, que é capaz de executar vários tipos de funções tendo vários tipos de programas instalados, ou um dispositivo de processamento de informação de um sistema de processamento de informação composto de múltiplos dispositivos, e assim sucessivamente, de um meio de gravação de programa.

[00426] Figura 45 é um diagrama de bloco ilustrando a configuração de um exemplo de um sistema de processamento de informação para executar

Petição 870190088096, de 06/09/2019, pág. 109/138

105/ 112 a série acima descrita de processamento por um programa.

[00427] Como mostrado na Figura 45, um sistema de processamento de informação 800 é um sistema configurado de um dispositivo de processamento de informação 801, e um dispositivo de armazenamento 803, VTR 804-1 por VTR 804-S, que são múltiplos gravadores de fita de vídeo (VTR), um mouse 805, teclado 806, e controlador de operação 807 para um usuário executar entrada operacional a estes, que estão conectados ao dispositivo de processamento de informação 801 por um barramento de PCI 802, e é um sistema para executar processamento de codificação de imagem e processamento de decodificação de imagem e similar tal como descrito acima por um programa instalado.

[00428] Por exemplo, o dispositivo de processamento de informação 801 do sistema de processamento de informação 800 pode armazenar, no dispositivo de armazenamento 803, dados codificados obtidos codificando conteúdos de imagem móvel armazenados no dispositivo de armazenamento de grande capacidade 803 composto de um RAID (Arranjos Redundantes de Discos Independentes), armazenar no dispositivo de armazenamento 803 dados de imagem decodificados (conteúdos de imagem móvel) obtidos decodificando dados codificados armazenados no dispositivo de armazenamento 803, gravar dados codificados e dados de imagem decodificados em fita de vídeo por meio do VTR 804-1 por VTR 804-S, e assim sucessivamente. Também, o dispositivo de processamento de informação 801 também é arranjado tal que conteúdos de imagem móvel gravados em fitas de vídeo montadas ao VTR 804-1 por VTR 804-S possam ser tirados no dispositivo de armazenamento 803. Neste momento, o dispositivo de processamento de informação 801 pode codificar os conteúdos de imagem móvel.

[00429] O dispositivo de processamento de informação 801 tem um microprocessador 901, GPU (Unidade de Processamento Gráfico) 902, XDR

Petição 870190088096, de 06/09/2019, pág. 110/138

106/ 112

RAM (Taxa de Dados Extrema) 903, ponte sul 904, HDD (Unidade de Disco Rígido) 905, interface de USB (Barramento Serial Universal) (USB I/F (interface)) 906, e codec de entrada/saída de som 907.

[00430] A GPU 902 está conectada ao microprocessador 901 por um barramento dedicado 911. A XDR-RAM 903 está conectada ao microprocessador 901 por um barramento dedicado 912. A ponte sul 904 está conectada a um controlador de I/O (Entrada/Saída) 944 do microprocessador 901 por um barramento dedicado. A ponte sul 904 também está conectada ao HDD 905, interface de USB 906, e codec de entrada/saída de som 907. O codec de entrada/saída de som 907 está conectado a um alto-falante 921. Também, a GPU 902 está conectada a um monitor 922.

[00431] Também, a ponte sul 904 está adicionalmente conectada a um mouse 805, teclado 806, VTR 804-1 por VTR 804-S, dispositivo de armazenamento 803, e controlador de operação 807 pelo barramento de PCI 802.

[00432] O mouse 805 e teclado 806 recebem entrada de operação de usuário, e provêem um sinal indicando conteúdo da operação de usuário entrada ao microprocessador 901 pelo barramento de PCI 802 e ponte sul 904. O dispositivo de armazenamento 803 e VTR 804-1 por VTR 804-S são configurados para serem capazes de gravar ou reproduzir dados predeterminados.

[00433] O barramento de PCI 802 está adicionalmente conectado a uma unidade de acionamento 808 como necessário, e mídia removível 811 tal como um disco magnético, disco óptico, disco magneto-óptico, ou memória de semicondutor está montada nisso como apropriado, e o programa de computação lido dela é instalado no HDD 905 como precisado.

[00434] O microprocessador 901 é configurado com uma configuração de múltiplos núcleos integrados em um único chip, tendo um núcleo de CPU principal de uso geral 941 que executa programas básicos tais como um OS

Petição 870190088096, de 06/09/2019, pág. 111/138

107/ 112 (Sistema Operacional), núcleo de sub-CPU 942-1 por núcleo de sub-CPU 942-8 que são múltiplos (oito neste caso) processadores de processamento de sinal de um tipo de RISC (Computador de Conjunto de Instruções Reduzidas) conectado ao núcleo de CPU principal 941 por um barramento interno 945, um controlador de memória 943 para executar controle de memória sobre a XDR-RAM 903 tendo uma capacidade de 256 Mbytes por exemplo, e um controlador de I/O (Entrada/Saída) 944 para administrar a entrada/saída de dados entre a ponte sul 904, e por exemplo realiza uma frequência operacional de 4 GHz.

[00435] No momento de iniciação, o microprocessador 901 lê o programa aplicativo necessário armazenado no HDD 905 e o expande isto na XDR-RAM 903, baseado no programa de controle armazenado no HDD 905, e executa processamento de controle necessário depois disso baseado no programa aplicativo e operações de operador.

[00436] Também, executando o software, o microprocessador 901 realiza, por exemplo, o processamento de codificação e processamento de decodificação acima descritos, e pode prover o fluxo codificado obtido como resultado da codificação pela ponte sul 904, e armazenar no HDD 905, ou transferir os dados da imagem de reprodução do conteúdo de imagem móvel obtido como resultado de decodificação à CPU 902, e exibir em um monitor 922.

[00437] O método de uso para cada núcleo de CPU dentro do microprocessador 901 é opcional, mas um arranjo pode ser feito em que, por exemplo, o núcleo de CPU principal 941 executa processamento relativo a controle do processamento de codificação de imagem e processamento de decodificação de imagem, e faz os oito núcleos de sub-CPU 942-1 por subnúcleo de CPU 942-8 executar o processamento de transformação de wavelet, rearranjo de coeficiente, codificação de entropia, decodificação de entropia, conversão inversa de wavelet, quantização, e quantização inversa, e assim

Petição 870190088096, de 06/09/2019, pág. 112/138

108/ 112 sucessivamente, simultaneamente em paralelo, da mesma maneira como com o caso descrito com referência à Figura 39, por exemplo. Neste momento, um arranjo em que o núcleo de CPU principal 941 destina processamento a cada dos oito núcleos de sub-CPU 942-1 por núcleo de sub-CPU 942-8 em incrementos de precinto causa a execução de processamento de codificação e processamento de decodificação simultaneamente em paralelo em incrementos de precintos, como descrito com referência à Figura 39. Quer dizer, isto habilita a eficiência de processamento de codificação e processamento de decodificação ser melhorado, o tempo de atraso do processamento global ser reduzido, e adicionalmente a carga, tempo de processamento, e capacidade de memória necessária para processamento ser reduzida. Certamente, um arranjo pode ser feito para executar cada processamento com um método diferente deste.

[00438] Por exemplo, um arranjo pode ser feito em que uma parte dos oito núcleos de sub-CPU 942-1 por núcleo de sub-CPU 942-8 do microprocessador 901 executa processamento de codificação, e outra parte processamento de decodificação, simultaneamente em paralelo.

[00439] Também, no evento que um codificador ou decodificador independente, ou dispositivo de processamento de codec é conectado ao barramento de PCI 802 por exemplo, os oito núcleos de sub-CPU 942-1 por núcleo de sub-CPU 942-8 do microprocessador 901 podem ser arranjados assim para controlar processamento executado por estes dispositivos pela ponte sul 904 e barramento de PCI 802. Adicionalmente, no evento que uma pluralidade destes dispositivos está conectada, ou no evento que estes dispositivos incluem múltiplos decodificadores ou codificadores, os oito núcleos de sub-CPU 942-1 por núcleo de sub-CPU 942-8 do microprocessador 901 podem ser arranjados assim para cada um assumir parcialmente e controlar o processamento executado pelos múltiplos decodificadores ou codificadores.

Petição 870190088096, de 06/09/2019, pág. 113/138

109/ 112 [00440] Neste momento, o núcleo de CPU principal 941 administra as operações dos oito núcleos de sub-CPU 942-1 por núcleo de sub-CPU 942-8, e nomeia processamento a cada núcleo de sub-CPU e recupera resultados de processamento e assim sucessivamente. Adicionalmente, o núcleo de CPU principal 941 executa processamento diferente do executado por estes núcleos de sub-CPU. Por exemplo, o núcleo de CPU principal 941 aceita comandos providos do mouse 805, teclado 806, ou controlador de operação 807, pela ponte sul 904, e executa vários tipos de processamento de acordo com os comandos.

[00441] Além de um processamento de apresentação final relativo a espera por textura quando a imagem de reprodução dos conteúdos de imagem móvel exibidos no monitor 922 é movida, a GPU 902 pode controlar as funções executando processamento de cálculo de transformação de coordenadas para exibir múltiplas imagens de reprodução de conteúdo de imagem móvel e imagens paradas de conteúdo de imagem parada em um monitor 922 de uma vez, expandir/reduzir processamento sobre a imagem de reprodução do conteúdo de imagem móvel e imagens paradas do conteúdo de imagem parada, e aliviar a carga de processamento no microprocessador 901.

[00442] A GPU 902 executa, sob o controle do microprocessador 901, processamento de sinal predeterminado sobre os dados de imagem providos do conteúdo de imagem móvel ou dados de imagem do conteúdo de imagem parada, e consequentemente envia os dados de imagem obtidos e dados de imagem ao monitor 922, e exibe o sinal de imagem no monitor 922.

[00443] Incidentemente, as imagens de reprodução com múltiplos conteúdos de imagem móvel em que os oito núcleos de sub-CPU 942-1 por núcleo de sub-CPU 942-8 do microprocessador 901 são decodificados simultaneamente e em paralelo são sujeitos à transferência de dados à GPU 902 pelo barramento 911, mas a velocidade de transferência neste momento é por exemplo um máximo de 30 Gbyte/s, e arranjada tal que uma exibição

Petição 870190088096, de 06/09/2019, pág. 114/138

110/ 112 possa ser feita depressa e suavemente, até mesmo se o quadro de reprodução for complexo e foi sujeito a efeitos especiais.

[00444] Também, dos dados de quadro e dados de áudio do conteúdo de imagem móvel, o microprocessador 901 sujeita os dados de áudio a processamento de mistura de áudio, e envia os dados de áudio editados obtidos como resultado disso ao alto-falante 921 pela ponte sul 904 e codec de entrada/saída de som 907, por meio de que áudio baseado no sinal de áudio pode ser produzido do alto-falante 921.

[00445] No evento de executar a série acima descrita de processamento por software, uma programa compondo esse software é instalado de uma rede ou meio de gravação.

[00446] Como mostrado na Figura 45 por exemplo, este meio de gravação não é somente configurado de mídia removível 811 tais como um disco magnético (incluindo discos flexíveis), disco óptico (incluindo CDROM, DVD), disco magneto-óptico (incluindo MD), ou memória de semicondutor, na qual o programa é gravado, distribuído separadamente da unidade principal de dispositivo para distribuir o programa para o usuário, mas também é configurado do HDD 905 ou dispositivo de armazenamento 803 ou similar armazenando o programa e distribuído ao usuário em um estado de ter sido montado na unidade principal de dispositivo previamente. Certamente, o meio de gravação pode ser memória de semicondutor tal como memória ROM ou flash, igualmente.

[00447] No anterior, descrição foi feita com o microprocessador 901 sendo configurado com oito núcleo de sub-CPU nele, mas não está restrito a isto, e o número de núcleos de sub-CPU é opcional. Também, o microprocessador 901 não tem que ser configurado de múltiplos núcleos tais como o núcleo de CPU principal e núcleos de sub-CPU, e uma CPU configurada de um único núcleo (1 núcleo) pode ser usada. Também, múltiplas CPUs podem ser usadas em vez do microprocessador 901, ou

Petição 870190088096, de 06/09/2019, pág. 115/138

111/ 112 múltiplos dispositivos de processamento de informação podem ser usados (isto é, o programa para executar o processamento da presente invenção pode ser executado em múltiplos dispositivos operando em cooperação entre si).

[00448] Note que as etapas descrevendo o programa gravado no meio de gravação com a presente especificação incluem processamento executado em série de tempo na ordem descrita certamente, mas até mesmo se não processado necessariamente em série de tempo, também incluem processamento executado em paralelo ou individualmente.

[00449] Também, de acordo com a presente especificação, sistema representa a totalidade de dispositivos configurados de múltiplos dispositivos (dispositivos).

[00450] Note que com o acima descrito, uma configuração descrita como um dispositivo pode ser dividida e configurada como múltiplos dispositivos. Reciprocamente, uma configuração descrita acima como múltiplos dispositivos pode ser configurada junto como um dispositivo. Também, uma configuração diferente das configurações de dispositivo descritas acima pode ser adicionada, como um assunto certamente. Adicionalmente, contanto que a configuração e operação como um sistema inteiro sejam substancialmente as mesmas, uma porção da configuração de um certo dispositivo pode ser incluída na configuração de outro dispositivo.

[00451 ] Aplicabilidade Industrial [00452] A presente invenção descrita acima é para executar processamento de empacotamento e processamento de desempacotamento facilmente e à alta velocidade, e pode ser aplicada variadamente contanto que um dispositivo ou sistema onde imagens são codificadas por compressão e transmitidas, e o código comprimido seja decodificado e produzido no destino de transmissão. A presente invenção é particularmente usada adequadamente com dispositivos ou sistemas em que atraso curto de codificação por compressão de imagens para decodificação e saída é requerido.

Petição 870190088096, de 06/09/2019, pág. 116/138

112/ 112 [00453] Por exemplo, a presente invenção é usada adequadamente com aplicações de diagnóstico médico remoto, tal como executar tratamento operando um manipulador enquanto assistindo um quadro tirado com uma câmera de vídeo. Também, a presente invenção é usada adequadamente com um sistema em que imagens são codificadas e transmitidas, e decodificadas e exibidas ou gravadas, em uma estação radiodifundida ou similar.

[00454] Adicionalmente, a presente invenção pode ser aplicada a sistemas para distribuir quadros de uma retransmissão ao vivo, sistemas habilitando comunicação interativa entre estudantes e professores no campo de educação, e assim sucessivamente.

[00455] Além disso, a presente invenção pode ser aplicada à transmissão de dados de imagem tirados com terminais móveis tendo funções de geração de imagem tais como terminais de telefone celular com funções de câmera, sistemas de videoconferência, sistemas compostos de câmeras de vigilância e gravadores para gravar quadros tirados com as câmeras de vigilância, e assim sucessivamente.

Claims (19)

1. REIVINDICAÇÕES

   1. Dispositivo de processamento de informação para executar processamento de empacotamento de adicionar informação de cabeçalho a dados codificados de dados de imagem codificados todo incremento predeterminado e empacotar, caracterizado pelo fato de compreender:

   um processador que adquire dados de imagem codificados em incrementos de precintos que são grupos de linhas incluindo sub-bandas, que geram um valor de linha de componentes de banda mais baixa de dados de imagem;

   meio de criação para criar dita informação de cabeçalho;

   meio de divisão para dividir precintos de dados de imagem codificados em uma pluralidade de cargas úteis para uma pluralidade de pacotes correspondentes, a toda quantidade de dados predeterminada determinada previamente;

   meio de empacotamento para formar a pluralidade de pacotes através da adição de dita informação de cabeçalho criada por dito meio de criação para cada de dita pluralidade de cargas úteis obtidas por ditos precintos de dados de imagem codificados tendo sido divididos por dito meio de divisão, e empacotar; e meio de colocação de indicador para fixar, sobre um cabeçalho de pacote dos pacotes gerados por dito meio de empacotamento dos quais uma carga útil é um cabeçalho de um precinto de dados de imagem codificados, um indicador de cabeçalho indicando dito cabeçalho de pacote, incluído em informação de cabeçalho, e fixar, sobre um pacote final do qual uma carga útil é um fim do precinto de dados de imagem codificados, um indicador de fim indicando dito pacote final, incluído em informação de cabeçalho, em que o indicador de cabeçalho tem somente um de dois valores fixados, e o indicador de fim tem somente um de dois valores fixados.

   Petição 870190088096, de 06/09/2019, pág. 118/138
2. 2 / 9

   2. Dispositivo de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que os dados codificados são dados codificados que foram transformados em wavelet e codificados em entropia, em incrementos de precintos.
3. 3. Dispositivo de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que ditos dados codificados são providos em uma ordem de decodificação.
4. 4. Dispositivo de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda meio de codificação para codificar ditos dados de imagem e gerar ditos dados de imagem codificados, em que dito meio de divisão divide ditos dados de imagem codificados gerados por dito meio de codificação.
5. 5. Dispositivo de processamento de informação, de acordo com a reivindicação 4, caracterizado pelo fato de que dito meio de codificação provê informação adicionada de um mesmo formato como com dita informação de cabeçalho, e em que dito meio de criação cria dita informação de cabeçalho usando dita informação adicionada provida por dito meio de codificação.
6. 6. Dispositivo de processamento de informação, de acordo com a reivindicação 4, caracterizado pelo fato de que dito meio de codificação provê informação de indicador indicando sucesso ou falha de dita codificação, e dito meio de empacotamento executa empacotamento usando somente dita informação de cabeçalho criada por dito meio de criação em um evento que determinação é feita que dita codificação falhou, baseado em dita informação de indicador.
7. 7. Método de processamento de informação de um dispositivo de processamento de informação para executar processamento de

   Petição 870190088096, de 06/09/2019, pág. 119/138

   3 / 9 empacotamento de adicionar informação de cabeçalho a dados codificados de dados de imagem codificados todo incremento predeterminado e empacotar, caracterizado pelo fato de compreender as etapas de:

   adquirir dados de imagem codificados em incrementos de precintos que são grupos de linhas incluindo sub-bandas, que geram um valor de linha de componentes de banda mais baixa de dados de imagem;

   criar dita informação de cabeçalho;

   dividir precintos de dados de imagem codificados em uma pluralidade de carga útil para uma pluralidade de pacotes correspondente, a toda quantidade de dados predeterminada determinada previamente;

   formar a pluralidade de pacotes através da adição de dita informação de cabeçalho a cada carga útil obtida por ditos precintos de dados codificados tendo sido divididos, e empacotar; e fixar, sobre um cabeçalho de pacote dos pacotes gerados dos quais uma carga útil é um cabeçalho de um precinto de dados de imagem codificados, um indicador de cabeçalho indicando dito cabeçalho de pacote, incluído em informação de cabeçalho, e fixar, sobre um pacote final do qual uma carga útil é um fim do precinto de dados de imagem codificados, um indicador de fim indicando dito pacote final, incluído em informação de cabeçalho, em que o indicador de cabeçalho tem somente um de dois valores fixados, e o indicador de fim tem somente um de dois valores fixados.
8. 8. Dispositivo de processamento de informação para executar processamento de desempacotamento no qual dados de carga útil são extraídos de pacotes, caracterizado pelo fato de compreender:

   meio de aquisição para adquirir ditos pacotes providos externamente, em que dado de carga útil nos pacotes é dado de imagem codificado em incrementos de precintos que são grupos de linhas incluindo sub-bandas, que geram um valor de linha de componentes de banda mais baixa de dados de imagem;

   Petição 870190088096, de 06/09/2019, pág. 120/138

   4 / 9 meio de determinação de cabeçalho para determinar se um pacote adquirido por dito meio de aquisição é um cabeçalho de pacote de um precinto de dados de imagem codificados, dito cabeçalho de pacote incluindo uma carga útil que é uma porção de cabeçalho do precinto de dados de imagem codificados pela determinação se a informação de cabeçalho de dito pacote inclui um indicador de cabeçalho indicando dito cabeçalho de pacote, em que o indicador de cabeçalho tem somente um de dois valores fixados;

   meio de determinação de perda para determinar se perda de um pacote ocorreu na aquisição por dito meio de aquisição, baseado em informação de cabeçalho de ditos pacotes adquiridos por dito meio de aquisição; e meio de provisão para extrair os dados de carga útil de ditos pacotes adquiridos por dito meio de aquisição e prover a uma unidade de processamento a jusante em um evento que determinação foi feita por dito meio de determinação de perda que perda de ditos pacotes for ausente de ocorrência, e descartar ditos pacotes adquiridos por dito meio de aquisição em um evento que determinação foi feita por dito meio de determinação de perda que perda de ditos pacotes ocorreu;

   em que no evento que o meio de determinação de perda determinou que perda de pacotes ocorreu, o meio de provisão descarta os pacotes até determinação ser feita, pelo meio de determinação de cabeçalho, que um cabeçalho de pacote de um novo precinto foi adquirido pelo meio de aquisição.
9. 9. Dispositivo de processamento de informação, de acordo com a reivindicação 8, caracterizado pelo fato de que dito meio de determinação de perda determina que perda de pacotes ocorreu no evento que um número de sequência que é informação indicando a ordem de pacotes, incluída em dita informação de cabeçalho, é descontínuo com um número de sequência de um pacote obtido no tempo prévio.

   Petição 870190088096, de 06/09/2019, pág. 121/138

   5 / 9
10. 10. Dispositivo de processamento de informação, de acordo com a reivindicação 8, caracterizado pelo fato de compreender ainda meio de notificação para notificar dita unidade de processamento a jusante no evento que dito meio de determinação de perda determinou que perda de ditos pacotes ocorreu.
11. 11. Dispositivo de processamento de informação, de acordo com a reivindicação 8, caracterizado pelo fato de que em que, no evento que dito meio de determinação de perda determina que perda de ditos pacotes for ausente de ocorrência, e também no evento que determinação é feita por dito meio de determinação de cabeçalho para que o pacote é o cabeçalho de pacote de dito precinto de dados de imagem codificados, dito meio de provisão adicionalmente provê dita informação de cabeçalho do pacote para a unidade de processamento a jusante.
12. 12. Dispositivo de processamento de informação, de acordo com a reivindicação 8, caracterizado pelo fato de que ditos dados de carga útil são dados codificados que foram transformados em wavelet e codificados em entropia, em incrementos de precintos.
13. 13. Dispositivo de processamento de informação, de acordo com a reivindicação 12, caracterizado pelo fato de que ditos dados codificados são providos na ordem de decodificação.
14. 14. Dispositivo de processamento de informação, de acordo com a reivindicação 12, caracterizado pelo fato de compreender ainda, em dita unidade de processamento a jusante, meio de execução de processamento de decodificação para executar processamento de decodificação para decodificar ditos dados codificados, que são ditos dados de carga útil providos por dito meio de provisão.
15. 15. Dispositivo de processamento de informação, de acordo com a reivindicação 14, caracterizado pelo fato de dito meio de execução de processamento de decodificação compreender:

    Petição 870190088096, de 06/09/2019, pág. 122/138

    6 / 9 meio de retenção para reter temporariamente ditos dados codificados providos de dito meio de provisão;

    meio de decodificação para decodificar ditos dados codificados, retidos por dito meio de retenção, em ditos incrementos de precinto; e meio de transformação inversa de wavelet para executar transformação inversa de wavelet sobre dados de coeficiente obtidos decodificando por dito meio de decodificação.
16. 16. Dispositivo de processamento de informação, de acordo com a reivindicação 12, caracterizado pelo fato de compreender ainda meio de determinação de sucesso/falha de codificação para determinar se dita codificação de entropia teve sucesso ou falhou, baseado em informação de cabeçalho de ditos pacotes adquiridos por dito meio de aquisição;

    em que dito meio de provisão provê somente dita informação de cabeçalho no evento que determinação é feita por dito meio de determinação de sucesso/falha de codificação que dita codificação falhou.
17. 17. Método de processamento de informação de um dispositivo de processamento de informação para executar processamento de desempacotamento no qual dados de carga útil são extraídos de pacotes, caracterizado pelo fato de compreender as etapas de:

    adquirir ditos pacotes providos externamente, em que dado de carga útil nos pacotes é dado de imagem codificado em incrementos de precintos que são grupos de linhas incluindo sub-bandas, que geram um valor de linha de componentes de banda mais baixa de dados de imagem;

    determinar se um pacote adquirido na etapa de adquirir, é um cabeçalho de pacote de um precinto de dados de imagem codificados, dito cabeçalho de pacote incluindo uma carga útil que é uma porção de cabeçalho do precinto de dados de imagem codificados pela determinação se a informação de cabeçalho de dito pacote inclui um indicador de cabeçalho

    Petição 870190088096, de 06/09/2019, pág. 123/138

    7 / 9 indicando dito cabeçalho de pacote, em que o indicador de cabeçalho tem somente um de dois valores fixados;

    determinar se perda de um pacote ocorreu, baseado em informação de cabeçalho de ditos pacotes adquiridos; e extrair os dados de carga útil de ditos pacotes adquiridos e prover para uma unidade de processamento a jusante em um evento que determinação foi feita que perda de ditos pacotes for ausente de ocorrência, e descartar ditos pacotes adquiridos no evento que determinação foi feita que perda de ditos pacotes ocorreu;

    em que, no evento que a etapa de determinação, determinou que perda de pacotes ocorreu, descartar os ditos pacotes até determinação ser feita de que um cabeçalho de pacote de um novo precinto foi adquirido.
18. 18. Mídia de armazenamento legível por computador, caracterizada pelo fato de compreender instruções legíveis por computador, que quando executadas por um computador fazem executar processamento de empacotamento de adicionar informação de cabeçalho a dados codificados de dados de imagem codificados todo incremento predeterminado e empacotar, as instruções fazendo com que o computador execute processamento de informação, caracterizado pelo fato de compreender as etapas de:

    adquirir dados de imagem codificados em incrementos de precintos que são grupos de linhas incluindo sub-bandas, que geram um valor de linha de componentes de banda mais baixa de dados de imagem;

    criar dita informação de cabeçalho;

    dividir precintos de dados de imagem codificados em uma pluralidade de carga útil para uma pluralidade de pacotes correspondente, a toda quantidade de dados predeterminada determinada previamente;

    formar a pluralidade de pacotes através da adição de dita informação de cabeçalho a cada de dita carga útil obtida por ditos precintos de dados codificados tendo sido divididos, e empacotar; e

    Petição 870190088096, de 06/09/2019, pág. 124/138

    8 / 9 fixar, sobre um cabeçalho de pacote dos pacotes gerados dos quais uma carga útil é um cabeçalho de um precinto de dados de imagem codificados, um indicador de cabeçalho indicando dito cabeçalho de pacote, incluído em informação de cabeçalho, e fixar, sobre um pacote final do qual uma carga útil é um fim do precinto de dados de imagem codificados, um indicador de fim indicando dito pacote final, incluído em informação de cabeçalho, em que o indicador de cabeçalho tem somente um de dois valores fixados, e o indicador de fim tem somente um de dois valores fixados.
19. 19. Mídia de armazenamento legível por computador, caracterizada pelo fato de compreender instruções legíveis por computador, que quando executadas por um computador fazem executar processamento de desempacotamento no qual dados de carga útil são extraídos de pacotes, compreendendo as etapas de:

    adquirir ditos pacotes providos externamente, em que dado de carga útil nos pacotes é dado de imagem codificado em incrementos de precintos que são grupos de linhas incluindo sub-bandas, que geram um valor de linha de componentes de banda mais baixa de dados de imagem;

    determinar se um pacote adquirido por dito meio de aquisição é um cabeçalho de pacote de um precinto de dados de imagem codificados, dito cabeçalho de pacote incluindo uma carga útil que é uma porção de cabeçalho do precinto de dados de imagem codificados pela determinação se a informação de cabeçalho de dito pacote inclui um indicador de cabeçalho indicando dito cabeçalho de pacote, em que o indicador de cabeçalho tem somente um de dois valores fixados;

    determinar se perda de um pacote ocorreu, baseado em informação de cabeçalho de ditos pacotes adquiridos; e extrair os dados de carga útil de ditos pacotes adquiridos e prover para uma unidade de processamento a jusante em um evento que determinação foi feita que perda de ditos pacotes for ausente de ocorrência, e

    Petição 870190088096, de 06/09/2019, pág. 125/138

    9 / 9 descartar ditos pacotes adquiridos em um evento que determinação foi feita que perda de ditos pacotes ocorreu;

    em que, no evento que a etapa de determinação, determinou que perda de pacotes ocorreu, descartar os ditos pacotes até determinação ser feita de que um cabeçalho de pacote de um novo precinto foi adquirido.