BR112016008992B1

BR112016008992B1 - Dispositivos e métodos de transmissão e de recepção

Info

Publication number: BR112016008992B1
Application number: BR112016008992-8A
Authority: BR
Inventors: Ikuo Tsukagoshi
Original assignee: Sony Corporation
Priority date: 2013-11-01
Filing date: 2014-10-01
Publication date: 2023-04-18
Also published as: RU2016115957A; JP2021036709A; BR112016008992A2; US20160212435A1; EP3065410A1; JP2020014260A; EP3065410A4; JP6795076B2; JP6493214B2; JP7070639B2; US10225566B2; JP6617845B2; JPWO2015064287A1; RU2662222C2; WO2015064287A1; EP3065410B1; JP2019080362A

Abstract

DISPOSITIVOS E MÉTODOS DE TRANSMISSÃO E DE RECEPÇÃO. O objetivo da invenção é habilitar que reproduções sejam bem realizadas independente se altas taxas de quadro são suportadas em um lado da recepção. Os dados de imagem das figuras que constituem dados de imagem em movimento são classificados em uma pluralidade de camadas, e os dados de imagem das figuras das camadas classificados são, então, codificados, desse modo, gerando um fluxo contínuo de vídeo que tem os dados de imagem codificados das figuras das camadas. Um contêiner, que inclui o fluxo contínuo de vídeo gerado da forma supradescrita e tem um formato predeterminado é, então, transmitido. Estas peças de informação de correção de tempo para corrigir tempos de decodificação, que correspondem às respectivas peças de dados de imagem codificados das figuras de uma camada predeterminada e das camadas inferiores à camada predeterminada, são inseridas nestas respectivas peças de dados de imagem codificados e/ou nos pacotes que contêm estas respectivas peças de dados de imagem codificados.

Description

CAMPO

[001] A presente tecnologia refere-se a um dispositivo de transmissão, a um método de transmissão, a um dispositivo de recepção e a um método de recepção. Mais particularmente, a presente tecnologia refere-se a um dispositivo de transmissão que realiza codificação escalonável nos dados de imagem das figuras que configuram dados de imagem em movimento e transmite dados de imagem codificados.

FUNDAMENTOS DA TÉCNICA

[002] Quando serviços de imagem em movimento comprimida forem providos através de difusão ou em uma rede, um limite superior de uma frequência de quadro reprodutível é restrito de acordo com capacidades de decodificação de receptores. Assim, em um lado de provisão de serviço, é necessário restringir seu serviço a serviços de uma baixa frequência de quadro ou prover serviços de uma pluralidade de alta e baixa frequências de quadro ao mesmo tempo em vista das capacidades de reprodução de receptores que estão em uso difundido.

[003] A fim de suportar os serviços da alta frequência de quadro, o custo dos receptores aumenta, e este é um fator obstrutivo em um desenvolvimento inicial. Nos estágios iniciais, receptores econômicos dedicados para os serviços da baixa frequência de quadro foram difundidos e, se o lado de provisão de serviço iniciar serviços da alta frequência de quadro no futuro, é difícil visualizar os mesmos sem um receptor inédito, e isto é um fator obstrutivo na distribuição de serviços inéditos.

[004] Por exemplo, escalonabilidade temporal realizada pela realização de codificação escalonável nos dados de imagem das figuras que configuram dados de imagem em movimento em H.265 / Codificação de Vídeo de Alta Eficiência (HEVC) foi proposta (veja Documento Não Patente 1). Um lado da recepção pode identificar uma camada de cada figura com base em um ID temporal (temporal_id) inserido em um cabeçalho de uma unidade de Camada de Abstração em Rede (NAL) e realiza decodificação seletiva de até uma camada correspondente a uma capacidade de decodificação.

LISTA DE CITAÇÃO DOCUMENTO DE PATENTE

[005] Não Patente Documento 1: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

SUMÁRIO DA INVENÇÃO PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

[006] É um objetivo da presente tecnologia habilitar o lado da recepção a realizar excelente reprodução se o lado da recepção suportar ou não uma alta taxa de quadro (HFR).

SOLUÇÕES PARA OS PROBLEMAS

[007] Um conceito da presente tecnologia reside em um dispositivo de transmissão, que inclui: uma unidade de codificação de imagem que classifica dados de imagem das figuras que configuram dados de imagem em movimento em uma pluralidade de camadas, codifica os dados de imagem classificados das figuras de cada uma das camadas e gera um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de cada uma das camadas; uma unidade de transmissão que transmite um contêiner de um formato predeterminado que inclui o fluxo contínuo de vídeo; e uma unidade de inserção da informação de correção que insere informação de correção de tempo para corrigir uma sincronização de decodificação nos dados de imagem codificados e/ou um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada.

[008] Na presente tecnologia, a unidade de codificação de imagem codifica dados de imagem das figuras que configuram dados de imagem em movimento e gera um fluxo contínuo de vídeo. Neste caso, os dados de imagem das figuras que configuram os dados de imagem em movimento são classificados em uma pluralidade de camadas e codificados. A unidade de transmissão transmite um contêiner de um formato predeterminado que inclui um fluxo contínuo de vídeo gerado como exposto. Por exemplo, o contêiner pode ser um fluxo contínuo de transporte (MPEG-2 TS) empregado em um padrão de difusão digital. Adicionalmente, por exemplo, o contêiner pode ser um contêiner que tem MP4 usado na distribuição pela Internet ou qualquer outro formato.

[009] A unidade de inserção da informação de correção insere a informação de correção de tempo para corrigir a sincronização de decodificação nos dados de imagem codificados e/ou no pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada. Por exemplo, o contêiner pode ser o fluxo contínuo de transporte, e a unidade de inserção da informação de correção pode inserir a informação de correção de tempo no campo de extensão do pacote PES.

[0010] Por exemplo, a unidade de codificação de imagem pode realizar a codificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo pode ser informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais.

[0011] Adicionalmente, por exemplo, a unidade de codificação de imagem pode realizar a codificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo pode ser informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais.

[0012] Da forma supradescrita, na presente tecnologia, a informação de correção de tempo para corrigir a sincronização de decodificação pode ser inserida nos dados de imagem codificados e/ou no pacote que contém os dados de imagem codificados e transmitida. Assim, no lado da recepção, é possível corrigir a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados. Assim, é possível realizar excelente reprodução independente se o lado da recepção suportar ou não a alta taxa de quadro.

[0013] Adicionalmente, na presente tecnologia, por exemplo, quando uma taxa de quadro pelas figuras que configuram os dados de imagem em movimento for uma primeira taxa de quadro, e uma taxa de quadro pelas figuras da camada predeterminada ou da camada inferior à camada predeterminada for uma segunda taxa de quadro, a segunda taxa de quadro pode ser 1/2 vez a primeira taxa de quadro. Neste caso, por exemplo, quando a primeira taxa de quadro for 120 Hz, a segunda taxa de quadro é 60 Hz.

[0014] Adicionalmente, na presente tecnologia, por exemplo, a unidade de codificação de imagem pode dividir a pluralidade de camadas em um número predeterminado (2 ou mais) de conjuntos de camada e gerar o número predeterminado de fluxos contínuos de vídeo que incluem os dados de imagem codificados divididos das figuras de cada um dos conjuntos de camada, e a camada predeterminada ou a camada inferior à camada predeterminada e a camada superior à camada predeterminada podem pertencer a diferentes conjuntos de camada. Neste caso, no lado da recepção, é possível extrair os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada através da filtragem do fluxo contínuo de vídeo.

[0015] Adicionalmente, a presente tecnologia pode ser configurada em que, por exemplo, informação de tipo que identifica se a informação de correção de tempo é um primeiro tipo ou um segundo tipo é adicionada na informação de correção de tempo, o primeiro tipo indica que o fluxo contínuo de vídeo é codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais, e o segundo tipo indica que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais.

[0016] Da forma supradescrita, já que a informação de tipo é adicionada na informação de correção de tempo, o lado da recepção pode detectar precisamente se o tipo da informação de correção de tempo é o primeiro tipo ou o segundo tipo e pode corrigir apropriadamente a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada.

[0017] Por exemplo, no caso do primeiro tipo, no lado da recepção, quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados, a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada é corrigida usando a informação de correção de tempo. Desta maneira, os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada se tornam intervalos iguais.

[0018] Adicionalmente, no caso do segundo tipo, no lado da recepção, quando os dados de imagem codificados das figuras de todas as camadas forem decodificados, a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada é corrigida usando a informação de correção de tempo. Desta maneira, os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas se tornam intervalos iguais.

[0019] Adicionalmente, na presente tecnologia, por exemplo, uma unidade de inserção de informação de identificação que insere informação de identificação que identifica que a informação de correção de tempo é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados na camada do contêiner pode ser adicionalmente provida. Por exemplo, o contêiner pode ser o fluxo contínuo de transporte, e a unidade de inserção de informação de identificação pode inserir a informação de identificação na malha do fluxo contínuo elementar de vídeo arranjado em associação com o fluxo contínuo de vídeo sob a tabela do mapa de programa como o descritor. Neste caso, no lado da recepção, é possível identificar que a informação de correção de tempo é inserida com base na informação de identificação sem processamento dos dados de imagem codificados ou do pacote que contém os dados de imagem codificados.

[0020] Adicionalmente, um outro conceito da presente tecnologia reside em um dispositivo de recepção, que inclui: uma unidade de recepção que recebe um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e unidade de processamento que processa o fluxo contínuo de vídeo, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo.

[0021] Na presente tecnologia, a unidade de recepção recebe o fluxo contínuo de vídeo. O fluxo contínuo de vídeo inclui um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras obtidos de maneira tal que os dados de imagem das figuras que configuram os dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados. A informação de correção de tempo para corrigir a sincronização de decodificação é inserida nos dados de imagem codificados e/ou no pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo. A unidade de processamento processa o fluxo contínuo de vídeo.

[0022] Por exemplo, o fluxo contínuo de vídeo pode ser codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo pode ser informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais.

[0023] Adicionalmente, por exemplo, o fluxo contínuo de vídeo pode ser codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo pode ser informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais.

[0024] Adicionalmente, um outro conceito da presente tecnologia reside em um dispositivo de recepção, que inclui: uma unidade de recepção que recebe um contêiner de um formato predeterminado que inclui um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e uma unidade de processamento de decodificação de imagem que obtém dados de imagem pela tomada seletiva dos dados de imagem codificados das figuras da camada de acordo com uma capacidade de decodificação em um buffer a partir do fluxo contínuo de vídeo e decodificação dos dados de imagem codificados das figuras tomadas no buffer, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo, e a unidade de processamento de decodificação de imagem corrige as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados.

[0025] Na presente tecnologia, a unidade de recepção recebe um contêiner de um formato predeterminado. O contêiner inclui o fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras obtidos de maneira tal que os dados de imagem das figuras que configuram os dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados. A unidade de processamento de decodificação de imagem obtém os dados de imagem pela tomada seletiva dos dados de imagem codificados das figuras da camada de acordo com a capacidade de decodificação no buffer do fluxo contínuo de vídeo e decodificação dos dados de imagem codificados das figuras tomadas no buffer.

[0026] Por exemplo, quando os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada ou todas as camadas tomadas no buffer forem incluídos em uma pluralidade de fluxos contínuos de vídeo, a unidade de processamento de decodificação de imagem pode combinar os dados de imagem codificados das figuras em um fluxo contínuo em uma ordem de sincronização de decodificação com base na informação de sincronização de decodificação e tomar o um fluxo contínuo no buffer.

[0027] A informação de correção de tempo para corrigir a sincronização de decodificação é inserida nos dados de imagem codificados e/ou no pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo. A unidade de processamento de decodificação de imagem corrige as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados.

[0028] Por exemplo, o fluxo contínuo de vídeo pode ser codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, a informação de correção de tempo pode ser informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais, e a unidade de processamento de decodificação de imagem pode corrigir as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados.

[0029] Adicionalmente, por exemplo, o fluxo contínuo de vídeo pode ser codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, a informação de correção de tempo pode ser informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais, e a unidade de processamento de decodificação de imagem pode corrigir as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo quando os dados de imagem codificados das figuras de todas as camadas forem decodificados.

[0030] Da forma supradescrita, na presente tecnologia, as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo inserida nos dados de imagem codificados e/ou no pacote que contém os dados de imagem codificados de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados. Assim, é possível realizar excelente reprodução independente se a alta taxa de quadro é suportada ou não.

[0031] A presente tecnologia pode ser configurada em que a informação de tipo que identifica se a informação de correção de tempo é um primeiro tipo ou um segundo tipo é adicionada na informação de correção de tempo, o primeiro tipo indica que o fluxo contínuo de vídeo é codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais, o segundo tipo indica que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais, e a unidade de processamento de decodificação de imagem realiza comutação entre correção da sincronização de decodificação realizada usando a informação de correção de tempo quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados e correção da sincronização de decodificação realizada usando a informação de correção de tempo quando os dados de imagem codificados das figuras de todas as camadas forem decodificados com base na informação de tipo adicionada na informação de correção de tempo.

EFEITOS DA INVENÇÃO

[0032] De acordo com a presente tecnologia, o lado da recepção pode realizar excelente reprodução independente se o lado da recepção suportar ou não uma alta taxa de quadro. O efeito aqui descrito não é necessariamente limitado e pode incluir qualquer efeito descrito na presente descrição.

BREVE DESCRIÇÃO DOS DESENHOS

[0033] A figura 1 é um diagrama de blocos que ilustra uma configuração exemplar de um sistema de transcepção de acordo com uma modalidade.

[0034] A figura 2 é um diagrama de blocos que ilustra uma configuração exemplar de um dispositivo de transmissão.

[0035] A figura 3 é um diagrama que ilustra um exemplo de codificação escalonável realizada por um codificador.

[0036] As figuras 4(a) e 4(b) são diagramas que ilustram uma estrutura exemplar de um cabeçalho da unidade NAL e conteúdo de parâmetros principais na estrutura exemplar.

[0037] A figura 5 é um diagrama para descrever uma configuração de dados de imagem codificados de cada figura por HEVC.

[0038] A figura 6 é um diagrama que ilustra um exemplo de uma sincronização de decodificação de cada figura quando dois fluxos contínuos de vídeo, isto é, um fluxo contínuo de base (Stream_0) e um fluxo contínuo de intensificação (Stream_1), forem gerados.

[0039] A figura 7 é um diagrama que ilustra um exemplo de uma sincronização de decodificação de cada figura quando um fluxo contínuo de vídeo, isto é, um fluxo contínuo de base (Stream_0), for gerado.

[0040] A figura 8 é um diagrama que ilustra um primeiro tipo de informação de correção S (i) inserida em associação com dados de imagem codificados de cada figura de uma camada predeterminada ou uma camada (uma camada inferior) inferior à camada predeterminada quando “primeira codificação” for realizada.

[0041] A figura 9 é um diagrama que ilustra um exemplo de uma sincronização de decodificação de cada figura quando dois fluxos contínuos de vídeo, isto é, um fluxo contínuo de base (Stream_0) e um fluxo contínuo de intensificação (Stream_1), forem gerados.

[0042] A figura 10 é um diagrama que ilustra um segundo tipo de informação de correção S (i) inserida em associação com dados de imagem codificados de cada figura de uma camada predeterminada ou uma camada (uma camada inferior) inferior à camada predeterminada quando “segunda codificação” for realizada.

[0043] As figuras 11(a) e 11(b) são diagramas que ilustram uma estrutura exemplar de uma interface para inserir uma SEI de ajuste de sincronização e uma estrutura exemplar da informação de ajuste de sincronização.

[0044] A figura 12 é um diagrama que ilustra conteúdo da informação principal em uma estrutura exemplar da informação de ajuste de sincronização.

[0045] A figura 13 é um diagrama de blocos que ilustra uma configuração exemplar de um codificador.

[0046] A figura 14 é um diagrama que ilustra um exemplo de um fluxo de processo de um codificador.

[0047] A figura 15 é um diagrama que ilustra uma estrutura exemplar de dados do campo de extensão PES.

[0048] A figura 16 é um diagrama que ilustra conteúdo da informação principal em uma estrutura exemplar de dados do campo de extensão PES.

[0049] A figura 17 é um diagrama que ilustra uma estrutura exemplar de um descritor de extensão temporal.

[0050] A figura 18 é um diagrama que ilustra conteúdo da informação principal em uma estrutura exemplar de um descritor de extensão temporal.

[0051] A figura 19 é um diagrama que ilustra uma estrutura exemplar de um descritor de HEVC.

[0052] A figura 20 é um diagrama de blocos que ilustra uma configuração exemplar de um multiplexador.

[0053] A figura 21 é um diagrama que ilustra um exemplo de um fluxo de processo de um multiplexador.

[0054] A figura 22 é um diagrama que ilustra uma configuração exemplar de um fluxo contínuo de transporte TS na distribuição de dois fluxos contínuos.

[0055] A figura 23 é um diagrama que ilustra uma configuração exemplar de um fluxo contínuo de transporte TS na distribuição de um fluxo contínuo.

[0056] A figura 24 é um diagrama de blocos que ilustra uma configuração exemplar de um dispositivo de recepção.

[0057] A figura 25 é um diagrama que ilustra um exemplo de uma configuração funcional de um demultiplexador (uma unidade de análise de sistema) quando “primeira codificação” for realizada em um fluxo contínuo de vídeo.

[0058] A figura 26 é um diagrama que ilustra um exemplo de uma configuração funcional de um demultiplexador (uma unidade de análise de sistema) quando “segunda codificação” for realizada em um fluxo contínuo de vídeo.

[0059] A figura 27 é um diagrama que ilustra um exemplo de um fluxo de processo de um demultiplexador.

[0060] A figura 28 é um diagrama de blocos que ilustra uma configuração exemplar de um decodificador.

[0061] A figura 29 é um diagrama que ilustra uma configuração exemplar de uma unidade de pós-processamento.

[0062] A figura 30 é um diagrama que ilustra um exemplo de um fluxo de processo de um decodificador e uma unidade de pós-processamento.

[0063] A figura 31 é um diagrama que ilustra um outro exemplo de codificação escalonável realizada por um codificador.

[0064] A figura 32 é um diagrama que ilustra um primeiro tipo de informação de correção S (i) inserida em associação com dados de imagem codificados de cada figura de uma camada predeterminada ou uma camada (uma camada inferior) inferior à camada predeterminada quando “primeira codificação” for realizada.

[0065] A figura 33 é um diagrama que ilustra um segundo tipo de informação de correção S (i) inserida em associação com dados de imagem codificados de cada figura de uma camada (uma camada inferior) abaixo de uma camada predeterminada quando “segunda codificação” for realizada.

MODO PARA REALIZAR A INVENÇÃO

[0066] A seguir, modos (a seguir, referidos como “modalidades”) para realizar a invenção serão descritos. A descrição irá prosseguir na seguinte ordem. 1. Modalidades 2. Exemplos modificados

<1. Modalidades> [Sistema de transcepção]

[0067] A figura 1 ilustra uma configuração exemplar de um sistema de transcepção 10 de acordo com uma modalidade. O sistema de transcepção 10 inclui um dispositivo de transmissão 100 e um dispositivo de recepção 200.

[0068] O dispositivo de transmissão 100 transmite um fluxo contínuo de transporte TS que serve como um contêiner através de uma onda de difusão. O fluxo contínuo de transporte TS inclui um fluxo contínuo de vídeo que inclui dados de imagem codificados de cada figura obtida de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados. Neste caso, por exemplo, codificação é realizada de acordo com H.264 / AVC, H.265 / HEVC ou congêneres, de forma que uma figura referenciada pertença a sua própria camada e/ou uma camada inferior à sua própria camada.

[0069] Aqui, o fluxo contínuo de transporte TS inclui um ou mais fluxos contínuos de vídeo. Quando uma pluralidade de fluxos contínuos de vídeo for incluída, uma pluralidade de camadas é dividida em um número predeterminado (dois ou mais) de conjuntos de camada, e um número predeterminado de fluxos contínuos de vídeo que incluem dados de imagem codificados das figuras de cada conjunto de camada dividido são gerados. Neste caso, por exemplo, quando uma pluralidade de camadas for dividida em um número predeterminado de conjuntos de camada, uma pluralidade de camadas é incluída no conjunto de camada mais baixo, e uma camada é incluída em um conjunto de camada posicionado para ser mais alto que o conjunto de camada mais baixo. Através desta divisão, por exemplo, quando o lado da recepção tiver uma capacidade de decodificação capaz de processamento de dados de imagem codificados das figuras de uma pluralidade de camadas incluídos no conjunto de camada mais baixo, o lado da recepção pode selecionar apenas o fluxo contínuo de vídeo que tem os dados de imagem codificados das figuras do conjunto de camada mais baixo, tomar o fluxo contínuo de vídeo selecionado em um buffer e realizar um processo de decodificação.

[0070] Informação de identificação de camada que identifica uma camada associada é adicionada nos dados de imagem codificados das figuras de cada camada para cada figura. Nesta modalidade, a informação de identificação de camada (“nuh_temporal_id_plus1” que indica temporal_id) é arranjada em uma porção do cabeçalho de uma unidade NAL (nal_unit) de cada figura. Já que a informação de identificação de camada é adicionada, como exposto, o lado da recepção pode identificar uma camada de cada figura na camada da unidade NAL e pode extrair seletivamente dados de imagem codificados de uma camada predeterminada ou uma camada inferior à camada predeterminada e realizar o processo de decodificação.

[0071] Nesta modalidade, a informação de correção de tempo para corrigir a sincronização de decodificação é inserida nos dados de imagem codificados e no pacote PES que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada. Com base na informação de correção de tempo, o lado da recepção pode corrigir a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada e pode realizar excelente reprodução independente se o lado da recepção suportar ou não a alta taxa de quadro. A informação de correção de tempo é considerada inserida apenas nos dados de imagem codificados ou no pacote PES.

[0072] Como a informação de correção de tempo, há um primeiro tipo e um segundo tipo. O primeiro tipo da informação de correção de tempo é aplicado quando codificação for realizada, de forma que intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais. Neste caso, os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada e os dados de imagem codificados das figuras da camada superior à camada predeterminada podem ser incluídos em diferentes fluxos contínuos de vídeo ou podem ser incluídos no mesmo fluxo contínuo de vídeo. Em outras palavras, neste caso, não apenas uma configuração de uma pluralidade de fluxos contínuos de vídeo, mas, também, uma configuração de um único fluxo contínuo de vídeo é possível. O primeiro tipo da informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais.

[0073] O segundo tipo da informação de correção de tempo é aplicado quando codificação for realizada de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação de quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais. Neste caso, é necessário incluir os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada e os dados de imagem codificados das figuras da camada superior à camada predeterminada em diferentes fluxos contínuos de vídeo. Em outras palavras, neste caso, apenas uma configuração de uma pluralidade de fluxos contínuos de vídeo é possível. O primeiro tipo da informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais.

[0074] Nesta modalidade, informação de identificação de tipo que identifica se a informação de correção de tempo é o primeiro tipo ou o segundo tipo é adicionada na informação de correção de tempo. Com base na informação de identificação, o lado da recepção pode detectar precisamente se o tipo da informação de correção de tempo é o primeiro tipo ou o segundo tipo e pode corrigir apropriadamente a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada. A informação de identificação de tipo não precisa ser necessariamente adicionada quando o tipo da informação de correção de tempo for dado por qualquer outro meio.

[0075] Adicionalmente, nesta modalidade, informação de identificação que identifica se a informação de correção de tempo é inserida ou não nos dados de imagem codificados ou no pacote PES é inserida na camada do fluxo contínuo de transporte TS. Esta informação de configuração é inserida em malhas do fluxo contínuo elementar de vídeo arranjados em associação com um fluxo contínuo de vídeo sob uma tabela do mapa de programa como um descritor, por exemplo. Com base nesta informação de identificação, o lado da recepção pode identificar facilmente se a informação de correção de tempo é adicionada ou não nos dados de imagem codificados ou no pacote PES sem realizar o processo de decodificação nos dados de imagem codificados.

[0076] O dispositivo de recepção 200 recebe o fluxo contínuo de transporte TS transmitido a partir do dispositivo de transmissão 100 através da onda de difusão. O dispositivo de recepção 200 decodifica seletivamente dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada selecionados de acordo com uma capacidade de decodificação dos fluxos contínuos de vídeo incluídos no fluxo contínuo de transporte TS, e toma dados de imagem de cada figura obtidos pela decodificação em um buffer (um buffer de dados não comprimidos). Então, o dispositivo de recepção 200 lê os dados de imagem de cada figura a partir do buffer, transmite os dados de imagem lidos e realiza reprodução da imagem.

[0077] Da forma supradescrita, a informação de correção de tempo para corrigir a sincronização de decodificação é inserida nos dados de imagem codificados e no pacote PES que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada. Com base na informação de correção de tempo, a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada é corrigida usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados. Assim, é possível realizar excelente reprodução independente se o lado da recepção suportar ou não a alta taxa de quadro.

[0078] Da forma supradescrita, a informação de tipo é adicionada na informação de correção de tempo. Assim, é precisamente detectado se o tipo da informação de correção de tempo é o primeiro tipo ou o segundo tipo, e a sincronização de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada é apropriadamente corrigida. Em outras palavras, quando o tipo da informação de correção de tempo for o primeiro tipo, e apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados, as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada se tornam intervalos iguais. Adicionalmente, por exemplo, quando o tipo da informação de correção de tempo for o segundo tipo, e os dados de imagem codificados das figuras de todas as camadas forem decodificados, as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo, e os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas se tornam intervalos iguais.

[Configuração do dispositivo de transmissão]

[0079] A figura 2 ilustra uma configuração exemplar do dispositivo de transmissão 100. O dispositivo de transmissão 100 inclui uma Unidade de Processamento Central (CPU) 101, um codificador 102, um buffer de dados comprimidos (um buffer de figura codificada (cpb)) 103, um multiplexador 104 e uma unidade de transmissão 105. A CPU 101 é uma unidade de controle e controla uma operação de cada unidade do dispositivo de transmissão 100.

[0080] O codificador 102 recebe dados de imagem em movimento não comprimidos e realiza codificação escalonável. O codificador 102 classifica dados de imagem das figuras que configuram os dados de imagem em movimento em uma pluralidade de camadas. Então, o codificador 102 codifica os dados de imagem classificados das figuras de cada camada, e gera um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de cada camada. O codificador 102 realiza, por exemplo, a codificação de acordo com H.264 / AVC, H.265 / HEVC ou congêneres. Neste momento, o codificador 102 realiza a codificação de forma que uma figura (uma figura referenciada) a ser referida pertença à sua própria camada e/ou uma camada inferior à sua própria camada.

[0081] A figura 3 ilustra um exemplo de codificação escalonável realizada pelo codificador 102. Neste exemplo, dados de imagem são classificados em quatro camadas 0 a 3, e dados de imagem das figuras de cada camada são codificados. Um eixo geométrico vertical indica uma camada. 0 a 3 são definidos como temporal_id (a informação de identificação de camada) arranjado na porção do cabeçalho da unidade NAL (nal_unit) que configura os dados de imagem codificados das figuras das camadas 0 a 3. Neste particular, um eixo geométrico horizontal indica uma ordem de exibição (uma ordem de composição da figura (POC)), e o lado esquerdo é “antes” em termos de uma sincronização de exibição, e o lado direito é “depois” em termos de uma sincronização de exibição.

[0082] A figura 4(a) ilustra uma estrutura exemplar (sintaxe) do cabeçalho da unidade NAL e a figura 4(b) ilustra conteúdo (semântica) de um parâmetro principal na estrutura exemplar. Um campo de 1 bit de “Forbidden_zero_bit” é obrigatoriamente 0. Um campo de 6 bits de “Nal_unit_type” indica um tipo da unidade NAL. Um campo de 6 bits de “Nuh_layer_id” é considerado como 0 nesta descrição. Um campo de 3 bits de “Nuh_temporal_id_plus1” indica temporal_id e tem um valor (1 a 7) obtido pela adição de 1.

[0083] Novamente em relação à figura 3, cada um dos quadros retangulares indica uma figura, um número indica uma ordem de uma figura codificada, isto é, uma ordem de codificação (uma ordem de decodificação no lado da recepção). No exemplo da figura 3, um subgrupo de figuras é configurado com 8 figuras “2” a “9”, e “2” é uma primeira figura do subgrupo de figuras. “1” é uma figura de um subgrupo prévio de figuras. Um grupo de figuras (GOP) é configurado com diversos subgrupos de figuras.

[0084] Da forma ilustrada na figura 5, dados de imagem codificados da primeira figura do GOP são configurados com unidades NAL de AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI e EOS. Por outro lado, uma figura diferente da primeira figura do GOP é configurada com unidades NAL de AUD, PPS, PSEI, SLICE, SSEI e EOS. O VPS pode ser transmitido uma vez por sequência (GOP) juntamente com o SPS, e o PPS pode ser transmitido para cada figura.

[0085] Novamente em relação à figura 3, setas cheias indicam uma relação de referência das figuras na codificação. Por exemplo, a figura “2” é uma figura P e codificada em relação à figura “1”. Adicionalmente, a figura “3” é uma figura B e codificada em relação às figuras “1” e “2”. Similarmente, as outras figuras são codificadas em relação a uma figura que é próxima na ordem de exibição. Uma figura da camada mais alta não é referida por outras figuras.

[0086] O codificador 102 gera um ou mais fluxos contínuos de vídeo. Quando um único fluxo contínuo de vídeo for gerado, o codificador 102 inclui dados de imagem codificados das figuras de todas as camadas no único fluxo contínuo de vídeo. Por outro lado, quando uma pluralidade de fluxos contínuos de vídeo for gerada, o codificador 102 divide uma pluralidade de camadas em um número predeterminado (2 ou mais) de conjuntos de camada, e gera um número predeterminado de fluxos contínuos de vídeo, cada um dos quais tendo dados de imagem codificados das figuras de cada conjunto de camada.

[0087] Por exemplo, no exemplo da codificação escalonável da figura 3, o codificador 102 divide uma pluralidade de camadas em dois conjuntos de camada de maneira tal que as camadas 0 a 2 pertençam ao conjunto de camada mais baixo e a camada 3 pertença ao conjunto de camada posicionado para ser mais alto que o conjunto de camada mais baixo delimitado por uma linha rompida. Neste caso, o codificador 102 gera dois fluxos contínuos de vídeo (fluxo contínuo codificado), cada um dos quais incluindo os dados de imagem codificados das figuras de cada conjunto de camada. Por exemplo, no exemplo da codificação escalonável da figura 3, a taxa de quadro pelas figuras de todas as camadas, isto é, as camadas 0 a 3, é 120 Hz, e a taxa de quadro pelas figuras das camadas 0 a 2 é 60 Hz.

[0088] Neste caso, o fluxo contínuo de vídeo que tem os dados de imagem codificados das figuras do conjunto de camada mais baixo é um fluxo contínuo de base, e um tipo de fluxo contínuo do mesmo é “0x24”. O fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras do conjunto de camada posicionado para ser mais alto que o conjunto de camada mais baixo é um fluxo contínuo de intensificação, e um tipo de fluxo contínuo do mesmo é “0x25”, que é inovadoramente definido.

[0089] Adicionalmente, quando houver uma pluralidade de fluxos contínuos de intensificação, o tipo de fluxo contínuo também é considerado como inovadoramente definido, de forma que cada um dos fluxos contínuos de intensificação seja identificável, em vez de definir os tipos de fluxo contínuo de todos os fluxos contínuos de intensificação em “0x25”. Por exemplo, quando houver dois fluxos contínuos de intensificação, o tipo de fluxo contínuo de um primeiro fluxo contínuo de intensificação é definido em “0x25”, e o tipo de fluxo contínuo de um segundo fluxo contínuo de intensificação é definido em “0x26”.

[0090] O tipo de fluxo contínuo configura informação de identificação que identifica se cada um de um número predeterminado de fluxos contínuos de vídeo é o fluxo contínuo de base ou o fluxo contínuo de intensificação. O tipo de fluxo contínuo é inserido na camada do fluxo contínuo de transporte TS. Em outras palavras, o tipo de fluxo contínuo é inserido na malha do fluxo contínuo elementar de vídeo (malha ES de Vídeo) arranjado em associação com cada um de um número predeterminado de fluxos contínuos de vídeo sob uma tabela do mapa de programa (PMT).

[0091] O codificador 102 realiza “primeira codificação” ou “segunda codificação” em relação à sincronização de decodificação dos dados de imagem codificados de cada figura. Cada codificação será descrita a seguir.

[Primeira codificação]

[0092] Na “primeira codificação”, o codificador 102 realiza codificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais. Então, neste caso, o codificador 102 insere a informação de correção de tempo para corrigir a sincronização de decodificação em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR.

[0093] A informação de correção de tempo é o primeiro tipo da informação de correção de tempo para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada se tornam intervalos iguais. A “primeira codificação” é aplicável não apenas quando o codificador 102 gerar um único fluxo contínuo de vídeo, mas, também, quando o codificador 102 gerar uma pluralidade de fluxos contínuos de vídeo.

[0094] A figura 6 ilustra um exemplo de uma sincronização de decodificação de cada figura quando os dois fluxos contínuos de vídeo, isto é, o fluxo contínuo de base (Stream_0) e o fluxo contínuo de intensificação (Stream_1), forem gerados no exemplo da codificação escalonável da figura 3. Aqui, o fluxo contínuo de base (Stream_0) inclui os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada, isto é, as camadas 0 a 2 aqui expostas. O fluxo contínuo de intensificação (Stream_1) inclui os dados de imagem codificados das figuras da camada superior à camada predeterminada, isto é, a camada 3 aqui exposta.

[0095] Neste caso, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas sejam intervalos iguais, da forma ilustrada na figura 6. Adicionalmente, informação de correção de tempo S (i) para corrigir a sincronização de decodificação é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0). Aqui, “i” indica um valor de correção da sincronização de decodificação de uma unidade de 1/120 segundo. A informação de correção de tempo S (i) é inserida, por exemplo, em uma SEI de ajuste de sincronização (Timing_adjustment SEI) que é inovadoramente definida.

[0096] Neste caso, no lado da recepção, por exemplo, quando uma exibição for realizada por um decodificador 60P que não suporta HFR (incluindo o caso de um modo 60P em um decodificador 120P que suporta HFR), os dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0) são seletivamente tomados no buffer, e decodificação é sequencialmente realizada em intervalos de decodificação (veja unidades de acesso (AUs) de um quadro em linha rompida) corrigidos para serem intervalos iguais (1/60 segundo) com base na informação de correção de tempo S (i).

[0097] Neste caso, no lado da recepção, por exemplo, quando a exibição for realizada pelo decodificador 120P que suporta HFR, as figuras das camadas 0 a 2 incluídas no fluxo contínuo de base (Stream_0) e as figuras da camada 3 incluídas no fluxo contínuo de intensificação (Stream_1) são combinadas em um fluxo contínuo na ordem de decodificação, tomadas no buffer e sequencialmente decodificadas nos intervalos de decodificação de intervalos iguais (1/120 segundo).

[0098] A figura 7 ilustra um exemplo de uma sincronização de decodificação de cada figura quando um fluxo contínuo de vídeo do fluxo contínuo de base (Stream_0) for gerado no exemplo da codificação escalonável da figura 3. Aqui, o fluxo contínuo de base (Stream_0) inclui os dados de imagem codificados das figuras de todas as camadas, isto é, as camadas 0 a 3 aqui expostas.

[0099] Neste caso, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas sejam intervalos iguais, da forma ilustrada na figura 7. Similarmente ao exemplo da figura 6, a informação de correção de tempo S (i) para corrigir a sincronização de decodificação é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0).

[00100] Neste caso, no lado da recepção, por exemplo, quando a exibição for realizada pelo decodificador 60P que não suporta HFR (incluindo o caso do modo 60P no decodificador 120P que suporta HFR), os dados de imagem codificados das figuras das camadas 0 a 2 dentre as camadas 0 a 3 incluídas no fluxo contínuo de base (Stream_0) são seletivamente tomados no buffer, e sequencialmente decodificados nos intervalos de decodificação (veja as unidades de acesso (AUs) de um quadro em linha rompida) corrigidos para serem intervalos iguais (1/60 segundo) com base na informação de correção de tempo S (i).

[00101] Neste caso, no lado da recepção, por exemplo, quando a exibição for realizada pelo decodificador 120P que suporta HFR, as figuras das camadas 0 a 3 incluídas no fluxo contínuo de base (Stream_0) são tomadas no buffer e sequencialmente decodificadas nos intervalos de decodificação de intervalos iguais (1/120 segundo).

[00102] A figura 8 ilustra a informação de correção S (i) inserida em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada quando a “primeira codificação” for realizada no exemplo da codificação escalonável da figura 3.

[00103] A informação de correção de tempo S (i) é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 2 que servem como uma porção de 1/2 resolução de tempo para decodificação 60p dentre as camadas 0 a 3 de uma resolução de tempo integral. Neste caso, um valor de correção i para uma unidade de acesso (figura) de “2” é definido em “0”, o valor de correção i para uma unidade de acesso (figura) de “3” é definido em “1”, o valor de correção i para uma unidade de acesso (figura) de “4” é definido em “2” e o valor de correção i para uma unidade de acesso (figura) de “7” é definido em “1”. Em cada um dos subsequentes subgrupos de figuras (GOP), o mesmo é repetido.

[00104] No lado da recepção, quando a exibição for realizada pelo decodificador 60p, os dados de imagem codificados das figuras das camadas 0 a 2 que servem como a porção de 1/2 resolução de tempo são tomados no buffer e decodificados. Neste momento, da forma indicada pelas unidades de acesso (AUs) do quadro em linha rompida, as sincronizações de decodificação dos dados de imagem codificados das figuras são corrigidas para serem intervalos iguais (1/60 segundo) com base na informação de correção de tempo S (i). Adicionalmente, no lado da recepção, quando a exibição for realizada pelo decodificador 120p, os dados de imagem codificados das figuras de 0 a 3 da resolução de tempo integral são tomados no buffer e decodificados em intervalos iguais (1/120 segundo) de acordo com as sincronizações de decodificação originais.

[Segunda codificação]

[00105] Na “segunda codificação”, o codificador 102 realiza codificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR sejam intervalos iguais. Na “segunda codificação”, o codificador 102 realiza codificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada superior à camada predeterminada sejam as mesmas sincronizações de quando codificação for realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais.

[00106] Adicionalmente, neste caso, similarmente à “primeira codificação”, o codificador 102 insere a informação de correção de tempo para corrigir a sincronização de decodificação em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR. A informação de correção de tempo é o segundo tipo da informação de correção de tempo para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, forem intervalos iguais. A “segunda codificação” é aplicável quando o codificador 102 gerar uma pluralidade de fluxos contínuos de vídeo.

[00107] A figura 9 ilustra um exemplo de uma sincronização de decodificação de cada figura quando os dois fluxos contínuos de vídeo, isto é, o fluxo contínuo de base (Stream_0) e o fluxo contínuo de intensificação (Stream_1), forem gerados no exemplo da codificação escalonável da figura 3. Aqui, o fluxo contínuo de base (Stream_0) inclui os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada, isto é, as camadas 0 a 2 aqui expostas. O fluxo contínuo de intensificação (Stream_1) inclui os dados de imagem codificados das figuras da camada superior à camada predeterminada, isto é, a camada 3 aqui exposta.

[00108] Neste caso, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0) sejam intervalos iguais, da forma ilustrada na figura 9. Por outro lado, a sincronização de decodificação dos dados de imagem codificados de cada figura da camada 3 incluídos no fluxo contínuo de intensificação (Stream_1) é codificada de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais.

[00109] A informação de correção de tempo S (i) para corrigir a sincronização de decodificação é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0). Aqui, “i” indica o valor de correção (o número de quadros corrigidos) da sincronização de decodificação da unidade de 1/120 segundo. A informação de correção de tempo S (i) é inserida, por exemplo, na SEI de ajuste de sincronização (Timing_adjustment SEI) que é inovadoramente definida.

[00110] Neste caso, no lado da recepção, por exemplo, quando a exibição for realizada pelo decodificador 60P que não suporta HFR (incluindo o caso do modo 60P no decodificador 120P que suporta HFR), os dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0) são seletivamente tomados no buffer e sequencialmente decodificados nos intervalos de decodificação dos intervalos iguais (1/60 segundo).

[00111] Neste caso, no lado da recepção, por exemplo, quando a exibição for realizada pelo decodificador 120P que suporta HFR, os dados de imagem codificados das figuras da camada 3 incluídos no fluxo contínuo de intensificação (Stream_1) e os dados de imagem codificados das figuras das camadas 0 a 2 incluídos no fluxo contínuo de base (Stream_0) (veja as unidades de acesso (AUs) do quadro em linha rompida) corrigidos para serem as mesmas sincronizações de quando codificação for realizada de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas sejam intervalos iguais com base na informação de correção de tempo S (i) são combinados em um fluxo contínuo na ordem de decodificação, tomados no buffer e sequencialmente decodificados nos intervalos de decodificação dos intervalos iguais (1/120 segundo).

[00112] A figura 10 ilustra a informação de correção S (i) inserida em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada quando a “segunda codificação” for realizada no exemplo da codificação escalonável da figura 3.

[00113] A informação de correção de tempo S (i) é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 2 que servem como a porção de 1/2 resolução de tempo dentre as camadas 0 a 3 da resolução de tempo. Neste caso, o valor de correção i para uma unidade de acesso (figura) de “2” é definido em “0”, o valor de correção i para uma unidade de acesso (figura) de “3” é definido em “-1”, o valor de correção i para uma unidade de acesso (figura) de “4” é definido em “-2” e o valor de correção i para uma unidade de acesso (figura) de “7” é definido em “-1”. Em cada um dos subsequentes subgrupos de figuras (GOP), o mesmo é repetido.

[00114] No lado da recepção, quando a exibição for realizada pelo decodificador 60p, os dados de imagem codificados das figuras das camadas 0 a 2 que servem como a porção de 1/2 resolução de tempo são tomados no buffer e decodificados em intervalos iguais (1/60 segundo) de acordo com as sincronizações de decodificação originais. No lado da recepção, quando a exibição for realizada pelo decodificador 120p, os dados de imagem codificados das figuras de 0 a 3 da resolução de tempo integral são tomados no buffer e decodificados. Neste momento, da forma indicada pelas unidades de acesso (AUs) do quadro em linha rompida, as sincronizações de decodificação dos dados de imagem codificados das figuras das camadas 0 a 2 são corrigidas para serem as mesmas sincronizações de quando codificação for realizada, de forma que os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas sejam intervalos iguais (1/120 segundo).

[00115] O codificador 102 insere a SEI de ajuste de sincronização (Timing_adjustment SEI) que inclui a informação de correção de tempo que é inovadoramente definida da forma supradescrita como uma das SEIs de prefixo (Prefix_SEI).

[00116] A figura 11(a) ilustra uma estrutura exemplar (sintaxe) de uma interface (I/F) para inserir a SEI de ajuste de sincronização. Um campo de “uuid_iso_iec_11578” tem um valor UUID descrito em “ISO/IEC 11578:1996 Annex A”. “Timing_adjustment information ()” é inserido em um campo de “user_data_payload_byte”.

[00117] A figura 11(b) ilustra uma estrutura exemplar (sintaxe) de “Timing_adjustment information ()”. A figura 12 ilustra conteúdo (semântica) de informação principal na estrutura exemplar. Um ID de dados de usuário predeterminados é adicionado em um campo de 16 bits de “userdata_id”. Um campo de 8 bits de “Timing_adjustment information_length” indica um número de byte (uma contagem do elemento atual até o próximo elemento) de “Timing_adjustment information”.

[00118] Um campo de 2 bits de “adjustment_type” indica o tipo da informação de correção de tempo, assim, um tipo de correção da sincronização de decodificação. “01” indica o primeiro tipo. Neste caso, por exemplo, ele indica que codificação é realizada em unidades de 120p, e correção no lado da recepção é correção nos intervalos de tempo da baixa taxa 60p a partir da alta taxa 120p. “10” indica o segundo tipo. Neste caso, por exemplo, ele indica que codificação é realizada em unidades de 60p, e correção no lado da recepção é correção nos intervalos de tempo da alta taxa 120p a partir da baixa taxa 60p.

[00119] Um campo de 24 bits de “au_cpb_removal_delay_offset” indica a informação de correção de tempo. A informação de correção de tempo indica um valor de diferença (precisão de 90 KHz) com “cpb_removal_delay” de uma unidade de acesso (AU) alvo. Uma base de relógio que indica um período de tempo de exibição de uma correspondente fatia ou figura é indicada por num_units_in_tick, por exemplo, um intervalo de quadro é entendido como 120 Hz com base em um valor de escalonamento da informação de tempo indicada por “time_scale”, e o número de quadros corrigidos (com um código) do tempo de decodificação nesta unidade é expressado por precisão de 90 KHz.

[00120] A figura 13 ilustra uma configuração exemplar do codificador 102. O codificador 102 inclui uma unidade de geração do ID temporal 121, uma unidade de controle do atraso de buffer 122, uma unidade de definição do decodificador de referência hipotético (HRD) 123, uma unidade de codificação do conjunto de parâmetro / SEI 124, uma unidade de codificação de fatia 125 e uma unidade de empacotamento de NAL 126.

[00121] A informação do número de camadas é suprida da CPU 101 para a unidade de geração do ID temporal 121. A unidade de geração do ID temporal 121 gera “temporal_id” de acordo com o número de camadas com base na informação do número de camadas. Por exemplo, no exemplo de codificação escalonável da figura 3, “temporal_id” = 0 a 3 é gerado.

[00122] Para a unidade de controle do atraso de buffer 122 é suprida informação de uma mínima capacidade de decodificação (uma mínima capacidade do decodificador alvo) da CPU 101 e temporal_id gerado pela unidade de geração do ID temporal 121. A unidade de controle do atraso de buffer 122 calcula “initial_cpb_removal_delay” que serve como um valor inicial de submissão a buffer cpb (submissão a buffer) e “cpb_removal_delay” e “dpb_output_delay” de cada figura para cada fluxo contínuo de vídeo.

[00123] A unidade de controle do atraso de buffer 122 controla “cpb_removal_delay” no buffer cpb de cada fluxo contínuo subordinado. A unidade de controle do atraso de buffer 122 realiza controle de maneira tal que uma falha no buffer não ocorra no buffer dpb entre a sincronização de decodificação e a sincronização de exibição do decodificador.

[00124] Neste caso, na “primeira codificação”, “cpb_removal_delay” é controlado de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais. Adicionalmente, na “segunda codificação”, “cpb_removal_delay” é controlado de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR sejam intervalos iguais, e as sincronizações de decodificação dos dados de imagem codificados das figuras da camada superior à camada predeterminada são as mesmas sincronizações de quando codificação for realizada de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais.

[00125] Para a unidade de definição de HRD 123 são supridos “cpb_removal_delay” e “dpb_output_delay” da figura de cada fluxo contínuo de vídeo calculado pela unidade de controle do atraso de buffer 122 e informação do número de fluxos contínuos provenientes da CPU 101. A unidade de definição de HRD 123 realiza uma definição de HRD com base na informação.

[00126] Para a unidade de codificação do conjunto de parâmetro / SEI 124 é suprida a informação de definição de HRD. A unidade de codificação do conjunto de parâmetro / SEI 124 gera conjuntos de parâmetro das figuras de cada camada, tais como VPS, SPS, e PPS, e vários tipos de SEI de acordo com o número de fluxos contínuos a serem codificados.

[00127] Por exemplo, a SEI de ajuste de sincronização (Timing_adjustment SEI) é gerada. Adicionalmente, por exemplo, SEI de sincronização da figura que inclui “cpb_removal_delay” e “dpb_output_delay” é gerada. Além do mais, por exemplo, SEI do período de submissão a buffer que inclui “initial_cpb_removal_time” é gerada. A SEI do período de submissão a buffer é gerada em associação com a primeira figura (a unidade de acesso) do GOP.

[00128] “initial_cpb_removal_time” indica um tempo (um tempo inicial) no qual os dados de imagem codificados da primeira figura do GOP são extraídos do buffer de dados comprimidos (cpb) quando os dados de imagem codificados da primeira figura do GOP forem decodificados. “cpb_removal_delay” é um tempo no qual os dados de imagem codificados de cada figura são extraídos do buffer de dados comprimidos (cpb), e o tempo é decidido de acordo com “initial_cpb_removal_time”. Adicionalmente, “dpb_output_delay” indica um tempo no qual ele é extraído depois que ele for decodificado e inserido no buffer de dados não comprimidos (dpb).

[00129] A unidade de codificação de fatia 125 codifica os dados de imagem das figuras de cada camada, e obtém dados de fatia (um cabeçalho do segmento de fatia e dados do segmento de fatia). A unidade de codificação de fatia 125 insere “ref_idx_l0_active (ref_idx_l1_active)” que indica um índice de uma figura de destino de previsão de uma “unidade de previsão” no “cabeçalho do segmento de fatia” como informação que indica um estado de previsão na direção de tempo através de um buffer de quadro. Em decorrência disto, no momento da decodificação, a figura referenciada é decidida juntamente com o nível de camada indicada por temporal_id. Adicionalmente, a unidade de codificação de fatia 125 insere “short_term_ref_pic_set_idx” ou “it_idx_sps” no “cabeçalho do segmento de fatia” como um índice de uma fatia atual.

[00130] A unidade de empacotamento de NAL 126 gera os dados de imagem codificados das figuras de cada camada com base no conjunto de parâmetro e na SEI gerada pela unidade de codificação do conjunto de parâmetro / SEI 124 e nos dados de fatia gerados pela unidade de codificação de fatia 125, e transmite fluxos contínuos de vídeo (fluxo contínuo codificado) que correspondem em número ao número de fluxos contínuos.

[00131] Neste momento, “temporal_id” que indica a camada é adicionado no cabeçalho da unidade NAL para cada figura (veja a figura 4). Adicionalmente, as figuras que pertencem à camada indicada por “temporal_id” são agrupadas como uma subcamada (sub_layer), e um valor de designação do nível “Level_idc” da taxa de bit de cada subcamada é indicado por “sublayer_Level_idc” e inserido no VPS ou no SPS.

[00132] A figura 14 ilustra um exemplo de um fluxo de processo do codificador 102. Na etapa ST1, o codificador 102 inicia o processo e, então, prossegue para o processo da etapa ST2. Na etapa ST2, o codificador 102 verifica a frequência de quadro FR de uma sequência de imagem em movimento (dados de imagem em movimento) a ser codificada.

[00133] Então, na etapa ST3, o codificador 102 determina se codificação compatível com um decodificador (um receptor que não suporta HFR) de uma baixa frequência LF (LF < LR) é realizada ou não. Em outras palavras, é determinado se a “segunda codificação” é realizada ou não. Quando esta codificação for realizada, o codificador 102 prossegue para um processo da etapa ST4.

[00134] Na etapa ST4, o codificador 102 codifica hierarquicamente a sequência de imagem em movimento da frequência de quadro FR, e realiza codificação, de forma que “cpb_removal_delay” das figuras de uma camada inferior correspondente à baixa frequência LF seja um intervalo de tempo constante.

[00135] Então, na etapa ST5, o codificador 102 codifica o período de tempo de diferença “au_cpb_removal_delay_offset” com “cpb_removal_delay” quando a codificação for realizada em intervalos de tempo da frequência de quadro FR em uma SEI como a informação de correção de tempo juntamente com o tipo de correção “adjustment_type”. Depois do processo da etapa ST5, na etapa ST6, o codificador 102 termina o processo.

[00136] Quando a codificação compatível com o decodificador da baixa frequência LF não for realizada na etapa ST3, o codificador 102 prossegue para um processo da etapa ST7. Na etapa ST7, o codificador 102 determina se a informação de correção de tempo a ser corrigida pelo decodificador (o receptor que não suporta HFR) da baixa frequência LF (LF < LR) é codificada ou não. Em outras palavras, é determinado se a “primeira codificação” é realizada ou não.

[00137] Quando a informação de correção de tempo for codificada, o codificador 102 prossegue para um processo da etapa ST8. Na etapa ST8, o codificador 102 codifica hierarquicamente a sequência de imagem em movimento da frequência de quadro FR, decide “cpb_removal_delay” em intervalos de tempo da frequência de quadro FR e realiza codificação.

[00138] Então, na etapa ST9, o codificador 102 codifica o período de tempo de diferença “au_cpb_removal_delay_offset” com “cpb_removal_delay” quando codificação for realizada no intervalo de tempo da baixa frequência LF em uma SEI como a informação de correção de tempo juntamente com o tipo de correção “adjustment_type”. Depois do processo da etapa ST9, na etapa ST6, o codificador 102 termina o processo.

[00139] Adicionalmente, quando a informação de correção de tempo a ser corrigida pelo decodificador da baixa frequência LF não for codificada na etapa ST7, o codificador 102 prossegue para um processo da etapa ST10. Na etapa ST10, o codificador 102 codifica hierarquicamente a sequência de imagem em movimento da frequência de quadro FR, decides “cpb_removal_delay” no intervalo de tempo da frequência de quadro FR e realiza codificação. Depois do processo da etapa ST10, na etapa ST6, o codificador 102 termina o processo.

[00140] Novamente em relação à figura 2, o buffer de dados comprimidos (cpb) 103 acumula temporariamente o fluxo contínuo de vídeo que inclui os dados codificados das figuras de cada camada que é gerado pelo codificador 102. O multiplexador 104 obtém o fluxo contínuo de transporte TS que serve como um fluxo contínuo multiplexado pela leitura do fluxo contínuo de vídeo acumulado no buffer de dados comprimidos 103, geração de pacotes PES, geração de pacotes de transporte e realização de multiplexação. O fluxo contínuo de transporte TS inclui um ou mais fluxos contínuos de vídeo como exposto.

[00141] O multiplexador 104 insere a informação de correção de tempo para corrigir a sincronização de decodificação em um pacote que contém dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada, por exemplo, o pacote PES no qual a SEI de ajuste de sincronização (Timing_adjustment SEI) é inserida. A informação de correção de tempo é igual à informação de correção de tempo inserida nos dados de imagem codificados pelo codificador 102, como exposto. Nesta modalidade, a informação de correção de tempo é inserida no campo de extensão de PES do pacote PES.

[00142] A figura 15 ilustra uma estrutura exemplar (sintaxe) de dados do campo de extensão PES (pes_extension_field_data). A figura 16 ilustra conteúdo (semântica) da informação principal na estrutura exemplar. “PES_extension field length” é considerado como dado fora da estrutura de sintaxe. Um campo de 8 bits de “start_sync_byte” indica um valor de código que indica um início do campo de extensão. Um campo de 8 bits de “extension_field_type” indica um tipo do campo de extensão. “0x03” indica que a informação de correção relacionada à sincronização de decodificação é suprida.

[00143] Um campo de 2 bits de “adjustment_type” indica o tipo da informação de correção de tempo, assim, um tipo de correção da sincronização de decodificação. “01” indica o primeiro tipo. Neste caso, por exemplo, ele indica que codificação é realizada em unidades de 120p, e correção no lado da recepção é correção nos intervalos de tempo da baixa taxa 60p a partir da alta taxa 120p. “10” indica o segundo tipo. Neste caso, por exemplo, ele indica que codificação é realizada em unidades de 60p, e correção no lado da recepção é correção nos intervalos de tempo da alta taxa 120p a partir da baixa taxa 60p.

[00144] Um campo de 24 bits de “offset_to_DTS” indica um valor de diferença de deslocamento (com um código de unidade 90 KHz) a partir de um Registro de Tempo de Decodificação (DTS) anexado no cabeçalho de PES ou um Registro de Tempo de Apresentação (PTS) no caso da unidade de acesso (AU) que não tem DTS.

[00145] O multiplexador 104 insere informação de identificação que indica que a informação de correção de tempo é inserida nos dados de imagem codificados ou na extensão PES na camada do fluxo contínuo de transporte TS. Esta informação de identificação é inserida na malha do fluxo contínuo elementar de vídeo arranjado em associação com cada fluxo contínuo de vídeo sob a tabela do mapa de programa como um descritor.

[00146] O multiplexador 104 insere um descritor de extensão temporal (Temporal_extension_descriptor) que é inovadoramente definido juntamente com um descritor de HEVC (HEVC_descriptor). A figura 17 ilustra uma estrutura exemplar (sintaxe) do descritor do controle temporal. A figura 18 ilustra conteúdo (semântica) da informação principal na estrutura exemplar.

[00147] Um campo de 8 bits de “Temporal_extension_descriptor_tag” indica um tipo de descritor. Aqui, ele indica o descritor de extensão temporal. Um campo de 8 bits de “Temporal_ extension_descriptor_length” indica um comprimento (tamanho) do descritor, e o comprimento do descritor é indicado por um subsequente número de byte. Aqui, ele indica que o comprimento do descritor é um byte.

[00148] Um campo de 1 bit de “Temporal_extension_existed” indica se a informação de correção de tempo é inserida ou não nos dados de imagem codificados ou na extensão PES. “1” indica que “offset_to_DTS” é anexado na extensão PES, e há a SEI de ajuste de sincronização (Timing_adjustment SEI) nos dados de imagem codificados (fluxo contínuo de vídeo). “0” indica que “offset_to_DTS” não é necessariamente anexado na extensão PES, e não há garantia que haja a SEI de ajuste de sincronização (Timing_adjustment SEI) nos dados de imagem codificados (fluxo contínuo de vídeo).

[00149] Um campo de 2 bits de “adjustment_type” indica o tipo da informação de correção de tempo, assim, um tipo de correção da sincronização de decodificação. “01” indica o primeiro tipo. Neste caso, por exemplo, ele indica que codificação é realizada em unidades de 120p, e correção no lado da recepção é correção nos intervalos de tempo da baixa taxa 60p a partir da alta taxa 120p. “10” indica o segundo tipo. Neste caso, por exemplo, ele indica que codificação é realizada em unidades de 60p, e correção no lado da recepção é correção nos intervalos de tempo da alta taxa 120p a partir da baixa taxa 60p.

[00150] A figura 19 ilustra uma estrutura exemplar (sintaxe) do descritor de HEVC (HEVC_descriptor). Um campo de 8 bits de “descriptor_tag” indica um tipo de descritor, e indica o descritor de HEVC aqui exposto. Um campo de 8 bits de “descriptor_length” indica um comprimento (tamanho) do descritor, e o comprimento do descritor é indicado por um subsequente número de byte.

[00151] Um campo de 8 bits de “level_idc” indica o valor de designação do nível da taxa de bit. Adicionalmente, quando “temporal_layer_subset_flag for 1”, há um campo de 5 bits de “temporal_id_min” e um campo de 5 bits de “temporal_id_max”. “temporal_id_min” indica um valor de temporal_id da camada mais baixa dos dados codificados escalonáveis incluídos em um correspondente fluxo contínuo de vídeo. “temporal_id_max” indica um valor de temporal_id da camada mais alta de dados codificados escalonáveis incluídos em um correspondente fluxo contínuo de vídeo.

[00152] A figura 20 ilustra uma configuração exemplar do multiplexador 104. O multiplexador 104 inclui uma unidade de codificação da seção 142, unidades de empacotamento de PES 143-1 até 143-N, uma unidade de comutação 144 e uma unidade de empacotamento de transporte 145.

[00153] As unidades de empacotamento de PES 143-1 até 143-N leem fluxos contínuos de vídeo (Fluxos Contínuos Elementares) 1 a N acumulados no buffer de dados comprimidos 103, e gera os pacotes PES. Aqui, pelo menos um fluxo contínuo de base é incluído em cada um dos fluxos contínuos de vídeo 1 até N. Quando N for 2 ou mais, um fluxo contínuo de base e um ou mais fluxos contínuos de intensificação são incluídos.

[00154] Neste momento, as unidades de empacotamento de PES 143-1 até 143-N adicionam registros de tempo, tais como um Registro de Tempo de Decodificação (DTS) e um Registro de Tempo de Apresentação (PTS), no cabeçalho de PES com base na informação de HRD dos fluxos contínuos de vídeo 1 a N. Neste caso, o DTS e o PTS são gerados na precisão sincronizada com um tempo do Relógio de Tempo do Sistema (STC) em relação a “cpu_removal_delay” e “dpb_output_delay” de cada figura e arranjados em uma posição predeterminada do cabeçalho de PES.

[00155] Entre as unidades de empacotamento de PES 143-1 até 143-N, a unidade de empacotamento de PES que lida com o fluxo contínuo de vídeo que inclui os dados de imagem codificados nos quais há a SEI de ajuste de sincronização (Timing_adjustment SEI) adquire “au_cpb_removal_delay_offset” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo da SEI de ajuste de sincronização. Então, a unidade de empacotamento de PES anexa “offset_to_DTS” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo na extensão PES do cabeçalho de PES.

[00156] A unidade de comutação 144 extrai seletivamente os pacotes PES gerados pelas unidades de empacotamento de PES 143-1 até 143-N com base em um identificador de pacote (PID), e transfere o pacote PES extraído para a unidade de empacotamento de transporte 145. A unidade de empacotamento de transporte 145 gera um pacote TS no qual o pacote PES é incluído na carga útil, e obtém o fluxo contínuo de transporte TS.

[00157] A unidade de codificação da seção 142 gera vários tipos de dados de seção a serem inseridos no fluxo contínuo de transporte TS. Informação, tais como o número de camadas e o número de fluxos contínuos, é suprida da CPU 101 para a unidade de codificação da seção 142. A unidade de codificação da seção 142 gera descritor de HEVC (HEVC_descriptor) com base na informação.

[00158] Adicionalmente, informação de presença da SEI de ajuste de sincronização (Timing_adjustment SEI), informação de inserção de “offset_to_DTS” na extensão PES ou congêneres para cada um dos pacotes PES gerados pelas unidades de empacotamento de PES 143-1 até 143-N são supridas da CPU 101 para a unidade de codificação da seção 142. A unidade de codificação da seção 142 gera o descritor de extensão temporal (Temporal_extension_descriptor) com base na informação.

[00159] A unidade de codificação da seção 142 transfere vários tipos de dados de seção para a unidade de empacotamento de transporte 145. A unidade de empacotamento de transporte 145 gera o pacote TS que inclui os dados de seção, e insere o pacote TS gerado no fluxo contínuo de transporte TS. Neste momento, o tipo de fluxo contínuo também é inserido na malha do fluxo contínuo elementar de vídeo (malha ES de Vídeo) arranjado em associação com cada fluxo contínuo de vídeo. Neste caso, o tipo de fluxo contínuo do fluxo contínuo de base é definido em “0x24”, e o tipo de fluxo contínuo do fluxo contínuo de intensificação é, por exemplo, definido em “0x25”, que é inovadoramente definido.

[00160] A figura 21 ilustra um fluxo de processo do multiplexador 104. Na etapa ST11, o multiplexador 104 inicia o processo e, então, prossegue para o processo da etapa ST12. Na etapa ST12, o multiplexador 104 calcula o registro de tempo com base na SEI de sincronização da figura, na SEI do período de submissão a buffer, na SEI de ajuste de sincronização ou na informação de HRD do fluxo contínuo de vídeo (Fluxo Contínuo Elementar).

[00161] Então, na etapa ST13, o multiplexador 104 arranja o DTS e o PTS no cabeçalho de PES, e arranja “offset_to_DTS” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo na extensão PES em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada. Então, na etapa ST14, o multiplexador 104 insere o fluxo contínuo de vídeo (Fluxo Contínuo Elementar) na carga útil de PES.

[00162] Então, na etapa ST15, o multiplexador 104 codifica o descritor de extensão temporal (Temporal_extension_descriptor) em uma região de seção. Então, na etapa ST16, o multiplexador 104 converte o mesmo no pacote TS, e transmite o pacote TS. Na etapa ST17, o multiplexador 104 termina o processo depois que o processo da etapa ST16 terminar.

[00163] A figura 22 ilustra uma configuração exemplar do fluxo contínuo de transporte TS quando um certo serviço HFR for distribuído através de dois fluxos contínuos. Os dois fluxos contínuos de vídeo, isto é, o fluxo contínuo de base e o fluxo contínuo de intensificação, são incluídos no fluxo contínuo de transporte TS. Em outras palavras, nesta configuração exemplar, há um pacote PES “PES1 de vídeo” do fluxo contínuo de base e há um pacote PES “PES2 de vídeo” do fluxo contínuo de intensificação.

[00164] “offset_to_DTS” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo são arranjados no campo de extensão de PES do cabeçalho de PES no pacote PES “PES1 de vídeo” que contém os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada. O DTS e o PTS são arranjados no cabeçalho de PES também. A SEI do período de submissão a buffer, a SEI de sincronização da figura e congêneres são inseridas nos dados de imagem codificados de cada figura. A SEI de ajuste de sincronização é inserida nos dados de imagem codificados de cada figura contida no pacote PES “PES1 de vídeo”.

[00165] Uma Tabela do Mapa de Programa (PMT) é incluída no fluxo contínuo de transporte TS como uma da Informação Específica do Programa (PSI). A PSI é informação que indica um programa ao qual cada fluxo contínuo elementar incluído no fluxo contínuo de transporte pertence.

[00166] Na PMT, há uma malha de programa no qual informação associada com a íntegra do programa é descrita. Adicionalmente, na PMT, há uma malha de fluxo contínuo elementar que inclui informação associada com cada fluxo contínuo de vídeo. Nesta configuração exemplar, há uma malha do fluxo contínuo elementar de vídeo “malha ES1 de vídeo” correspondente ao fluxo contínuo de base, e há uma malha do fluxo contínuo elementar de vídeo “malha ES2 de vídeo” correspondente ao fluxo contínuo de intensificação.

[00167] Informação, tais como o tipo de fluxo contínuo e o identificador de pacote (PID), é arranjada em “malha ES1 de vídeo” em associação com o fluxo contínuo de base (PES1 de vídeo), e um descritor que descreve informação associada com o fluxo contínuo de vídeo também é arranjado na “malha ES1 de vídeo”. O tipo de fluxo contínuo é definido em “0x24” que indica o fluxo contínuo de base. O descritor de HEVC ou o descritor de extensão temporal é inserido como um dos descritores.

[00168] Informação, tais como o tipo de fluxo contínuo e o identificador de pacote (PID), é arranjada na “malha ES2 de vídeo” em associação com o fluxo contínuo de intensificação (PES2 de vídeo), e um descritor que descreve informação associada com o fluxo contínuo de vídeo é arranjado na “malha ES2 de vídeo”. O tipo de fluxo contínuo é definido em, por exemplo, “0x25”, que indica o fluxo contínuo de intensificação e é inovadoramente definido. O descritor de HEVC é inserido como um dos descritores.

[00169] A figura 23 ilustra uma configuração exemplar do fluxo contínuo de transporte TS quando um certo serviço HFR for distribuído através de um fluxo contínuo. Este fluxo contínuo de transporte TS inclui apenas o fluxo contínuo de base. Em outras palavras, nesta configuração exemplar, há o pacote PES “PES1 de vídeo” do fluxo contínuo de base.

[00170] “offset_to_DTS” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo são arranjados no campo de extensão de PES do cabeçalho de PES no pacote PES que contém os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada entre os pacotes PES “PES1 de vídeo”. O DTS e o PTS também são arranjados no cabeçalho de PES. A SEI do período de submissão a buffer, a SEI de sincronização da figura e congêneres são inseridas nos dados de imagem codificados de cada figura. A SEI de ajuste de sincronização é inserida nos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada dentre os dados de imagem codificados de cada figura contidos no pacote PES “PES1 de vídeo”.

[00171] A PMT é incluída no fluxo contínuo de transporte TS como uma da PSI. A PSI é informação que indica um programa ao qual cada fluxo contínuo elementar incluído no fluxo contínuo de transporte pertence.

[00172] Na PMT, há uma malha de programa que descreve informação associada com a íntegra do programa. Adicionalmente, na PMT, há uma malha de fluxo contínuo elementar que inclui informação associada com cada fluxo contínuo de vídeo. Nesta configuração exemplar, há uma malha do fluxo contínuo elementar de vídeo “malha ES1 de vídeo” correspondente ao fluxo contínuo de base.

[00173] “Informação, tais como o tipo de fluxo contínuo e o identificador de pacote (PID), é arranjada em “malha ES1 de vídeo” em associação com o fluxo contínuo de base (PES1 de vídeo), e um descritor que descreve informação associada com o fluxo contínuo de vídeo também é arranjado em “malha ES1 de vídeo”. O tipo de fluxo contínuo é definido em “0x24” que indica o fluxo contínuo de base. O descritor de HEVC ou o descritor de extensão temporal é inserido como um dos descritores.

[00174] Novamente em relação à figura 2, a unidade de transmissão 105 modula o fluxo contínuo de transporte TS, por exemplo, de acordo com um esquema de modulação adequado para difusão, tais como QPSK / OFDM ou congêneres, e transmite um sinal de modulação RF através de uma antena de transmissão.

[00175] Uma operação do dispositivo de transmissão 100 ilustrado na figura 2 será descrita em resumo. Os dados de imagem em movimento não comprimidos são inseridos no codificador 102. O codificador 102 realiza a codificação escalonável nos dados de imagem em movimento. Em outras palavras, o codificador 102 classifica os dados de imagem das figuras que configuram os dados de imagem em movimento em uma pluralidade de camadas, codifica a pluralidade de camadas e gera os fluxos contínuos de vídeo que incluem os dados de imagem codificados das figuras das respectivas camadas. Neste momento, a codificação é realizada de forma que uma figura a ser referida pertença à sua própria camada e/ou a uma camada inferior à sua própria camada.

[00176] O codificador 102 gera um ou mais fluxos contínuos de vídeo. Quando um único fluxo contínuo de vídeo for gerado, o fluxo contínuo de vídeo inclui dados de imagem codificados das figuras de todas as camadas. Por outro lado, quando uma pluralidade de fluxos contínuos de vídeo for gerada, o codificador 102 divide uma pluralidade de camadas em um número predeterminado (2 ou mais) de conjuntos de camada, e gera um número predeterminado de fluxos contínuos de vídeo, cada um dos quais tendo dados de imagem codificados das figuras de cada conjunto de camada.

[00177] O codificador 102 realiza “primeira codificação” ou “segunda codificação” em relação à sincronização de decodificação dos dados de imagem codificados de cada figura. A “primeira codificação” é aplicável não apenas quando um único fluxo contínuo de vídeo for gerado, mas, também, quando uma pluralidade de fluxos contínuos de vídeo for gerada. Por outro lado, a “segunda codificação” é aplicável apenas quando uma pluralidade de fluxos contínuos de vídeo for gerada.

[00178] Na “primeira codificação”, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais. Na “segunda codificação”, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR sejam intervalos iguais. Adicionalmente, na “segunda codificação”, codificação é realizada de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada superior à camada predeterminada sejam as mesmas sincronizações de quando codificação for realizada, de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais.

[00179] Em ambas as codificações, o codificador 102 insere a informação de correção de tempo para corrigir a sincronização de decodificação em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR. A informação de tipo que identifica se o tipo da informação de correção de tempo é o primeiro tipo da informação de correção de tempo correspondente à “primeira codificação” ou o segundo tipo da informação de correção de tempo correspondente à “segunda codificação” é adicionada na informação de correção de tempo.

[00180] O primeiro tipo da informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais. Por outro lado, o segundo tipo da informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais à sincronização de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, tiverem intervalos iguais.

[00181] Especificamente, o codificador 102 insere a SEI de ajuste de sincronização (Timing_adjustment SEI) que é inovadoramente definida nos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada. Esta SEI inclui “au_cpb_removal_delay_offset” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo (veja a figura 11(b)).

[00182] Os fluxos contínuos de vídeo gerados pelo codificador 102 são supridos para e temporariamente acumulados no buffer de dados comprimidos (cpb) 103. O multiplexador 104 obtém o fluxo contínuo de transporte TS que serve como um fluxo contínuo multiplexado pela leitura dos fluxos contínuos de vídeo acumulados no buffer de dados comprimidos 103, geração dos pacotes PES, geração dos pacotes de transporte e realização de multiplexação.

[00183] O multiplexador 104 insere a informação de correção de tempo para corrigir a sincronização de decodificação no pacote que contém os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada nos quais a SEI de ajuste de sincronização (Timing_adjustment SEI) é inserida, por exemplo, o pacote PES. A informação de correção de tempo é igual à informação de correção de tempo inserida nos dados de imagem codificados pelo codificador 102 da forma supradescrita e também inclui a informação de tipo adicionada na mesma. Especificamente, o multiplexador 104 adiciona “offset_to_DTS” que serve como a informação de correção de tempo e “adjustment_type” que serve como a informação de tipo no campo de extensão de PES do pacote PES (veja a figura 15).

[00184] O multiplexador 104 insere informação de identificação que indica que a informação de correção de tempo é inserida nos dados de imagem codificados ou na extensão PES na camada do fluxo contínuo de transporte TS. Especificamente, o multiplexador 104 insere o descritor de extensão temporal (Temporal_extension_descriptor) que é inovadoramente definido na malha do fluxo contínuo elementar de vídeo arranjado em associação com o fluxo contínuo de vídeo sob a tabela do mapa de programa (veja a figura 17).

[00185] O fluxo contínuo de transporte TS gerado pelo multiplexador 104 é transferido para a unidade de transmissão 105. A unidade de transmissão 105 modula o fluxo contínuo de transporte TS, por exemplo, de acordo com o esquema de modulação adequado para difusão, tais como QPSK / OFDM ou congêneres, e transmite o sinal de modulação RF através da antena de transmissão.

[Configuração do dispositivo de recepção]

[00186] A figura 24 ilustra uma configuração exemplar do dispositivo de recepção 200. O dispositivo de recepção 200 inclui uma CPU 201, uma unidade de recepção 202, um demultiplexador 203 e um buffer de dados comprimidos (cpb) 204. O dispositivo de recepção 200 inclui adicionalmente um decodificador 205, um buffer de dados não comprimidos (dpb) 206 e uma unidade de pós-processamento 207.

[00187] A CPU 201 configura uma unidade de controle, e controla operações das respectivas unidades do dispositivo de recepção 200. A CPU 201 é equipada com um processador de controle de sincronização (TCP) e controla a sincronização de decodificação e a sincronização de exibição em unidades de unidades de acesso (figuras).

[00188] A unidade de recepção 202 demodula o sinal de modulação RF recebido através da antena de recepção, e adquire o fluxo contínuo de transporte TS. O demultiplexador 203 extrai seletivamente os dados de imagem codificados das figuras da camada a partir do fluxo contínuo de transporte TS de acordo com a capacidade de decodificação (capacidade da camada temporal do decodificador), e transfere os dados de imagem codificados extraídos para o buffer de dados comprimidos (cpb) 204.

[00189] O demultiplexador 203 realiza um processo de acordo com a “primeira codificação” ou a “segunda codificação” que foi realizada no fluxo contínuo de vídeo incluído no fluxo contínuo de transporte TS. O demultiplexador 203 determina se a codificação é a “primeira codificação” ou a “segunda codificação” com base no tipo da informação de correção de tempo incluída, por exemplo, no descritor de extensão temporal. Em outras palavras, o demultiplexador 203 determina a codificação como a “primeira codificação” quando a informação de correção de tempo for o primeiro tipo, e determina a codificação como a “segunda codificação” quando a informação de correção de tempo for o segundo tipo.

[00190] A figura 25 ilustra um exemplo de uma configuração funcional do demultiplexador (a unidade de análise de sistema) 203 quando a “primeira codificação” for realizada no fluxo contínuo de vídeo. O demultiplexador 203 inclui uma unidade de filtro PID 231, um analisador sintático de seção 232, um analisador sintático de pacote PES 233, uma unidade de processamento de transformada DTS 234 e processadores da unidade de acesso 235 e 236.

[00191] A unidade de filtro PID 231 realiza filtragem com base no identificador de pacote (PID) de acordo com a capacidade de decodificação, e extrai um fluxo contínuo de vídeo necessário. Por exemplo, no exemplo da codificação escalonável da figura 3, é considerado que há os dois fluxos contínuos de vídeo, isto é, o fluxo contínuo de base (Stream_0) e o fluxo contínuo de intensificação (Stream_1) (veja a figura 9). Neste caso, quando o decodificador 60P que não suporta HFR for provido, apenas o fluxo contínuo de base (Stream_0) que inclui os dados de imagem codificados das figuras das camadas 0 a 2 que podem ser processados pelo decodificador 60p é extraído. Adicionalmente, por exemplo, quando o decodificador 120P que suporta HFR for provido, além do fluxo contínuo de base (Stream_0), o fluxo contínuo de intensificação (Stream_1) que inclui os dados de imagem codificados das figuras da camada 3 é extraído.

[00192] Adicionalmente, por exemplo, no exemplo da codificação escalonável da figura 3, é considerado que há apenas o fluxo contínuo de vídeo do fluxo contínuo de base (Stream_0) (veja a figura 7). Neste caso, quando o decodificador 60P que não suporta HFR for provido, o fluxo contínuo de base (Stream_0) é extraído, embora o decodificador 120P que suporta HFR seja provido.

[00193] O analisador sintático de seção 232 analisa dados de seção do fluxo contínuo de vídeo (o fluxo contínuo de vídeo alvo) extraído pela unidade de filtro PID 231. Então, o analisador sintático de seção 232 adquire informação de presença da SEI de ajuste de sincronização com base, por exemplo, no descritor de extensão temporal, transfere a informação de presença da SEI de ajuste de sincronização para a CPU 201 e transfere a informação de tipo “adjustment_type” da informação de correção de tempo para a CPU 201.

[00194] O analisador sintático de pacote PES 233 analisa o pacote PES. O analisador sintático de pacote PES 233 adquire o PTS e o DTS inseridos no cabeçalho de PES e a informação de correção de tempo “offset_to_DTS” inserida na extensão PES, e transfere o PTS, o DTS e a informação de correção de tempo “offset_to_DTS” para a CPU 201.

[00195] A unidade de processamento de transformada DTS 234 realiza um processo de transformada DTS quando o decodificador 205 for o decodificador 60p, e o fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que pode ser processado pelo decodificador 60p é transferido para o decodificador 205. A unidade de processamento de transformada DTS 234 substitui o DTS inserido no cabeçalho do pacote PES que contém os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras incluídos no fluxo contínuo de base (Stream_0) com um DTS corrigido (= Novo DTS), corrigido usando a informação de correção de tempo “offset_to_DTS”.

[00196] A unidade de processamento de transformada DTS 234 pode calcular o DTS corrigido (= Novo DTS) por si mesma e usar o DTS corrigido, mas pode usar o DTS corrigido (= Novo DTS) calculado pela CPU 201, da forma ilustrada nos desenhos.

[00197] Quando o decodificador 205 for o decodificador 60p, o processador da unidade de acesso 235 transfere o fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que pode ser processado pelo decodificador 60p para o decodificador 205 por meio do buffer de dados comprimidos (cpb) 204.

[00198] Aqui, quando o fluxo contínuo de base (Stream_0) incluir apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada, o processador da unidade de acesso 235 transfere a saída da unidade de processamento de transformada DTS 234 para ser acumulada no buffer de dados comprimidos (cpb) 204 sem mudança. Por outro lado, quando o fluxo contínuo de base (Stream_0) incluir os dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, o processador da unidade de acesso 235 extrai apenas uma porção correspondente aos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada a partir da saída da unidade de processamento de transformada DTS 234 com referência, por exemplo, à presença da extensão PES, e transfere a porção extraída para ser acumulada no buffer de dados comprimidos (cpb) 204.

[00199] Quando o decodificador 205 for o decodificador 120p, o processador da unidade de acesso 236 transfere o fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de todas as camadas para o decodificador 205 por meio do buffer de dados comprimidos (cpb) 204.

[00200] Aqui, quando o fluxo contínuo de base (Stream_0) incluir os dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, o processador da unidade de acesso 236 transfere o fluxo contínuo de base (Stream_0) para ser acumulado no buffer de dados comprimidos (cpb) 204 sem mudança. Por outro lado, quando o fluxo contínuo de base (Stream_0) incluir os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada, e o fluxo contínuo de intensificação (Stream_1) incluir os dados de imagem codificados das figuras da camada superior à camada predeterminada, o processador da unidade de acesso 236 gera um fluxo contínuo de vídeo pela combinação dos dados de imagem codificados dos dois fluxos contínuos na ordem de DTS, e transfere o fluxo contínuo de vídeo gerado para ser acumulado no buffer de dados comprimidos (cpb) 204.

[00201] A figura 26 ilustra um exemplo de uma configuração funcional do demultiplexador (a unidade de análise de sistema) 203 quando a “segunda codificação” for realizada no fluxo contínuo de vídeo. O demultiplexador 203 inclui uma unidade de filtro PID 241, um analisador sintático de seção 242, um analisador sintático de pacote PES 243, uma unidade de processamento de transformada DTS 244, e um processador da unidade de acesso 245.

[00202] A unidade de filtro PID 241 realiza filtragem com base no identificador de pacote (PID) de acordo com a capacidade de decodificação, e extrai um fluxo contínuo de vídeo necessário. Por exemplo, no exemplo da codificação escalonável da figura 3, é considerado que há os dois fluxos contínuos de vídeo, isto é, o fluxo contínuo de base (Stream_0) e o fluxo contínuo de intensificação (Stream_1) (veja a figura 6). Neste caso, quando o decodificador 60P que não suporta HFR for provido, apenas o fluxo contínuo de base (Stream_0) que inclui os dados de imagem codificados das figuras das camadas 0 a 2 que pode ser processado pelo decodificador 60p é extraído. Adicionalmente, por exemplo, quando o decodificador 120P que suporta HFR for provido, além do fluxo contínuo de base (Stream_0), o fluxo contínuo de intensificação (Stream_1) que inclui os dados de imagem codificados das figuras da camada 3 é extraído.

[00203] O analisador sintático de seção 242 analisa dados de seção do fluxo contínuo de vídeo (o fluxo contínuo de vídeo alvo) extraídos pela unidade de filtro PID 241. Então, o analisador sintático de seção 242 adquire informação de presença da SEI de ajuste de sincronização com base, por exemplo, no descritor de extensão temporal, transfere a informação de presença da SEI de ajuste de sincronização para a CPU 201, e transfere a informação de tipo “adjustment_type” da informação de correção de tempo para a CPU 201.

[00204] O analisador sintático de pacote PES 243 analisa o pacote PES. O analisador sintático de pacote PES 243 adquire o PTS e o DTS inseridos no cabeçalho de PES e a informação de correção de tempo “offset_to_DTS” inserida na extensão PES, e transfere o PTS, o DTS e a informação de correção de tempo “offset_to_DTS” para a CPU 201.

[00205] A unidade de processamento de transformada DTS 244 realiza o processo de transformada DTS quando o decodificador 205 for o decodificador 120p. A unidade de processamento de transformada DTS 234 substitui o DTS inserido no cabeçalho do pacote PES que contém os dados de imagem codificados das figuras incluído no fluxo contínuo de base (Stream_0) com um DTS corrigido (= Novo DTS), corrigido usando a informação de correção de tempo “offset_to_DTS”. A unidade de processamento de transformada DTS 244 pode calcular o DTS corrigido (=Novo DTS) por si mesma e usar o DTS corrigido, mas pode usar o DTS corrigido (= Novo DTS) calculado pela CPU 201, da forma ilustrada nos desenhos.

[00206] Quando o decodificador 205 for o decodificador 120p, o processador da unidade de acesso 245 transfere o fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de todas as camadas para o decodificador 205 por meio do buffer de dados comprimidos (cpb) 204. Neste caso, o processador da unidade de acesso 245 gera um fluxo contínuo de vídeo pela combinação da saída da unidade de processamento de transformada DTS 244 e dos dados de imagem codificados provenientes dos dois fluxos contínuos do fluxo contínuo de intensificação (Stream_1) extraído pela unidade de filtro PID 241 na ordem de DTS, e transfere o fluxo contínuo de vídeo gerado para ser acumulado no buffer de dados comprimidos (cpb) 204.

[00207] Adicionalmente, quando o decodificador 205 for o decodificador 60p, o demultiplexador 203 transfere o fluxo contínuo de base (Stream_0) extraído pela unidade de filtro PID 241 para ser acumulado no buffer de dados comprimidos (cpb) 204 sem mudança.

[00208] A figura 27 ilustra um exemplo de um fluxo de processo do demultiplexador 203. Na etapa ST31, o demultiplexador 203 inicia o processo e, então, na etapa ST32, o demultiplexador 203 verifica o tipo de correção “adjustment_type” do descritor de extensão temporal (Temporal_extension_descriptor).

[00209] Então, na etapa ST33, o demultiplexador 203 determina se ou não o tipo de correção é “01”, isto é, o tipo da informação de correção de tempo é o primeiro tipo. Quando o tipo de correção for “01”, na etapa ST34, o demultiplexador 203 determina se ou não todas as camadas são decodificadas. Por exemplo, quando o decodificador 205 for o decodificador 120P que suporta HFR, todas as camadas são determinadas como decodificadas e, quando o decodificador 205 for o decodificador 60P que não suporta HFR, algumas camadas são determinadas como decodificadas.

[00210] Quando todas as camadas forem decodificadas, o demultiplexador 203 prossegue para um processo da etapa ST35. Na etapa ST35, o demultiplexador 203 supre o fluxo contínuo de vídeo (fluxo contínuo codificado) que serve como um PID alvo para o buffer de dados comprimidos (cpb) 204. Quando houver uma pluralidade de fluxos contínuos de vídeo com um PID alvo, os fluxos contínuos de vídeo são combinados na ordem de DTS e supridos para o buffer de dados comprimidos (cpb) 204. Depois do processo da etapa ST35, na etapa ST36, o demultiplexador 203 termina o processo.

[00211] Quando algumas camadas forem determinadas como decodificadas na etapa ST34, o demultiplexador 203 prossegue para um processo da etapa ST37. Na etapa ST37, o demultiplexador 203 obtém o DTS corrigido (Novo DTS) pela adição da informação de correção de tempo “offset_to_DTS” incluída na extensão PES no DTS incluído no cabeçalho do pacote PES para o qual o fluxo contínuo da camada inferior (a camada predeterminada ou a camada inferior à camada predeterminada) que pode ser processado pelo decodificador 60p é suprido.

[00212] Pode-se fazer com que a CPU 201 realize o processo de obtenção do DTS corrigido. Neste caso, o demultiplexador 203 notifica a CPU 201 do registro de informação de tempo, e recebe o DTS corrigido (Novo DTS) a partir da CPU 201.

[00213] Então, na etapa ST38, o demultiplexador 203 supre o fluxo contínuo da camada inferior (a camada predeterminada ou a camada inferior à camada predeterminada) para o buffer de dados comprimidos (cpb) 204 de acordo com o valor de DTS corrigido. Depois do processo da etapa ST38, na etapa ST36, o demultiplexador 203 termina o processo.

[00214] Adicionalmente, quando o tipo de correção não for “01” na etapa ST33, isto é, quando o tipo de correção for “10”, na etapa ST39, o demultiplexador 203 determina se ou não todas as camadas são decodificadas. Por exemplo, o decodificador 205 determina todas as camadas como decodificadas quando o decodificador 205 for o decodificador 120P que suporta HFR, e determina algumas camadas como decodificadas quando o decodificador 205 for o decodificador 60P que não suporta HFR.

[00215] Quando todas as camadas forem decodificadas, o demultiplexador 203 prossegue para um processo da etapa ST37. Na etapa ST37, o demultiplexador 203 obtém o DTS corrigido (Novo DTS) pela adição da informação de correção de tempo “offset_to_DTS” incluída na extensão PES no DTS incluído no cabeçalho do pacote PES para o qual o fluxo contínuo da camada inferior (a camada predeterminada ou a camada inferior à camada predeterminada) que pode ser processado pelo decodificador 60p é suprido.

[00216] Então, na etapa ST40, o demultiplexador 203 combina uma pluralidade de fluxos contínuos na ordem do DTS corrigido, e supre o fluxo contínuo resultante para o buffer de dados comprimidos (cpb) 204. Depois do processo da etapa ST40, na etapa ST36, o demultiplexador 203 termina o processo.

[00217] Adicionalmente, quando algumas camadas forem determinadas como decodificadas na etapa ST39, o demultiplexador 203 prossegue para um processo da etapa ST41. Na etapa ST41, o demultiplexador 203 supre o fluxo contínuo da camada inferior (a camada predeterminada ou a camada inferior à camada predeterminada) que pode ser processado pelo decodificador 60p para o buffer de dados comprimidos (cpb) 204 de acordo com o valor do DTS original. Depois do processo da etapa ST41, na etapa ST36, o demultiplexador 203 termina o processo.

[00218] Novamente em relação à figura 24, o buffer de dados comprimidos (cpb) 204 acumula temporariamente o fluxo contínuo de vídeo (fluxo contínuo codificado) extraído pelo demultiplexador 203. O decodificador 205 extrai os dados de imagem codificados das figuras da camada designada como a camada a ser decodificada a partir dos fluxos contínuos de vídeo acumulados no buffer de dados comprimidos 204. Então, o decodificador 205 decodifica os dados de imagem codificados extraídos de cada figura na sincronização de decodificação da figura, e transfere os dados de imagem decodificados para o buffer de dados não comprimidos (dpb) 206.

[00219] Aqui, no decodificador 205, a camada a ser decodificada é designada por temporal_id a partir da CPU 201. A camada designada compreende todas as camadas incluídas no fluxo contínuo de vídeo (fluxo contínuo codificado) extraído pelo demultiplexador 203 ou algumas camadas no lado da camada inferior e definida automaticamente pela CPU 201 ou de acordo com a operação do usuário. Adicionalmente, a sincronização de decodificação é alocada no decodificador 205 da CPU 201 com base no DTS. Durante a decodificação dos dados de imagem codificados de cada figura, o decodificador 205 lê os dados de imagem da figura referenciada a partir do buffer de dados não comprimidos 206 conforme necessário e usa os dados de imagem.

[00220] A figura 28 ilustra uma configuração exemplar do decodificador 205. O decodificador 205 inclui uma unidade de análise do ID temporal 251, a unidade de seleção da camada alvo 252 e uma unidade de decodificação 254. A unidade de análise do ID temporal 251 lê o fluxo contínuo de vídeo (fluxo contínuo codificado) acumulado no buffer de dados comprimidos 204, e analisa o temporal_id inserido no cabeçalho da unidade NAL dos dados de imagem codificados de cada figura.

[00221] A unidade de seleção da camada alvo 252 extrai os dados de imagem codificados das figuras da camada designada como a camada a ser decodificada a partir do fluxo contínuo de vídeo lido a partir do buffer de dados comprimidos 204 com base no resultado da análise da unidade de análise do ID temporal 251. Os dados de imagem codificados de cada figura extraídos pela unidade de seleção da camada alvo 252 são transferidos para a unidade de decodificação 254. A unidade de decodificação 254 decodifica sequencialmente os dados de imagem codificados de cada figura na sincronização de decodificação, e transfere os dados de imagem decodificados para o buffer de dados não comprimidos (dpb) 206.

[00222] Neste caso, a unidade de decodificação 254 analisa o VPS e o SPS, detecta, por exemplo, o valor de designação do nível “sublayer_Level_idc” da taxa de bit de cada subcamada, e verifica se ou não a decodificação pode ser realizada na capacidade de decodificação. Neste caso, a unidade de decodificação 254 analisa adicionalmente a SEI, detecta, por exemplo, “initial_cpb_removal_time” e “cpb_removal_delay”, adquire a informação de correção relacionada à sincronização de decodificação da SEI de ajuste de sincronização, e verifica se a sincronização de decodificação dada a partir da CPU 201 é apropriada.

[00223] Adicionalmente, durante a decodificação da fatia, a unidade de decodificação 254 adquire “ref_idx_l0_active (ref_idx_l1_active)” como informação que indica um destino de previsão na direção de tempo a partir do cabeçalho da fatia, e realiza previsão na direção de tempo. A figura decodificada é processada como uma referência por outras figuras usando “short_term_ref_pic_set_idx” ou “it_idx_sps” obtidos a partir do cabeçalho da fatia como um índice.

[00224] Novamente em relação à figura 24, o buffer de dados não comprimidos (dpb) 206 acumula temporariamente os dados de imagem de cada figura decodificados pelo decodificador 205. A unidade de pós- processamento 207 realiza um processo de ajuste das taxas de quadro dos dados de imagem das figuras sequencialmente lidos a partir do buffer de dados não comprimidos (dpb) 206 na sincronização de exibição de acordo com a capacidade de exibição. Neste caso, a sincronização de exibição é dada a partir da CPU 201 com base no PTS.

[00225] Por exemplo, quando a taxa de quadro dos dados de imagem das figuras decodificadas for 120 fps, e a capacidade de exibição for 120 fps, a unidade de pós-processamento 207 transfere os dados de imagem das figuras decodificadas para a exibição sem mudança. Adicionalmente, por exemplo, quando a taxa de quadro dos dados de imagem das figuras decodificadas for 120 fps, e a capacidade de exibição for 60 fps, a unidade de pós-processamento 207 realiza um processo de subamostragem de forma que a resolução na direção de tempo para os dados de imagem das figuras decodificadas seja 1/2 vez, e transfere os dados de imagem de 60 fps para a exibição.

[00226] Adicionalmente, por exemplo, quando a taxa de quadro dos dados de imagem das figuras decodificadas for 60 fps, e a capacidade de exibição for 120 fps, a unidade de pós-processamento 207 realiza um processo de interpolação, de forma que a resolução na direção de tempo para os dados de imagem das figuras decodificadas seja o dobro, e transfere os dados de imagem de 120 fps para a exibição. Adicionalmente, por exemplo, quando a taxa de quadro dos dados de imagem das figuras decodificadas for 60 fps, e a capacidade de exibição for 60 fps, a unidade de pós-processamento 207 transfere os dados de imagem das figuras decodificadas para a exibição sem mudança.

[00227] A figura 29 ilustra uma configuração exemplar da unidade de pós-processamento 207. Este exemplo é um exemplo em que é possível lidar com um caso no qual a taxa de quadro dos dados de imagem das figuras decodificadas é 120 fps ou 60 fps, e a capacidade de exibição é 120 fps ou 60 fps, como exposto.

[00228] A unidade de pós-processamento 207 inclui uma unidade de interpolação 271, uma unidade de subamostragem 272 e uma unidade de comutação 273. Os dados de imagem das figuras decodificadas provenientes do buffer de dados não comprimidos 206 são inseridos na unidade de comutação 273 diretamente, depois que a taxa de quadro se tornar o dobro através da unidade de interpolação 271, ou depois que a taxa de quadro se tornar 1/2 vez através da unidade de subamostragem 272.

[00229] Informação de seleção é suprida da CPU 201 para a unidade de comutação 273. A CPU 201 gera a informação de seleção automaticamente em relação à capacidade de exibição ou de acordo com a operação do usuário. A unidade de comutação 273 transmite seletivamente qualquer uma das entradas com base na informação de seleção. Em decorrência disto, a taxa de quadro dos dados de imagem das figuras sequencialmente lidos a partir do buffer de dados não comprimidos (dpb) 206 na sincronização de exibição é ajustada à capacidade de exibição.

[00230] A figura 30 ilustra um exemplo de um fluxo de processo do decodificador 205 e da unidade de pós-processamento 207. Na etapa ST51, o decodificador 205 e a unidade de pós-processamento 207 iniciam o processo e, então, prosseguem para o processo da etapa ST52. Na etapa ST52, o decodificador 205 lê o fluxo contínuo de vídeo do alvo de decodificação acumulado no buffer de dados comprimidos (cpb) 204, e seleciona a figura da camada designada como o alvo de decodificação a partir da CPU 201 com base no temporal_id.

[00231] Então, na etapa ST53, o decodificador 205 decodifica sequencialmente os dados de imagem codificados das figuras selecionadas na sincronização de decodificação, transfere os dados de imagem das figuras decodificadas para serem temporariamente acumulados no buffer de dados não comprimidos (dpb) 206. Então, na etapa ST54, a unidade de pós- processamento 207 lê os dados de imagem das figuras a partir do buffer de dados não comprimidos (dpb) 206 na sincronização de exibição.

[00232] Então, a unidade de pós-processamento 207 determina se ou não a taxa de quadro dos dados de imagem lidos das figuras corresponde com a capacidade de exibição. Quando a taxa de quadro não corresponder com a capacidade de exibição, na etapa ST56, a unidade de pós-processamento 207 ajusta a taxa de quadro à capacidade de exibição e transfere a taxa de quadro ajustada para a exibição e, posteriormente, na etapa ST57, o processo termina. Por outro lado, quando a taxa de quadro corresponder com a capacidade de exibição, na etapa ST58, a unidade de pós-processamento 207 transfere a taxa de quadro para a exibição sem mudança e, então, na etapa ST57, o processo termina.

[00233] Uma operação do dispositivo de recepção 200 da figura 24 será descrita em resumo. A unidade de recepção 202 demodula o sinal de modulação RF recebido através da antena de recepção, e adquire o fluxo contínuo de transporte TS. O fluxo contínuo de transporte TS é transferido para o demultiplexador 203. O demultiplexador 203 extrai os dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas ou os dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada a partir do fluxo contínuo de transporte TS de acordo com a capacidade de decodificação (a capacidade da camada temporal do decodificador).

[00234] O demultiplexador 203 corrige o DTS inserido no cabeçalho de PES com base na informação de correção de tempo inserida na extensão PES em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada. Neste caso, o processo correspondente à “primeira codificação” ou à “segunda codificação” realizadas no fluxo contínuo de vídeo incluído no fluxo contínuo de transporte TS é realizado.

[00235] Na “primeira codificação”, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais. Na “segunda codificação”, codificação é realizada de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser reproduzidos pelo receptor da técnica relacionada que não suporta a HFR sejam intervalos iguais. Adicionalmente, na “segunda codificação”, codificação é realizada de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada superior à camada predeterminada sejam iguais à sincronização quando codificação for realizada de maneira tal que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, sejam intervalos iguais.

[00236] No caso da “primeira codificação”, a informação de correção de tempo é o primeiro tipo e usada para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais. No caso da “segunda codificação”, a informação de correção de tempo é o segundo tipo e usada para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, tiverem intervalos iguais.

[00237] Assim, quando a “primeira codificação” for realizada, o demultiplexador 203 corrige as sincronizações de decodificação (DTS) dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada com base na informação de correção de tempo quando o fluxo contínuo apenas dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada for transmitido. Em decorrência disto, os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada se tornam intervalos iguais.

[00238] Adicionalmente, quando a “segunda codificação” for realizada, o demultiplexador 203 corrige as sincronizações de decodificação (DTS) dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada com base na informação de correção de tempo quando o fluxo contínuo dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento, isto é, as figuras de todas as camadas, for transmitido. Em decorrência disto, os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas se tornam intervalos iguais.

[00239] Então, os fluxos contínuos de vídeo (fluxos contínuos codificados) extraídos pelo demultiplexador 203 são transferidos a partir do demultiplexador 203 para serem temporariamente acumulados no buffer de dados comprimidos (cpb) 204. O decodificador 205 extrai os dados de imagem codificados das figuras da camada designada como a camada a ser decodificada a partir dos fluxos contínuos de vídeo acumulados no buffer de dados comprimidos 204. Então, o decodificador 205 decodifica os dados de imagem codificados extraídos da respectiva figura na sincronização de decodificação da correspondente figura, transfere os dados de imagem codificados extraídos para serem temporariamente acumulados no buffer de dados não comprimidos (dpb) 206. Neste caso, quando os dados de imagem codificados das figuras forem decodificados, os dados de imagem da figura referenciada são lidos a partir do buffer de dados não comprimidos 206 e usados conforme necessário.

[00240] Os dados de imagem das figuras sequencialmente lidos a partir do buffer de dados não comprimidos (dpb) 206 na sincronização de exibição são transferidos para a unidade de pós-processamento 207. A unidade de pós- processamento 207 realiza a interpolação ou a subamostragem para ajustar a taxa de quadro dos dados de imagem das figuras à capacidade de exibição nos dados de imagem das figuras. Os dados de imagem das figuras processados pela unidade de pós-processamento 207 são supridos para a exibição, e a imagem em movimento configurada com os dados de imagem das figuras é exibida.

[00241] Da forma supradescrita, no sistema de transcepção 10 ilustrado na figura 1, no lado da transmissão, a informação de correção de tempo para corrigir a sincronização de decodificação é inserida nos dados de imagem codificados ou na extensão PES em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser processados pelo receptor que não suporta HFR e, então, transmitidos. Assim, por exemplo, no lado da recepção, é possível corrigir as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados. Assim, é possível realizar excelente reprodução independente se o lado da recepção suportar ou não a alta taxa de quadro.

[00242] Adicionalmente, no sistema de transcepção 10 ilustrado na figura 1, no lado da recepção, as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo inserida nos dados de imagem codificados ou na extensão PES de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada que podem ser processados pelo receptor que não suporta HFR são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados. Assim, é possível realizar excelente reprodução, por exemplo, independente se a alta taxa de quadro é suportada ou não.

<2. Exemplos modificados>

[00243] A modalidade exposta foi descrita em conexão com o exemplo da codificação escalonável das quatro camadas e o exemplo no qual o número de fluxos contínuos é 2 quando houver uma pluralidade de fluxos contínuos de vídeo. Entretanto, é desnecessário dizer que a aplicação da presente tecnologia não é limitada a este exemplo.

[00244] Por exemplo, a figura 31 ilustra um exemplo de codificação escalonável de cinco camadas. Neste exemplo, dados de imagem são classificados em cinco camadas 0 a 4, e codificação é realizada nos dados de imagem das figuras de cada camada. Um eixo geométrico vertical indica uma camada. 0 a 4 são definidos como temporal_id (a informação de identificação de camada) arranjado na porção do cabeçalho da unidade NAL (nal_unit) que configura os dados de imagem codificados das figuras das camadas 0 a 4. Neste particular, um eixo geométrico horizontal indica uma ordem de exibição (uma ordem de composição da figura (POC)), e o lado esquerdo é “antes” em termos de uma sincronização de exibição, e o lado direito é “depois” em termos de uma sincronização de exibição.

[00245] Cada um dos quadros retangulares indica uma figura, um número indica uma ordem de uma figura codificada, isto é, uma ordem de codificação (uma ordem de decodificação no lado da recepção). Neste exemplo, um subgrupo de figuras é configurado com 16 figuras “2” a “17”, e “2” é uma primeira figura do subgrupo de figuras. “1” é uma figura de um subgrupo prévio de figuras. Um grupo de figuras (GOP) é configurado com diversos subgrupos de figuras.

[00246] Setas cheias indicam uma relação de referência das figuras na codificação. Por exemplo, a figura “2” é uma figura P e codificada em relação à figura “1”. Adicionalmente, a figura “3” é uma figura B e codificada em relação às figuras “1” e “2”. Similarmente, as outras figuras são codificadas em relação a uma figura que é próxima na ordem de exibição. Uma figura da camada mais alta não é referida por outras figuras.

[00247] No exemplo da codificação escalonável da figura 31, quando uma pluralidade de fluxos contínuos de vídeo for gerada, por exemplo, três fluxos contínuos de vídeo são gerados. Neste caso, por exemplo, da forma delimitada por uma linha com tracejados alternados longos e curtos e um linha com tracejados alternados um longo e dois curtos, as quatro camadas são divididas em três conjuntos de camada, de maneira tal que as camadas 0 a 2 pertençam ao conjunto de camada mais baixo, a camada 3 pertence a um conjunto de camada posicionado para ser mais alto que o conjunto de camada mais baixo, e a camada 4 pertence a um conjunto de camada posicionado para ser mais alto que o conjunto de camada. Adicionalmente, três fluxos contínuos de vídeo (fluxos contínuos codificados), cada um dos quais incluindo dados de imagem codificados das figuras de cada conjunto de camada, são gerados.

[00248] Neste caso, o fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras do conjunto de camada mais baixo é o fluxo contínuo de base, e o tipo de fluxo contínuo do mesmo é “0x24”. O fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras do conjunto de camada posicionado para ser mais alto que o conjunto de camada mais baixo é um fluxo contínuo de intensificação, e um tipo de fluxo contínuo do mesmo é “0x25”, que é inovadoramente definido.

[00249] A figura 32 ilustra a informação de correção S (i) inserida em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada quando a “primeira codificação” for realizada no exemplo da codificação escalonável da figura 31. Por exemplo, no exemplo da codificação escalonável da figura 31, a taxa de quadro pelas figuras de todas as camadas, isto é, as camadas 0 a 4, é 120 Hz, e a taxa de quadro pelas figuras das camadas 0 a 3 é 60 Hz.

[00250] A informação de correção de tempo S (i) é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 3 que servem como uma porção de 1/2 resolução de tempo para decodificação 60p dentre as camadas 0 a 4 de uma resolução de tempo integral. Neste caso, um valor de correção i para uma unidade de acesso (figura) de “2” é definido em “0”, o valor de correção i para uma unidade de acesso (figura) de “3” é definido em “3”, o valor de correção i para uma unidade de acesso (figura) de “4” é definido em “6” e o valor de correção i para uma unidade de acesso (figura) de “11” é definido em “3”. Adicionalmente, um valor de correção i para uma unidade de acesso (figura) de “5” é definido em “-1”, o valor de correção i para uma unidade de acesso (figura) de “8” é definido em “0”, o valor de correção i para uma unidade de acesso (figura) de “12” é definido em “0”, e o valor de correção i para uma unidade de acesso (figura) de “15” é definido em “1”. Em cada um dos subsequentes subgrupos de figuras (GOP), o mesmo é repetido.

[00251] No lado da recepção, quando a exibição for realizada pelo decodificador 60p, os dados de imagem codificados das figuras das camadas 0 a 3 que servem como a porção de 1/2 resolução de tempo são tomados no buffer e decodificados. Neste momento, da forma indicada pelas unidades de acesso (AUs) do quadro em linha rompida, as sincronizações de decodificação dos dados de imagem codificados das figuras são corrigidas para serem intervalos iguais (1/60 segundo) com base na informação de correção de tempo S (i). Adicionalmente, no lado da recepção, quando a exibição for realizada pelo decodificador 120p, os dados de imagem codificados das figuras de 0 a 4 da resolução de tempo integral são tomados no buffer e decodificados em intervalos iguais (1/120 segundo) de acordo com as sincronizações de decodificação originais.

[00252] A figura 33 ilustra a informação de correção S (i) inserida em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada quando a “segunda codificação” for realizada no exemplo da codificação escalonável da figura 31.

[00253] A informação de correção de tempo S (i) é inserida em associação com cada um dos dados de imagem codificados das figuras das camadas 0 a 3 que servem como a porção de 1/2 resolução de tempo dentre as camadas 0 a 4 da resolução de tempo. Neste caso, o valor de correção i para uma unidade de acesso (figura) de “2” é definido em “0”, o valor de correção i para uma unidade de acesso (figura) de “3” é definido em “-3”, o valor de correção i para uma unidade de acesso (figura) de “4” é definido em “-6”, e o valor de correção i para uma unidade de acesso (figura) de “11” é definido em “-3”. Adicionalmente, o valor de correção i para uma unidade de acesso (figura) de “5” é definido em “1”, o valor de correção i para uma unidade de acesso (figura) de “8” é definido em “0”, o valor de correção i para uma unidade de acesso (figura) de “12” é definido em “0”, e o valor de correção i para uma unidade de acesso (figura) de “15” é definido em “-1”. Em cada um dos subsequentes subgrupos de figuras (GOP), o mesmo é repetido.

[00254] No lado da recepção, quando a exibição for realizada pelo decodificador 60p, os dados de imagem codificados das figuras das camadas 0 a 3 que servem como a porção de 1/2 resolução de tempo são tomados no buffer e decodificados em intervalos iguais (1/60 segundo) de acordo com as sincronizações de decodificação originais. No lado da recepção, quando a exibição for realizada pelo decodificador 120p, os dados de imagem codificados das figuras de 0 a 4 da resolução de tempo integral são tomados no buffer e decodificados. Neste momento, da forma indicada pelas unidades de acesso (AUs) do quadro em linha rompida, as sincronizações de decodificação dos dados de imagem codificados das figuras das camadas 0 a 3 são corrigidas para serem as mesmas sincronizações de quando codificação for realizada, de forma que os intervalos de decodificação dos dados de imagem codificados das figuras de todas as camadas sejam intervalos iguais (1/120 segundo).

[00255] A modalidade exposta foi descrita em conexão com o exemplo da combinação de 60p (60 Hz) e 120p (120 Hz), mas a combinação das taxas de quadro não é limitada à mesma. Por exemplo, o mesmo se aplica até mesmo em uma combinação de 50p (50 Hz) e 100p (100 Hz).

[00256] Adicionalmente, na modalidade exposta, o sistema de transcepção 10 inclui o dispositivo de transmissão 100 e o dispositivo de recepção 200, mas uma configuração de um sistema de transcepção no qual a presente tecnologia é aplicada não é limitada ao mesmo. Por exemplo, uma porção do dispositivo de recepção 200 pode ter um receptor / decodificador integrado e um monitor que são conectados através de uma interface digital, tal como Interface Multimídia em Alta Definição (HDMI). Aqui, “HDMI” é uma marca registrada.

[00257] Adicionalmente, a modalidade exposta foi descrita em conexão com o contêiner que é o fluxo contínuo de transporte (MPEG-2 TS). Entretanto, a presente tecnologia também pode ser similarmente aplicada em um sistema que tem uma configuração distribuída para um terminal de recepção usando uma rede, tal como a Internet. Na distribuição pela Internet, a distribuição é frequentemente realizada através de um contêiner que tem formato MP4 ou qualquer outro formato. Em outras palavras, contêineres que têm vários formatos, tais como um fluxo contínuo de transporte (MPEG-2 TS) empregado em um padrão de difusão digital ou MP4 usado na distribuição pela Internet, são usados como o contêiner.

[00258] Adicionalmente, a presente tecnologia pode ter as seguintes configurações. (1) Um dispositivo de transmissão, que inclui: uma unidade de codificação de imagem que classifica dados de imagem das figuras que configuram dados de imagem em movimento em uma pluralidade de camadas, codifica os dados de imagem classificados das figuras de cada uma das camadas e gera um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de cada uma das camadas; uma unidade de transmissão que transmite um contêiner de um formato predeterminado que inclui o fluxo contínuo de vídeo; e uma unidade de inserção da informação de correção que insere informação de correção de tempo para corrigir uma sincronização de decodificação nos dados de imagem codificados e/ou um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada. (2) O dispositivo de transmissão de acordo com (1), em que a unidade de codificação de imagem realiza a codificação de forma que intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais. (3) O dispositivo de transmissão de acordo com (1), em que a unidade de codificação de imagem realiza a codificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais. (4) O dispositivo de transmissão de acordo com qualquer um de (1) até (3), em que a informação de tipo que identifica se a informação de correção de tempo é um primeiro tipo ou um segundo tipo é adicionada na informação de correção de tempo, o primeiro tipo indica que o fluxo contínuo de vídeo é codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais, e o segundo tipo indica que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais. (5) O dispositivo de transmissão de acordo com qualquer um de (1) até (4), em que, quando uma taxa de quadro pelas figuras que configuram os dados de imagem em movimento for uma primeira taxa de quadro, e uma taxa de quadro pelas figuras da camada predeterminada ou da camada inferior à camada predeterminada for uma segunda taxa de quadro, a segunda taxa de quadro é 1/2 vez a primeira taxa de quadro. (6) O dispositivo de transmissão de acordo com qualquer um de (1) até (5), em que a unidade de codificação de imagem divide a pluralidade de camadas em um número predeterminado (2 ou mais) de conjuntos de camada, e gera o número predeterminado de fluxos contínuos de vídeo que incluem os dados de imagem codificados divididos das figuras de cada um dos conjuntos de camada, e a camada predeterminada ou a camada inferior à camada predeterminada e uma camada superior à camada predeterminada pertencem a diferentes conjuntos de camada. (7) O dispositivo de transmissão de acordo com qualquer um de (1) até (6), em que o contêiner é um fluxo contínuo de transporte, e a unidade de inserção da informação de correção insere a informação de correção de tempo em uma extensão depositada de um pacote PES. (8) O dispositivo de transmissão de acordo com qualquer um de (1) até (7), que inclui adicionalmente uma unidade de inserção de informação de identificação que insere informação de identificação que identifica que a informação de correção de tempo é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados na camada do contêiner. (9) Um método de transmissão, que inclui: uma etapa de classificação de dados de imagem das figuras que configuram dados de imagem em movimento em uma pluralidade de camadas, codificação dos dados de imagem classificados das figuras de cada uma das camadas e geração de um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de cada uma das camadas; uma etapa de transmissão, por uma unidade de transmissão, de um contêiner de um formato predeterminado que inclui o fluxo contínuo de vídeo gerado; e uma etapa de inserção da informação de correção de tempo para corrigir uma sincronização de decodificação nos dados de imagem codificados e/ou um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada. (10) Um dispositivo de recepção, que inclui: uma unidade de recepção que recebe um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e uma unidade de processamento que processa o fluxo contínuo de vídeo, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo. (11) O dispositivo de recepção de acordo com (10), em que o fluxo contínuo de vídeo é codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais. (12) O dispositivo de recepção de acordo com (10), em que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais. (13) Um dispositivo de recepção, que inclui: uma unidade de recepção que recebe um contêiner de um formato predeterminado que inclui um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e uma unidade de processamento de decodificação de imagem que obtém dados de imagem pela tomada seletiva dos dados de imagem codificados das figuras da camada de acordo com uma capacidade de decodificação em um buffer a partir do fluxo contínuo de vídeo e decodificação dos dados de imagem codificados das figuras tomadas no buffer, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo, e a unidade de processamento de decodificação de imagem corrige as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados. (14) O dispositivo de recepção de acordo com (13), em que a informação de tipo que identifica se a informação de correção de tempo é um primeiro tipo ou um segundo tipo é adicionada na informação de correção de tempo, o primeiro tipo indica que o fluxo contínuo de vídeo é codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais, o segundo tipo indica que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e a informação de correção de tempo é a informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais, e a unidade de processamento de decodificação de imagem realiza comutação entre correção da sincronização de decodificação realizada usando a informação de correção de tempo quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados e correção da sincronização de decodificação realizada usando a informação de correção de tempo quando os dados de imagem codificados das figuras de todas as camadas forem decodificados com base na informação de tipo adicionada na informação de correção de tempo. (15) O dispositivo de recepção de acordo com (13) ou (14), em que o fluxo contínuo de vídeo é codificado de forma que os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento sejam intervalos iguais, a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam intervalos iguais, e a unidade de processamento de decodificação de imagem corrige as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados. (16) O dispositivo de recepção de acordo com (13) ou (14), em que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às sincronizações de decodificação quando os dados de imagem codificados das figuras que configuram os dados de imagem em movimento compreenderem intervalos iguais, e a unidade de processamento de decodificação de imagem corrige as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo quando os dados de imagem codificados das figuras de todas as camadas forem decodificados. (17) O dispositivo de recepção de acordo com qualquer um de (13) até (16), em que, quando os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada ou todas as camadas tomadas no buffer forem incluídos em uma pluralidade de fluxos contínuos de vídeo, a unidade de processamento de decodificação de imagem combina os dados de imagem codificados das figuras em um fluxo contínuo em uma ordem de sincronização de decodificação com base na informação de sincronização de decodificação e toma o um fluxo contínuo no buffer. (18) Um método de recepção, que inclui: uma etapa de recepção para receber, por uma unidade de recepção, um contêiner de um formato predeterminado que inclui um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e uma etapa de processamento de decodificação de imagem para obter dados de imagem pela tomada seletiva dos dados de imagem codificados das figuras da camada de acordo com uma capacidade de decodificação em um buffer a partir do fluxo contínuo de vídeo e decodificação dos dados de imagem codificados das figuras tomadas no buffer, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo, e na etapa de processamento de decodificação de imagem, as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados.

[00259] Um dos principais recursos da presente tecnologia reside em que a informação de correção de tempo para corrigir a sincronização de decodificação é inserida nos dados de imagem codificados ou na extensão PES em associação com cada um dos dados de imagem codificados das figuras da camada predeterminada ou da camada (camada inferior) inferior à camada predeterminada que podem ser processados pelo receptor que não suporta HFR e transmitidos e, assim, é possível realizar excelente reprodução independente se o lado da recepção suportar ou não a alta taxa de quadro (veja as figuras 8 e 10). LISTA DOS SINAIS DE REFERÊNCIA 10 Sistema de transcepção 100 Dispositivo de transmissão 101 CPU 102 Codificador 103 Buffer de dados comprimidos (cpb) 104 Multiplexador 105 Unidade de transmissão 121 Unidade de geração do ID temporal 122 Unidade de controle do atraso de buffer 123 Unidade de definição de HRD 124 Unidade de codificação do conjunto de parâmetro / SEI 125 Unidade de codificação de fatia 126 Unidade de empacotamento de NAL 142 Unidade de codificação da seção 143-1 até 143-N Unidade de empacotamento de PES 144 Unidade de comutação 145 Unidade de empacotamento de transporte 200 Dispositivo de recepção 201 CPU 202 Unidade de recepção 203 Demultiplexador 204 Buffer de dados comprimidos (cpb) 205 Decodificador 206 Buffer de dados não comprimidos (dpb) 207 Unidade de pós-processamento 231, 241 Unidade de filtro PID 232, 242 Analisador sintático de seção 233, 243 Analisador sintático de pacote PES 234, 244 Unidade de processamento de transformada DTS 235, 236, 245 Processador da unidade de acesso 251 Unidade de análise do ID temporal 252 Unidade de seleção da camada alvo 254 Unidade de decodificação 271 Unidade de interpolação 272 Unidade de subamostragem 273 Unidade de comutação

Claims

1. Dispositivo de transmissão (100), compreendendo: uma unidade de codificação de imagem (102) configurada para classificar dados de imagem de figuras que configuram dados de imagem em movimento em uma pluralidade de camadas, codificar os dados de imagem classificados das figuras de cada uma das camadas e gerar um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de cada uma das camadas; uma unidade de transmissão (105) configurada para transmitir um contêiner de um formato predeterminado que inclui o fluxo contínuo de vídeo; e uma unidade de inserção da informação de correção (104) configurada para inserir informação de correção de tempo para corrigir uma sincronização de decodificação nos dados de imagem codificados e/ou um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada caracterizado pelo fato de que a unidade de codificação de imagem (105) é adicionalmente configurada para realizar a codificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e que a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às respectivas sincronizações de decodificação das figuras da cada predeterminada ou da camada inferior à camada predeterminada quando todas as figuras de todas as camadas dos dados de imagem em movimento são decodificadas em intervalos iguais.

2. Dispositivo de transmissão de acordo com a reivindicação 1, caracterizado pelo fato de que, quando uma taxa de quadro pelas figuras que configuram os dados de imagem em movimento for uma primeira taxa de quadro, e uma taxa de quadro pelas figuras da camada predeterminada ou da camada inferior à camada predeterminada for uma segunda taxa de quadro, a segunda taxa de quadro é 1/2 vez a primeira taxa de quadro.

3. Dispositivo de transmissão de acordo com qualquer uma das reivindicações 1 a 2, caracterizado pelo fato de que a unidade de codificação de imagem (102) divide a pluralidade de camadas em um número predeterminado, 2 ou mais, de conjuntos de camada, e gera o número predeterminado de fluxos contínuos de vídeo que incluem os dados de imagem codificados divididos das figuras de cada um dos conjuntos de camada, e a camada predeterminada ou a camada inferior à camada predeterminada e uma camada superior à camada predeterminada pertencem a diferentes conjuntos de camada.

4. Dispositivo de transmissão de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que o contêiner é um fluxo contínuo de transporte, e a unidade de inserção da informação de correção (104) configurada para inserir a informação de correção de tempo em uma extensão depositada de um pacote PES.

5. Dispositivo de transmissão de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que compreende adicionalmente, uma unidade de inserção de informação de identificação (104) configurada para inserir informação de identificação que identifica que a informação de correção de tempo é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados na camada do contêiner.

6. Método de transmissão, compreendendo: uma etapa de classificação de dados de imagem de figuras que configuram dados de imagem em movimento em uma pluralidade de camadas, codificação dos dados de imagem classificados das figuras de cada uma das camadas e geração de um fluxo contínuo de vídeo que inclui os dados de imagem codificados das figuras de cada uma das camadas; uma etapa de transmissão, por uma unidade de transmissão (105), de um contêiner de um formato predeterminado que inclui o fluxo contínuo de vídeo gerado; e uma etapa de inserção da informação de correção de tempo para corrigir uma sincronização de decodificação nos dados de imagem codificados e/ou um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada caracterizado pelo fato de que a codificação é realizada de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, e que a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às respectivas sincronizações de decodificação das figuras da cada predeterminada ou da camada inferior à camada predeterminada quando todas as figuras de todas as camadas dos dados de imagem em movimento são decodificadas em intervalos iguais.

7. Dispositivo de recepção (200), compreendendo: uma unidade de recepção (202) configurada para receber um contêiner de um formato predeterminado e um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e uma unidade de processamento (205) configurada para obter dados de imagem pela tomada seletiva dos dados de imagem codificados das figuras da camada de acordo com uma capacidade de decodificação em um buffer do fluxo contínuo de vídeo e decodificar os dados de imagem codificados das figuras tomadas no buffer, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo; e a unidade de processamento de decodificação de imagem (205) é configurada para corrigir as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados, caracterizado pelo fato de que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, que a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às respectivas sincronizações de decodificação das figuras da cada predeterminada ou da camada inferior à camada predeterminada quando todas as figuras de todas as camadas dos dados de imagem em movimento são decodificadas em intervalos iguais, e a unidade de processamento de decodificação de imagem (205) é adicionalmente configurada para corrigir as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada usando a informação de correção de tempo quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados.

8. Método de recepção, caracterizado pelo fato de que compreende: uma etapa de recepção para receber, por uma unidade de recepção (202), um contêiner de um formato predeterminado que inclui um fluxo contínuo de vídeo que inclui dados de imagem codificados das figuras de cada uma das camadas obtidas de maneira tal que dados de imagem das figuras que configuram dados de imagem em movimento sejam classificados em uma pluralidade de camadas e codificados; e uma etapa de processamento de decodificação de imagem para obter dados de imagem pela tomada seletiva dos dados de imagem codificados das figuras da camada de acordo com uma capacidade de decodificação em um buffer a partir do fluxo contínuo de vídeo e decodificação dos dados de imagem codificados das figuras tomadas no buffer, em que a informação de correção de tempo para corrigir uma sincronização de decodificação é inserida nos dados de imagem codificados e/ou em um pacote que contém os dados de imagem codificados em associação com cada um dos dados de imagem codificados das figuras de uma camada predeterminada ou uma camada inferior à camada predeterminada dentre os dados de imagem codificados das figuras das camadas incluídos no fluxo contínuo de vídeo, e na etapa de processamento de decodificação de imagem, as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo de acordo com se apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são decodificados ou os dados de imagem codificados das figuras de todas as camadas são decodificados caracterizado pelo fato de que o fluxo contínuo de vídeo é codificado de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras de uma camada superior à camada predeterminada sejam as mesmas sincronizações de decodificação quando os intervalos de decodificação dos dados de imagem codificados das figuras que configuram os dados de imagem em movimento forem intervalos iguais, e os intervalos de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem intervalos iguais, que a informação de correção de tempo é informação para corrigir a sincronização de decodificação de forma que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada sejam iguais às respectivas sincronizações de decodificação das figuras da cada predeterminada ou da camada inferior à camada predeterminada quando todas as figuras de todas as camadas dos dados de imagem em movimento são decodificadas em intervalos iguais, e que as sincronizações de decodificação dos dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada são corrigidas usando a informação de correção de tempo quando apenas os dados de imagem codificados das figuras da camada predeterminada ou da camada inferior à camada predeterminada forem decodificados.