BR112014032108B1 - Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção - Google Patents

Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção Download PDF

Info

Publication number
BR112014032108B1
BR112014032108B1 BR112014032108-6A BR112014032108A BR112014032108B1 BR 112014032108 B1 BR112014032108 B1 BR 112014032108B1 BR 112014032108 A BR112014032108 A BR 112014032108A BR 112014032108 B1 BR112014032108 B1 BR 112014032108B1
Authority
BR
Brazil
Prior art keywords
layer
frame
image data
layers
container
Prior art date
Application number
BR112014032108-6A
Other languages
English (en)
Other versions
BR112014032108A2 (pt
Inventor
Keiji Yuzawa
Teruhiko Suzuki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112014032108A2 publication Critical patent/BR112014032108A2/pt
Publication of BR112014032108B1 publication Critical patent/BR112014032108B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

DISPOSITIVOS TRANSMISSOR, RECEPTOR, DE CODIFICAÇÃO E DE DECODIFICAÇÃO, E, MÉTODOS DE TRANSMISSÃO E DE RECEPÇÃO. O propósito da presente invenção é alcançar, com facilidade, um serviço de alta frequência de quadro. Dados de imagem para cada um de uma pluralidade de quadros configurando dados de imagem de vídeo são categorizados em uma pluralidade de camadas. Dados de imagem de cada camada são codificados tal que quadros aos quais os dados de imagem se referem pertençam à mesma camada como os dados de imagem e/ou uma camada mais baixa que a camada de dados de imagem. Um recipiente tendo um formato prescrito e incluindo um fluxo de vídeo tendo os dados de imagem codificados de cada camada é transmitido. Como resultado, só um programa ou um arquivo é transmitido, e assim um serviço que pode operar várias frequências de quadro pode ser provido, e custos administrativos podem ser reduzidos. No lado de recepção, dados de imagem codificados de camadas iguais ou mais baixas que uma camada prescrita podem ser extraídos e decodificados seletivamente, e reproduzidos a uma frequência de quadro adequada para a capacidade de reprodução do dispositivo, por esse meio promovendo efetivamente a distribuição de dispositivos de recepção.

Description

Campo Técnico
[001] A tecnologia presente relaciona-se a um dispositivo transmissor, um método de transmissão, um dispositivo de codificação, um dispositivo receptor, um método de recepção, e um dispositivo de decodificação, e mais particularmente, a um dispositivo transmissor e similar habilitando um serviço de alta frequência de quadro.
Técnica de Fundamento
[002] Ao prover imagens em movimento comprimidas através de radiodifusão ou serviços de rede e similar, o limite superior da frequência de quadro que pode ser reproduzido está restringido pelo desempenho do receptor. Consequentemente, o lado de serviço é exigido levar em conta o desempenho de reprodução de receptores prevalecentes, e restringir o serviço a baixa frequência de quadro somente, ou prover simultaneamente múltiplos serviços de alto grau e baixo grau.
[003] Adicionar apoio para serviços de alta frequência de quadro aumenta o custo do receptor, e se toma uma barreira à adoção. Se só receptores baratos dedicados a serviços de baixa frequência de quadro forem difundidos, e no futuro o lado de serviço começar um serviço de alta frequência de quadro, o novo serviço é completamente impossível de assistir sem um novo receptor, que se toma uma barreira à adoção do serviço.
[004] Esquemas de compressão de imagem em movimento tal como H.264/AVC (Codificação de Vídeo Avançada) (veja Literatura Não Patente 1) são compostos geralmente dos seguintes três tipos de quadros. Quadro I: decodificável por si só Quadro P: decodificável por si só com referência a um quadro I ou outro quadro P Quadro B: decodificável por si só com referência a um quadro I, um quadro P, ou outro quadro B.
[005] Utilizando esta propriedade, reprodução dizimada em quadro é possível até certo ponto, tal como reproduzindo só quadros I e quadros P, por exemplo. Porém, com este método, reprodução fmamente dizimada é difícil, e uso como um serviço prático é desafiador.
Lista de Citação Literatura Não Patente
[006] Literatura Não Patente 1: ITU-T H.264 (06/2011), "Advanced video coding for generic audiovisual services".
Sumário da Invenção Problema Técnico
[007] Um objetivo da tecnologia presente é alcançar com facilidade um serviço de alta frequência de quadro.
Solução para o Problema
[008] De acordo com um aspecto da tecnologia presente, é provido um dispositivo transmissor incluindo uma seção de classificação hierárquica que classifica dados de imagem de cada quadro constituindo dados de imagem em movimento em uma pluralidade de camadas, uma seção de codificação de imagem que codifica os dados de imagem classificados de cada camada, e gera um fluxo de vídeo contendo os dados de imagem codificados de cada camada, e uma seção transmissora que transmite um recipiente em um formato prescrito que inclui o fluxo de vídeo gerado. A seção de codificação de imagem executa codificação de forma que um quadro referenciado pertença a uma camada dos dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[009] Na tecnologia presente, os dados de imagem de cada quadro constituindo dados de imagem em movimento são classificados em múltiplas camadas por uma seção de classificação hierárquica. Os dados de imagem de cada camada são codificados por uma seção de codificação de imagem, e um fluxo de vídeo contendo os dados de imagem codificados de cada camada é gerado. Neste caso, dados de imagem são codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[0010] Um recipiente em um formato prescrito que inclui o fluxo de vídeo anterior é transmitido por uma seção transmissora. Por exemplo, o recipiente pode ser o fluxo de transporte (MPEG-2 TS) adotado em padrões de radiodifusão digital. Como outro exemplo, o recipiente pode ser MP4 usado na entrega de Internet e similar, ou um recipiente em algum outro formato.
[0011] Deste modo, na tecnologia presente, os dados de imagem de cada quadro constituindo dados de imagem em movimento são classificados em uma pluralidade de camadas, e um fluxo de vídeo contendo os dados de imagem codificados de cada camada é transmitido. Por esta razão, transmitindo simplesmente um programa ou um arquivo, um serviço suportando várias frequências de quadro pode ser provido, e uma redução em custos operacionais se toma possível.
[0012] Também, no lado de recepção, os dados de imagem codificados em uma camada prescrita e camadas inferiores podem ser recobrados e decodificados seletivamente, habilitando reprodução a uma frequência de quadro adequada ao desempenho de reprodução do próprio lado de recepção, por esse meio promovendo efetivamente a adoção de receptores. Aqui, dados de imagem são codificados de forma que um quadro referenciado pertença à camada dos dados imagem de referência e/ou uma camada mais baixa que uma camada de dados de imagem de referência, e a um receptor, o desempenho de reprodução do próprio receptor pode ser usado efetivamente sem precisar decodificar camadas mais altas que a camada prescrita.
[0013] Note que na tecnologia presente, por exemplo, a seção de codificação de imagem pode ser configurada para gerar um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e para cada quadro, adicionar informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada. Neste caso, no lado de recepção, é possível conduzir boa recuperação seletiva de dados de imagem codificados em uma camada prescrita e camadas inferiores, na base da informação de identificação de camada.
[0014] Também, na tecnologia presente, por exemplo, a seção de classificação hierárquica pode ser configurada para classificar os dados de imagem de cada quadro constituindo os dados de imagem em movimento em uma pluralidade de camadas de forma que, exceto para a camada inferior, os quadros pertencendo a cada camada sejam iguais em número aos quadros pertencendo a todas as camadas inferiores, e além disso, estão posicionados no centro temporal entre os quadros pertencendo a todas as camadas inferiores. Neste caso, a frequência de quadro dobra toda vez que a camada é elevada por um, e assim no lado de recepção, fica possível reconhecer facilmente a frequência de quadro em cada camada só com a informação de frequência de quadro dos quadros na camada inferior.
[0015] Também, a tecnologia presente pode ser configurada para incluir adicionalmente uma seção de inserção de informação que insere, no recipiente, informação de frequência de quadro de quadros em uma camada inferior e informação de número de camada indicando o número da pluralidade de camadas. Por exemplo, pode ser configurado de forma que a informação seja inserida em uma camada de recipiente ou uma camada de vídeo. Neste caso, no lado de recepção, fica possível adquirir facilmente a informação de frequência de quadro dos quadros na camada inferior e a informação de número de camada indicando o número da pluralidade de camadas.
[0016] Também, na tecnologia presente, por exemplo, a seção de inserção de informação pode ser configurada de forma que, ao inserir a informação na camada de vídeo, a seção de inserção de informação insira adicionalmente, na camada de recipiente, informação de identificação que identifica se ou não uma inserção da informação na camada de vídeo existe. Neste caso, no lado de recepção, fica possível saber se ou não informação de frequência de quadro dos quadros na camada inferior e informação de número de camada indicando o número da pluralidade de camadas está inserida no fluxo de vídeo, sem decodificar o fluxo de vídeo.
[0017] Também, a tecnologia presente pode ser configurada para gerar uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados para cada camada, por exemplo. Neste caso, por exemplo, a tecnologia presente pode ser configurada para incluir adicionalmente uma seção de inserção de informação de identificação que insere informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada na camada de recipiente. Neste caso, no lado de recepção, é possível conduzir boa recuperação seletiva de dados de imagem codificados em uma camada prescrita e camadas inferiores, na base da informação de identificação de fluxo.
[0018] De acordo com outro aspecto da tecnologia presente, é provido um dispositivo receptor incluindo uma seção receptora que recebe um recipiente em um formato prescrito que inclui um fluxo imagem contendo dados de imagem de cada quadro constituindo dados de imagem em movimento, os dados de imagem estando classificados em uma pluralidade de camadas e codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência, uma seção de decodificação de imagem que recobra e decodifica seletivamente dados de imagem codificados de uma camada prescrita e camadas inferiores do fluxo de vídeo incluído no recipiente recebido, e obtém dados de imagem de cada quadro, e uma seção de ajuste de velocidade de reprodução que ajusta uma velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro a uma frequência de quadro de quadros na camada prescrita.
[0019] Na tecnologia presente, um recipiente em um formato prescrito é recebido por uma seção receptora. O recipiente inclui um fluxo de vídeo contendo dados de imagem de cada quadro constituindo dados de imagem em movimento, os dados de imagem estando classificados em uma pluralidade de camadas e codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência. Por exemplo, o recipiente pode ser o fluxo de transporte (MPEG-2 TS) adotado em padrões de radiodifusão digital. Como outro exemplo, o recipiente pode ser MP4 usado em entrega de Internet e similar, ou um recipiente em algum outro formato.
[0020] Os dados de imagem codificados em uma camada prescrita e camadas inferiores são recobrados e decodificados seletivamente do fluxo de vídeo incluído no recipiente por uma seção de decodifícação de imagem, e os dados de imagem de cada quadro são obtidos. Subsequentemente, a velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro é ajustada por uma seção de ajuste de velocidade de reprodução, de modo a casar com a frequência de quadro dos quadros na camada prescrita.
[0021] Por exemplo, a tecnologia presente pode ser configurada de forma que informação de frequência de quadro de quadros em uma camada mais baixa e informação de número de camada indicando o número da pluralidade de camadas sejam inseridas no recipiente, e a tecnologia presente pode incluir adicionalmente uma seção de controle que, na base da informação inserida no recipiente e do desempenho de decodifícação do próprio dispositivo receptor, controla uma camada de decodifícação na seção de decodificação de imagem, e controla a velocidade de reprodução de imagem na seção de ajuste de velocidade de reprodução.
[0022] Deste modo, na tecnologia presente, os dados de imagem codificados em uma camada prescrita e camadas inferiores podem ser recobrados e decodificados seletivamente, habilitando reprodução a uma frequência de quadro adequada ao desempenho de reprodução do próprio dispositivo receptor. Também, dados de imagem são codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência, e o desempenho de reprodução do próprio dispositivo receptor pode ser usado efetivamente sem precisar decodificar camadas mais altas que a camada prescrita.
[0023] Note que a tecnologia presente pode ser configurada de forma que, por exemplo, um único fluxo de vídeo contendo os dados de imagem codificados de cada camada seja incluído no recipiente, e para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro é adicionada aos dados de imagem codificados de cada camada. A seção de decodificação de imagem recobra e decodifica seletivamente dados de imagem codificados na camada prescrita e camadas inferiores do único fluxo de vídeo na base da informação de identificação de camada. Neste caso, até mesmo se o recipiente incluir um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, boa recuperação seletiva dos dados de imagem codificados na camada prescrita e camadas inferiores pode ser conduzida.
[0024] Também, a tecnologia presente pode ser configurada de forma que, por exemplo, uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados para cada uma da pluralidade de camadas seja incluída no recipiente, e informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada é inserida na camada de recipiente. A seção de codificação de imagem recobra e decodifica seletivamente dados de imagem codificados dos fluxos de vídeo de uma camada prescrita e camadas inferiores na base da informação de identificação de fluxo. Neste caso, até mesmo se o recipiente incluir uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados de cada camada, boa recuperação seletiva dos dados de imagem codificados na camada prescrita e camadas inferiores pode ser conduzida.
Efeitos Vantajosos da Invenção
[0025] De acordo com a tecnologia presente, é possível alcançar facilmente um serviço de alta frequência de quadro.
Breve Descrição dos Desenhos
[0026] A FIG. 1 é um diagrama de bloco ilustrando uma configuração exemplar de um sistema de transmissão/recepção de TV como uma concretização exemplar.
[0027] A FIG. 2 é um diagrama de bloco ilustrando uma configuração exemplar de um transmissor de TV constituindo um sistema de transmissão/recepção de TV.
[0028] A FIG. 3 é um diagrama ilustrando um exemplo de classificação hierárquica e codificação de imagem.
[0029] A FIG. 4 é um diagrama para explicar a posição de colocação de informação de identificação hierárquica (temporal_id).
[0030] A FIG. 5 é um diagrama para explicar a posição de colocação de um descritor de FPS (fpsdescriptor).
[0031] A FIG. 6 é um diagrama ilustrando sintaxe de exemplo de um descritor de FPS.
[0032] A FIG. 7 é um diagrama ilustrando sintaxe de exemplo de FPS info (fps_info) inserida como uma mensagem de SEI na porção de "SEIs" de uma unidade de acesso, e sintaxe de exemplo de um descritor de existe FPS (fps exit-descriptor) colocado debaixo de uma PMT.
[0033] A FIG. 8 é um diagrama de bloco ilustrando uma configuração exemplar de um receptor de TV constituindo um sistema de transmissão/recepção de TV.
[0034] A FIG. 9 é um fluxograma ilustrando um exemplo de uma sequência de processamento de transmissão no caso em que um descritor de FPS (fps_descriptor) está colocado no mesmo PID e debaixo de uma PMT.
[0035] A FIG. 10 é um fluxograma ilustrando um exemplo de uma sequência de processamento de recepção no caso em que um descritor de FPS (fps_descriptor) está colocado no mesmo PID e debaixo de uma PMT.
[0036] A FIG. 11 é um fluxograma ilustrando um exemplo de uma sequência de processamento de transmissão no caso de adicionar uma mensagem de SEI de FPS info (fps_info) no mesmo PID.
[0037] A FIG. 12 é um fluxograma ilustrando um exemplo de uma sequência de processamento de recepção no caso em que uma mensagem de SEI de FPS info (fps_info) está adicionada no mesmo PID.
[0038] A FIG. 13 é um diagrama ilustrando a alocação de camadas respectivas de acordo com PIDs diferentes no caso de gerar múltiplos fluxos de vídeo tendo dados de imagem em cada uma das múltiplas camadas durante codificação de imagem.
[0039] A FIG. 14 é um diagrama ilustrando sintaxe de exemplo de um descritor de estrutura (structure descriptor) colocado debaixo de uma PMT.
[0040] A FIG. 15 é um diagrama ilustrando um exemplo de usar uma mensagem de SEI de FPS info (fpsjnfo) no caso de gerar múltiplos fluxos de vídeo tendo dados de imagem em cada uma das múltiplas camadas durante codificação de imagem.
[0041] A FIG. 16 é um fluxograma ilustrando um exemplo de uma sequência de processamento de transmissão no caso em que um descritor de FPS (fps descriptor) está colocado em PIDs diferentes e debaixo de uma PMT.
[0042] A FIG. 17 é um fluxograma ilustrando um exemplo de uma sequência de processamento de recepção no caso em que um descritor de FPS (fps_descriptor) está colocado em PIDs diferentes e debaixo de uma PMT.
[0043] A FIG. 18 é um fluxograma ilustrando um exemplo de uma sequência de processamento de transmissão no caso de adicionar uma mensagem de SEI de FPS info (fps info) em PIDs diferentes.
[0044] A FIG. 19 é um fluxograma ilustrando um exemplo de uma sequência de processamento de recepção no caso em que uma mensagem de SEI de FPS info (fps info) está adicionada em PIDs diferentes.
[0045] A FIG. 20 é um diagrama ilustrando uma comparação de informação adicional para quatro métodos de (a) declarações de sintaxe com o mesmo PID (PES) e na PMT, (b) declarações de sintaxe com o mesmo PID (PES) e na SEI, (c) declarações de sintaxe em PIDs diferentes (PES) e na PMT, e (d) declarações de sintaxe em PIDs diferentes (PES) e na SEI.
[0046] A FIG. 21 é um diagrama para explicar outro exemplo de classificação hierárquica e codificação de imagem.
[0047] A FIG. 22 é um diagrama para explicar outro exemplo de classificação hierárquica e codificação de imagem.
[0048] A FIG. 23 é um diagrama para explicar outro exemplo de classificação hierárquica e codificação de imagem.
Descrição das Concretizações
[0049] Doravante, concretizações para executar a invenção (doravante designadas as concretizações exemplares) serão descritas. Doravante, a descrição procederá na ordem seguinte. 1. Concretizações exemplares 2. Modificações exemplares
1. Concretizações exemplares Sistema de transmissão/recepção de TV
[0050] A FIG. 1 ilustra uma configuração exemplar de um sistema de transmissao/recepção de televisão (TV) 10 como uma concretização exemplar. O sistema de transmissão/recepção de TV 10 inclui um transmissor de TV 100 e um receptor de TV 200.
[0051] O transmissor de TV 100 transmite um fluxo de transporte TS que atua como um recipiente em uma onda portadora. No fluxo de transporte TS, os dados de imagem de cada quadro constituindo dados de imagem em movimento são classificados em múltiplas camadas, e o fluxo de transporte TS inclui um único fluxo de vídeo contendo os dados codificados dos dados de imagem em cada camada. Neste caso, codificação tal como H.264/AVC é executada, por exemplo, de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[0052] Neste caso, os dados de imagem de cada quadro constituindo os dados de imagem em movimento são classificados em múltiplas camadas de forma que, exceto para a camada inferior, os quadros pertencendo a cada camada sejam iguais em número aos quadros pertencendo a todas as camadas inferiores, e além disso, estejam posicionados nos centros temporais entre os quadros pertencendo a todas as camadas inferiores. Com uma tal classificação, a frequência de quadro dobra toda vez que a camada é elevada por um, e assim no lado de recepção, fica possível reconhecer facilmente a frequência de quadro em cada camada só com a informação de frequência de quadro dos quadros na camada inferior.
[0053] Para cada quadro, informação de identificação de camada para identificar a camada de contenção é adicionada aos dados de imagem codificados de cada camada. Nesta concretização exemplar, informação de identificação de camada (temporal_id) está colocada na parte de cabeçalho da unidade de NAL (nal_unit) de cada quadro. Como resultado de informação de identificação de camada sendo adicionada deste modo, no lado de recepção, é possível conduzir boa recuperação seletiva de dados de imagem codificados em uma camada prescrita e camadas inferiores.
[0054] Informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das múltiplas camadas é inserida no fluxo de transporte TS. Esta informação é inserida na camada de transporte ou na camada de vídeo. Por exemplo, esta informação é inserida em declarações debaixo de uma malha elementar de vídeo debaixo de uma tabela de mapa de programa (PMT). Como outro exemplo, esta informação é inserida como uma mensagem de SEI na parte de "SEIs" de uma unidade de acesso. Como resultado de informação de frequência de quadro e informação de número de camada sendo inseridas deste modo, no lado de recepção, fica possível adquirir esta informação facilmente.
[0055] O receptor de TV 200 recebe o fluxo de transporte TS anterior enviado do transmissor de TV 100 em uma onda portadora. O receptor de TV 200 recobra e decodifica seletivamente os dados de imagem codificados de uma camada prescrita e camadas inferiores do fluxo de vídeo incluído no fluxo de transporte TS, adquire os dados de imagem de cada quadro, e conduz reprodução de imagem. Neste caso, a velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro é ajustada para casar com a frequência de quadro dos quadros na camada prescrita.
[0056] Como discutido anteriormente, informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das múltiplas camadas é inserida no fluxo de transporte TS. No receptor de TV 200, a camada de decodificação é controlada na base desta informação e do desempenho de decodificação do próprio receptor de TV 200, e além disso, a velocidade de reprodução de imagem é controlada.
Configuração Exemplar de Transmissor de TV
[0057] A FIG. 2 ilustra uma configuração exemplar do transmissor de TV 100. O transmissor de TV 100 inclui uma seção de provisão de dados de imagem em movimento originais 101, um dispositivo de decodificação 102, uma seção de classificação hierárquica 103, uma seção de codificação de imagem 104, uma seção de codificação de áudio 105, uma seção de multiplexação 106, uma seção produtora de informação adicional 107 e uma seção de antena de modulação/transmissão 108.
[0058] A seção de provisão de dados de imagem em movimento originais 101 recobra dados de imagem em movimento originais (dados de imagem, dados de áudio) armazenados em um formato de compressão profissional apropriado em um dispositivo tal como uma unidade de disco rígido (HDD), e provê os dados de imagem em movimento originais recobrados para o dispositivo de decodificação 102. O dispositivo de decodificação 102 decodifica os dados de imagem em movimento originais, e produz dados de imagem não comprimidos e dados de áudio não comprimidos.
[0059] A seção de classificação hierárquica 103 classifica os dados de imagem de cada quadro constituindo os dados de imagem não comprimidos em múltiplas camadas. Por exemplo, como ilustrado no desenho, dados de imagem são classificados nas três camadas de uma primeira camada, uma segunda camada e uma terceira camada. Aqui, a seção de classificação hierárquica 103 conduz classificação de forma que, exceto para a camada mais baixa, os quadros pertencendo a cada camada sejam iguais em número aos quadros pertencendo a todas as camadas inferiores, e além disso, estejam posicionados no centro temporal entre os quadros pertencendo a todas as camadas inferiores.
[0060] A seção de codificação de imagem 104 codifica os dados de imagem classificados de cada camada, e gera um fluxo de vídeo (fluxo elementar de vídeo) contendo os dados de imagem codificados de cada camada. Aqui, a seção de codificação de imagem 104 conduz codificação tal como H.264/AVC, por exemplo, de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[0061] A FIG. 3 ilustra um exemplo de classificação hierárquica e codificação de imagem. Este exemplo é um exemplo de classificar os dados de imagem de cada quadro em três camadas de uma primeira camada a uma terceira camada. Neste exemplo, quadros I (intra-quadros) e quadros P (quadros preditivos) são feitos pertencerem à primeira camada. Um quadro I não referencia outro quadro, enquanto um quadro P só referencia um quadro I ou um quadro P. Por esta razão, a primeira camada é decodificável só com primeiros quadros de camada.
[0062] Além disso, quadros B (quadros preditivos bidirecionais) estão colocados nas posições de centro temporais entre os quadros respectivos na primeira camada, e são feitos pertencerem à segunda camada. Os quadros B na segunda camada são codificados de modo a referenciar só quadros pertencendo a uma camada combinada da segunda camada e/ou da primeira camada.
[0063] Neste exemplo, quadros B na segunda camada são feitos referenciar só quadros I e quadros P na primeira camada. Por esta razão, a segunda camada é decodificável com só a primeira/segunda camadas combinadas. Também, comparado ao caso de decodificar a primeira camada somente, a frequência de quadro é dobrada ao decodificar a primeira/segunda camadas combinadas.
[0064] Além disso, quadros B estão colocados nas posições de centro temporais entre os quadros respectivos na primeira/segunda camadas combinadas, e são feitos pertencerem à terceira camada. Os quadros B na terceira camada são feitos referenciar só quadros pertencendo à terceira camada e/ou primeira/segunda camadas combinadas. Por esta razão, a terceira camada é decodificável só com a primeira a terceira camadas combinadas. Também, comparado ao caso de decodificar a primeira/segunda camadas combinadas somente, a frequência de quadro é dobrada ao decodificar a primeira a terceira camadas combinadas.
[0065] Na FIG. 3, as linhas tracejadas indicam relações de referência de quadro. Um quadro P na primeira camada referencia só o quadro I ou quadro P imediatamente prévio. Um quadro B na segunda camada referencia só o quadro I ou quadro P imediatamente prévio ou imediatamente seguinte na primeira camada. Um quadro B na terceira camada referencia só o quadro I, quadro P, ou quadro B imediatamente prévio ou imediatamente seguinte, na primeira/segunda camadas combinadas.
[0066] Para cada quadro, a seção de codificação de imagem 104 adiciona informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada. Em outras palavras, a seção de codificação de imagem 104 coloca de informação identificação de camada (temporal_id) na parte de cabeçalho da unidade de NAL (nal unit) de cada quadro.
[0067] A FIG. 4 ilustra a posição de colocação da informação de identificação de camada (temporal_id). Isto é, a informação de identificação de camada (temporal_id) está colocada na extensão de SVC de cabeçalho de unidade de NAL (Extensão de svc de cabeçalho), por exemplo. Adicionalmente, como ilustrado na FIG. 3, "temporal id=0" é nomeado a quadros pertencendo à primeira camada, "temporal_id=l" é nomeado a quadros pertencendo à segunda camada, e "temporal_id=3" é nomeado a quadros pertencendo à terceira camada.
[0068] No exemplo da FIG. 3, quando a frequência de quadro da primeira camada é só 30 fps, a frequência de quadro da primeira/segunda camadas combinadas é 60 fps, e a frequência de quadro da primeira a terceira camadas combinadas é 120 fps. Também, embora não ilustrado no desenho, é possível construir semelhantemente uma quarta camada e quinta camada.
[0069] Retomando à FIG. 2, a seção de codificação de áudio 105 executa codificação tal como MPEG-2 Áudio ou AAC nos dados de áudio não comprimidos, e gera um fluxo de áudio (fluxo elementar de áudio). A seção de multiplexação 106 multiplexa os fluxos elementares produzidos do codificador de vídeo 132 e do codificador de áudio 133. A seção de multiplexação 106 então produz um fluxo de transporte TS como dados de transporte.
[0070] A seção produtora de informação adicional 107 produz, e envia para a seção de multiplexação 106, informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das múltiplas camadas. A seção de multiplexação 106 insere esta informação na camada de transporte. Por exemplo, na malha de descritor debaixo de "ES_info_length" de uma tabela de mapa de programa (PMT), a seção de multiplexação 106 coloca um descritor de FPS definido recentemente (fps descriptor) declarando a informação de frequência de quadro e a informação de número de camada, como ilustrado na FIG. 5. Esta malha de descritor é o lugar que declara a informação de propriedade de cada fluxo elementar (elementary stream). O descritor de FPS é tratado como um descritor incluído entre o anterior.
[0071] A FIG. 6 ilustra sintaxe de exemplo do descritor de FPS. O campo de 8 bits "descriptor tag" indica a classe do descritor, e aqui indica que o descritor é o descritor de FPS. Por exemplo, o "OxfD" atualmente não usado é nomeado. O campo de 8 bits "descriptor_length" indica o comprimento de byte imediatamente seguinte, e aqui é "0x02".
[0072] O campo de 8 bits "base" expressa a informação de frequência de quadro de quadros na camada mais baixa, ou em outras palavras, a informação de frequência de quadro da primeira camada. Por exemplo, no caso de 30 fps como no exemplo ilustrado na FIG. 3, o valor é "0x1 e" indicando 30. O campo de 8 bits "max" expressa informação de número de camada indicando o número das múltiplas camadas. Por exemplo, no caso de camadas até a terceira camada como no exemplo ilustrado na FIG. 3, o valor é "0x03" indicando 3.
[0073] Deste modo, adicionando o descritor de FPS no lado de transmissão (lado de codificação), reprodução dizimada em quadro fica fácil no lado de recepção (lado de decodificação). Em outras palavras, é conhecido do conteúdo declarado do descritor de FPS que a frequência de quadro é 30 fps com a primeira camada somente, 60 fps com a primeira/segunda camadas combinadas, e 120 fps com a primeira a terceira camadas combinadas. Por exemplo, se o desempenho de decodificação no lado de recepção subir a um máximo de 60 fps, desta informação é conhecido que até a primeira/segunda camadas combinadas é decodificável. Adicionalmente, é conhecido que é suficiente decodificar os quadros com "temporal !d^O" e "temporal_id=l". Também, é conhecido que é suficiente reproduzir quadros decodificados a 60 fps.
[0074] Note que inserir a informação de frequência de quadro e a informação de número de camada na camada de vídeo, tal como, por exemplo, uma mensagem de SEI na parte de "SEIs" de uma unidade de acesso, também é concebível. Neste caso, a seção produtora de informação adicional 107 transmite esta informação para a seção de codificação de imagem 104, como indicado pela linha tracejada. Como ilustrado na FIG. 7(b), a seção de codificação de imagem 104 insere FPS info (fps_info) incluindo a informação de "base" e "max" como uma "mensagem de SEI fpsinfo" na parte de "SEIs" da unidade de acesso.
[0075] No caso de usar uma mensagem de SEI deste modo, a seção de multiplexação 106 insere informação de identificação identificando a existência dessa mensagem de SEI na camada de transporte. Por exemplo, na malha de descritor debaixo de "ES_info_length" da tabela de mapa de programa (PMT), a seção de multiplexação 106 coloca um descritor de existe FPS definido recentemente (fps exit descriptor), como ilustrado na FIG. 7(a).
[0076] O campo de 8 bits "descriptor_tag" indica a classe do descritor, e aqui indica que o descritor é o descritor de existe FPS. Por exemplo, o "0xf2 " atualmente não usado é nomeado. O campo de 8 bits "descriptor_length" indica o comprimento de byte imediatamente seguinte, e aqui é "0x01". O campo de 8 bits "fps exit" indica a existência de uma mensagem de SEI com FPS info inserida (fpsinfo). Por exemplo, "fps_exit=0" indica que a mensagem de SEI não existe, enquanto "fps_exit=l" indica que a mensagem de SEI existe.
[0077] Deste modo, adicionando o descritor de existe FPS no lado de transmissão (lado de codificação), o lado de recepção (lado de decodifícação) conhece a existência de uma mensagem de SEI com FPS info inserida (fps_info) que inclui a informação de frequência de quadro e a informação de número de camada. Se o descritor de existe FPS indicar a existência de uma mensagem de SEI, o lado de recepção (lado de decodifícação) extrai fpsinfo, e pode saber, dos valores de "base" e "max" dentro, quais quadros têm o "temporal id" que o lado de recepção (lado de decodifícação) ele mesmo deveria decodificar. Na base disso, o lado de recepção (lado de decodifícação) decodifica quadros com o "temporal_id" desejado.
[0078] Retornando à FIG. 2, a seção de antena de modulação/transmissão 108 modula o fluxo de transporte TS de acordo com um esquema de modulação adequado para radiodifusão, tal como QPSK/OFDM. A seção de antena de modulação/transmissão 108 então transmite um sinal de RF modulado de uma antena transmissora.
[0079] Operações do transmissor de TV 100 ilustrado na FIG. 2 serão descritas. Dados de imagem em movimento originais (dados de imagem, dados de áudio) armazenados em um formato de compressão profissional apropriado são providos da seção de provisão de dados de imagem em movimento originais 101 para o dispositivo de decodifícação 102. No dispositivo de decodifícação 102, os dados de imagem em movimento originais são decodificados, e dados de imagem não comprimidos e dados de áudio não comprimidos são obtidos.
[0080] Os dados de imagem não comprimidos obtidos pelo dispositivo de decodificação 102 são providos à seção de classificação hierárquica 103. Na seção de classificação hierárquica 103, os dados de imagem de cada quadro constituindo os dados de imagem não comprimidos são classificados em múltiplas camadas. Neste caso, quadros são classificados de forma que, exceto para a camada mais baixa, os quadros pertencendo a cada camada sejam iguais em número aos quadros pertencendo a todas as camadas inferiores, e além disso, estejam posicionados no centro temporal entre os quadros pertencendo a todas as camadas inferiores (veja FIG. 3).
[0081] Os dados de imagem de cada camada classificada hierarquicamente deste modo são providos à seção de codificação de imagem 104. Na seção de codificação de imagem 104, os dados de imagem classificados de cada camada são decodificados, e um fluxo de vídeo (fluxo elementar de vídeo) contendo os dados de imagem codificados de cada camada é gerado. Neste caso, codificação tal como H.264/AVC é conduzida, de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[0082] Neste caso, na seção de codificação de imagem 104, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro é adicionada aos dados de imagem codificados de cada camada. Em outras palavras, na seção de codificação de imagem 104, informação de identificação de camada (temporal_id) é colocada na parte de cabeçalho da unidade de NAL (nal unit) de cada quadro (veja FIG. 4).
[0083] Além disso, os dados de áudio não comprimidos obtidos pelo dispositivo de decodificação 102 são providos à seção de codificação de áudio 105. Na seção de codificação de áudio 105, codificação tal como MPEG-2 Áudio ou AAC é executada nos dados de áudio não comprimidos, e um fluxo de áudio (fluxo elementar de áudio) é gerado.
[0084] O fluxo de vídeo gerado pela seção de codificação de imagem 104 e o fluxo de áudio gerado pela seção de codificação de áudio 105 são providos à seção de multiplexação 106. Na seção de multiplexação 106, os fluxos elementares são multiplexados, e um fluxo de transporte TS é obtido como dados de transporte. Na seção de multiplexação 106, informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das múltiplas camadas é produzida, e adicionada à camada de transporte (camada de recipiente). Por exemplo, na seção de multiplexação 106, o descritor de FPS (fps_descriptor) declarando a informação de frequência de quadro e a informação de número de camada é colocado na malha de descritor debaixo de "ES_info_length" da tabela de mapa de programa (PMT) (veja FIGS. 5 e 6).
[0085] Note que a informação de frequência de quadro e a informação de número de camada também podem ser inseridas na camada de vídeo, tal como, por exemplo, uma mensagem de SEI na parte de "SEIs" da unidade de acesso. Neste caso, FPS info (fps_info) incluindo a informação é inserida como uma "mensagem de SEI fps_info" na parte de "SEIs" da unidade de acesso (veja FIG. 7(b)). Subsequentemente, neste caso, informação de identificação identificando a existência da mensagem de SEI é inserida na camada de transporte (camada de recipiente). Por exemplo, na seção de multiplexação 106, o descritor de existe FPS (fps_exit_descriptor) é colocado na malha de descritor debaixo de "ES info_length" da tabela de mapa de programa (PMT) (veja FIG. 7(a)).
[0086] O fluxo de transporte TS gerado pela seção de multiplexação 106 é enviado para a seção de antena de modulação/transmissão 108. Na seção de antena de modulação/transmissão 108, o fluxo de transporte TS é modulado de acordo com um esquema de modulação adequado para radiodifusão, tal como QPSK/OFDM, e um sinal modulado de RF é gerado. Subsequentemente, na seção de antena de modulação/transmissão 108, o sinal modulado de RF é transmitido de uma antena transmissora.
Configuração Exemplar de Receptor de TV
[0087] A FIG. 8 ilustra uma configuração exemplar do receptor de TV 200. O receptor de TV 200 inclui uma seção de antena/demodulação de recepção 201, uma seção de desmuitiplexação 202, uma seção de controle 203, uma seção de decodifícação de imagem 204, uma seção de ajuste de velocidade de reprodução 205, uma seção de exibição de imagem 206, uma seção de decodifícação de áudio 207 e uma seção de saída de áudio 208.
[0088] A seção de antena/demodulação de recepção 201 demodula um sinal de RF modulado recebido com uma antena de recepção, e adquire um fluxo de transporte TS. A seção de desmuitiplexação 202 extrai respectivamente o fluxo de vídeo e o fluxo de áudio do fluxo de transporte TS. No fluxo de vídeo, os dados de imagem de cada quadro constituindo dados de imagem em movimento são classificados em múltiplas camadas, em que os dados de imagem são codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[0089] Além disso, a seção de desmuitiplexação 202 extrai, e transmite para a seção de controle 203, várias informações inseridas na camada de transporte (camada de recipiente) do fluxo de transporte TS. Neste momento, o descritor de FPS (fps descriptor) colocado na malha de descritor debaixo de "ES_info_length" da tabela de mapa de programa (PMT) também é extraído. No descritor de FPS, informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das múltiplas camadas são declaradas.
[0090] Altemativamente, se a informação de frequência de quadro e a informação de número de camada forem inseridas na camada de vídeo, tal como uma mensagem de SEI na parte de "SEIs" da unidade de acesso, por exemplo, o descritor de existe FPS (fps exit descriptor) colocado na malha de descritor debaixo de "ES info length" da tabela de mapa de programa (PMT) pode ser extraído.
[0091] A seção de decodificação de imagem 204 recobra e decodifica seletivamente os dados de imagem codificados em uma camada prescrita e camadas inferiores do fluxo de vídeo desmultiplexado pela seção de desmultiplexação 202, e obtém os dados de imagem de cada quadro. Neste momento, a seção de decodificação de imagem 204 recobra e decodifica os dados de imagem codificados de quadros em uma camada desejada na base de informação de identificação de camada (temporal id) colocada na parte de cabeçalho da unidade de NAL de cada quadro. A seção de ajuste de velocidade de reprodução 205 ajusta a velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro, de modo a casar com a frequência de quadro dos quadros na camada prescrita. Em outras palavras, a seção de ajuste de velocidade de reprodução 205 produz sucessivamente os dados de imagem decodificados de cada quadro para casar com a frequência de quadro (taxa de quadro) de quadros na camada prescrita.
[0092] A seção de controle 203 controla a operação de cada parte do receptor de TV 200. A seção de controle 203 controla a camada de decodificação transmitindo, para a seção de decodificação de imagem 204, informação de decodificação de camada especificando a camada prescrita e camadas inferiores a serem decodificadas. Além disso, a seção de controle 203 controla a velocidade de reprodução de imagem transmitindo, para a seção de ajuste de velocidade de reprodução 205, informação de velocidade de reprodução correspondendo à frequência de quadro dos quadros na camada prescrita, tal como um sinal de sincronização, por exemplo.
[0093] A seção de controle 203 controla a camada de decodificação na seção de decodificação de imagem 204 e a velocidade de reprodução de imagem na seção de ajuste de velocidade de reprodução 205 na base da informação de frequência de quadro, da informação de número de camada, e do desempenho de decodificação do próprio receptor de TV 200. Por exemplo, considere o caso do descritor de FPS (fps descriptor) tendo declarado conteúdo como ilustrado na FIG. 6.
[0094] Neste caso, a seção de controle 203 sabe que a frequência de quadro é 30 fps com a primeira camada somente, 60 fps com a primeira/segunda camadas combinadas, e 120 fps com a primeira a terceira camadas combinadas. Adicionalmente, se capacidade de decodificação do próprio receptor de TV 200 subir a um máximo de 60 fps, desta informação a seção de controle 203 sabe que até a primeira/segunda camadas combinadas é decodificável. Adicionalmente, a seção de controle 203 sabe que é suficiente decodificar os quadros com "temporal_Íd=0" e "temporal_id=l". Também, a seção de controle 203 sabe que é suficiente reproduzir quadros decodificados a 60 fps.
[0095] A seção de exibição de imagem 206 é composta de uma exibição tal como uma exibição de cristal líquido (LCD). A seção de exibição de imagem 206 exibe imagens de acordo com os dados de imagem de cada quadro produzido da seção de ajuste de velocidade de reprodução 205. A seção de decodificação de áudio 207 executa decodificação no fluxo de áudio desmultiplexado pela seção de desmultiplexação 202, e obtém dados de áudio correspondendo aos dados de imagem obtidos pela seção de decodificação de imagem 204. A seção de saída de áudio 208 é composta de componentes tais como um amplificador e alto-falantes. A seção de saída de áudio 208 produz áudio de acordo com os dados de áudio produzidos da seção de decodificação de áudio 207.
[0096] Operações do receptor de TV 200 ilustrado na FIG. 8 serão descritas. Na seção de antena/demodulação de recepção 201, um sinal modulado de RF recebido com uma antena de recepção é demodulado, e um fluxo de transporte TS é adquirido. Este fluxo de transporte TS é provido à seção de desmuitiplexação 202. Na seção de desmuitiplexação 202, o fluxo de vídeo e o fluxo de áudio são extraídos respectivamente do fluxo de transporte TS. Aqui, no fluxo de vídeo, os dados de imagem de cada quadro constituindo dados de imagem em movimento são classificados em múltiplas camadas, em que os dados de imagem estão codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência.
[0097] Além disso, na seção de desmuitiplexação 202, várias informações inseridas na camada de transporte (camada de recipiente) do fluxo de transporte TS são extraídas e transmitidas à seção de controle 203. Neste momento, o descritor de FPS (fps_descriptor) colocado na malha de descritor debaixo de "ES_info_length" da tabela de mapa de programa (PMT) também é extraído. No descritor de FPS, informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das camadas múltiplas são declaradas.
[0098] Altemativamente, se a informação de frequência de quadro e a informação de número de camada forem inseridas na camada de vídeo, tal como uma mensagem de SEI na parte de "SEIs" da unidade de acesso, por exemplo, o descritor de existe FPS (fps_exit_descriptor) colocado na malha de descritor debaixo de "ESinfolength" da tabela de mapa de programa (PMT) pode ser extraído.
[0099] Na seção de controle 203, é determinado até qual camada é decodificável, na base da informação de frequência de quadro, informação de número de camada, e desempenho de decodifícação do próprio receptor de TV 200. Além disso, por esta seção de controle 203, a camada de decodifícação na seção de decodifícação de imagem 204 é controlada, e a velocidade de reprodução de imagem na seção de ajuste de velocidade de reprodução 205 é controlada.
[00100] O fluxo de vídeo desmultiplexado pela seção de desmultiplexação 202 é provido à seção de decodificação de imagem 204. Na seção de decodificação de imagem 204, sob controle pela seção de controle 203, os dados de imagem codificados em uma camada prescrita e camadas inferiores são recobrados e decodificados seletivamente do fluxo de vídeo, e os dados de imagem de cada quadro são obtidos sucessivamente. Os dados de imagem de cada quadro decodificado deste modo são providos à seção de ajuste de velocidade de reprodução 205.
[00101] Na seção de ajuste de velocidade de reprodução 205, sob controle pela seção de controle 203, a velocidade de reprodução de imagem de acordo com os dados de imagem de cada quadro é ajustada de modo a casar com a frequência de quadro dos quadros na camada prescrita. Em outras palavras, da seção de ajuste de velocidade de reprodução 205, os dados de imagem de cada quadro são produzidos sucessivamente para casar com a frequência de quadro (taxa de quadro) de quadros na camada prescrita. Os dados de imagem são providos à seção de exibição de imagem 206, e imagens de acordo com os dados de imagem de cada quadro na camada prescrita e camadas inferiores são exibidas.
[00102] Também, o fluxo de áudio desmultiplexado pela seção de desmultiplexação 202 é provido à seção de decodificação de áudio 207. Na seção de decodificação de áudio 207, decodificação é executada no fluxo de áudio, e dados de áudio correspondendo aos dados de imagem obtidos pela seção de decodificação de imagem 204 são obtidos. Os dados de áudio são providos à seção de saída de áudio 208, e áudio correspondendo às imagens exibidas é produzido.
[00103] O fluxograma na FIG. 9 ilustra um exemplo de uma sequência de processo de transmissão no transmissor de TV 100 ilustrado na FIG. 2, no caso no qual o descritor de FPS (fps descriptor) está colocado debaixo da PMT. Note que no transmissor de TV 100 ilustrado na FIG. 2, na seção de codificação de imagem 104, um único fluxo de vídeo contendo os dados de imagem codificados de quadros em camadas respectivas é gerado, como discutido anteriormente.
[00104] Primeiro, na etapa ST1, o transmissor de TV 100 começa o processo de transmissão. Subsequentemente, na etapa ST2, o transmissor de TV 100 decodifica dados de imagem em movimento originais, e gera dados de imagem e dados de áudio não comprimidos.
[00105] A seguir, na etapa ST3, o transmissor de TV 100 classifica os dados de imagem de cada quadro em múltiplas camadas. Neste caso, os quadros (quadros) são divididos em dois, e todo outro é posto na terceira camada. Adicionalmente, os outros quadros (quadros) são divididos em dois novamente, e todo outro é posto na segunda camada, enquanto os restantes são postos na primeira camada.
[00106] A seguir, na etapa ST4, o transmissor de TV 100 codifica os dados de imagem de cada quadro classificado hierarquicamente. Neste caso, a primeira camada é codificada. Neste caso, referências são feitas possíveis só dentro da primeira camada. Também, a segunda camada é codificada. Neste caso, referências são feitas possíveis dentro da primeira camada e da segunda camada. Também, a terceira camada é codificada. Neste caso, referências são feitas possíveis dentro da primeira camada à terceira camada. Neste momento, o transmissor de TV 100 coloca informação de identificação de camada (temporal_id) na parte de cabeçalho da unidade de NAL (nal unit) de cada quadro.
[00107] A seguir, na etapa ST5, o transmissor de TV 100 codifica os dados de áudio. Subsequentemente, na etapa ST6, o transmissor de TV 100 gera o descritor de FPS (fps descriptor) e a PMT contendo o descritor de FPS.
[00108] A seguir, na etapa ST7, o transmissor de TV 100 multiplexa os dados de imagem codificados, dados de áudio, e PMT em um fluxo de transporte TS. Subsequentemente, na etapa ST8, o transmissor de TV 100 modula e transmite o fluxo de transporte TS. Depois disso, na etapa ST9, o transmissor de TV 100 termina o processo.
[00109] O fluxograma na FIG. 10 ilustra um exemplo de uma sequência de processamento de recepção no receptor de TV 200 ilustrado na FIG. 8, no caso no qual o descritor de FPS (fps descriptor) está colocado na malha de descritor debaixo de "ES info length" da PMT. Esta sequência de processamento de recepção corresponde à sequência de processamento de transmissão ilustrada pelo fluxograma na FIG. 9 discutida acima.
[00110] Primeiro, na etapa ST11, o receptor de TV 200 começa o processo de recepção. Subsequentemente, na etapa ST 12, o receptor de TV 200 recebe e demodula o sinal modulado de RF (sinal de radiodifusão), e obtém o fluxo de transporte TS.
[00111] A seguir, na etapa ST13, o receptor de TV 200 extrai dados de imagem, dados de áudio, e a PMT do fluxo de transporte TS. Subsequentemente, na etapa SI4, o receptor de TV 200 extrai o descritor de FPS (fps descriptor) da PMT, compara o descritor de FPS ao desempenho de decodifícação do próprio receptor de TV 200, e decide a camada a decodificar.
[00112] A seguir, na etapa ST15, o receptor de TV 200 decodifica os dados de imagem de quadros na camada decidida na etapa ST 14. Subsequentemente, reprodução é conduzida a uma velocidade de reprodução adequada do conteúdo do descritor de FPS (fps_descriptor). Adicionalmente, na etapa ST 16, o receptor de TV 200 decodifica e reproduz dados de áudio. Depois disso, na etapa ST 17, o receptor de TV 200 termina o processo.
[00113] O fluxograma na FIG. 11 ilustra um exemplo de uma sequência de processamento de transmissão no transmissor de TV 100 ilustrado na FIG. 2, no caso de adicionar uma mensagem de SEI de FPS info (fps info) de. Note que no transmissor de TV 100 ilustrado na FIG. 2, na seção de codificação de imagem 104, um único fluxo de vídeo contendo os dados de imagem codificados em camadas respectivas é gerado, como discutido anteriormente.
[00114] Primeiro, na etapa ST21, o transmissor de TV 100 começa o processo de transmissão. Subsequentemente, na etapa ST22, o transmissor de TV 100 decodifica dados de imagem em movimento originais, e gera dados de imagem e dados de áudio não comprimidos.
[00115] A seguir, na etapa ST23, o transmissor de TV 100 classifica os dados de imagem de cada quadro em múltiplas camadas. Neste caso, os quadros (quadros) são divididos em dois, e todo outro é posto na terceira camada. Adicionalmente, os outros quadros (quadros) são divididos em dois novamente, e todo outro é posto na segunda camada, enquanto os restantes são postos na primeira camada.
[00116] A seguir, na etapa ST24, o transmissor de TV 100 codifica os dados de imagem de cada quadro classificado hierarquicamente. Neste caso, a primeira camada é codificada. Neste caso, referências só possíveis só dentro da primeira camada. Também, a segunda camada é codificada. Neste caso, referências são possíveis dentro da primeira camada e da segunda camada. Também, a terceira camada é codificada. Neste caso, referências são possíveis dentro da primeira camada à terceira camada. Neste momento, o transmissor de TV 100 coloca informação de identificação de camada (temporal id) na parte de cabeçalho da unidade de NAL (nal_unit) de cada quadro. Além disso, o transmissor de TV 100 adiciona uma mensagem de SEI de FPS info (fpsinfo).
[00117] A seguir, na etapa ST25, o transmissor de TV 100 codifica os dados de áudio. Subsequentemente, na etapa ST26, o transmissor de TV 100 gera o descritor de existe FPS (fps_exist_descriptor) e a PMT contendo o descritor de existe FPS.
[00118] A seguir, na etapa ST27, o transmissor de TV 100 multiplexa os dados de imagem codificados, dados de áudio, e a PMT em um fluxo de transporte TS. Subsequentemente, na etapa ST28, o transmissor de TV 100 modula e transmite o fluxo de transporte TS. Depois disso, na etapa ST29, o transmissor de TV 100 termina o processo.
[00119] O fluxograma na FIG. 12 ilustra um exemplo de uma sequência de processamento de recepção no receptor de TV 200 ilustrado na FIG. 8, no caso no qual uma mensagem de SEI de FPS info (fps info) é adicionada. Esta sequência de processamento de recepção corresponde à sequência de processamento de transmissão ilustrada pelo fluxograma na FIG. 11 discutida acima.
[00120] Primeiro, na etapa ST31, o receptor de TV 200 começa o processo de recepção. Subsequentemente, na etapa ST32, o receptor de TV 200 recebe e demodula o sinal modulado de RF (sinal de radiodifusão), e obtém o fluxo de transporte TS.
[00121] A seguir, na etapa ST33, o receptor de TV 200 extrai dados de imagem, dados de áudio, e a PMT do fluxo de transporte TS. Na etapa S34, o receptor de TV 200 extrai o descritor de existe FPS (fps_exit_descriptor) da PMT, e analisa "fps exit". Então, na etapa ST35, o receptor de TV 200 julga se ou não "fps_exit=l".
[00122] Quando "fps_exit=l", na etapa ST36, o receptor de TV 200 extrai a FPS info (fps info) adicionada como uma mensagem de SEI, compara a FPS info ao desempenho de decodificação do próprio receptor de TV 200, e decide a camada a decodificar. Na etapa ST37, o receptor de TV 200 decodifica os dados de imagem de quadros na camada decidida na etapa ST36. Subsequentemente, reprodução é conduzida a uma velocidade de reprodução adequada do conteúdo da info FPS (fps info). Adicionalmente, na etapa ST38, o receptor de TV 200 decodifica e reproduz dados de áudio. Depois disso, na etapa ST39, o receptor de TV 200 termina o processo.
[00123] Também, quando "fps_exit=0" na etapa ST35, na etapa ST40, o receptor de TV 200 decodifica e reproduz os dados de imagem normalmente. Adicionalmente, na etapa ST38, o receptor de TV 200 decodifica e reproduz dados de áudio. Depois disso, na etapa ST39, o receptor de TV 200 termina o processo.
[00124] Como descrito acima, no sistema de transmissão/recepção de TV 10 ilustrado na FIG. 1, os dados de imagem de cada quadro constituindo dados de imagem em movimento são classificados em múltiplas camadas, e um fluxo de vídeo contendo os dados de imagem codificados de cada camada é transmitido. Por esta razão, no lado de transmissão, transmitindo simplesmente um programa ou um arquivo, um serviço suportando várias frequências de quadro pode ser provido, e uma redução em custos operacionais fica possível.
[00125] Enquanto isso, no lado de recepção, os dados de imagem codificados em uma camada prescrita e camadas inferiores podem ser recobrados e decodificados seletivamente, habilitando a reprodução a uma frequência de quadro adequada ao desempenho de reprodução do próprio lado de recepção, por esse meio promovendo efetivamente a adoção de receptores. Aqui, dados de imagem são codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência, e a um receptor, o desempenho de reprodução do próprio lado de recepção pode ser usado efetivamente sem precisar decodificar camadas mais altas que a camada prescrita.
[00126] Também, no sistema de transmissão/recepção de TV 10 ilustrado na FIG. 1, a seção de codificação de imagem 104 gera um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e para cada quadro, adiciona informação de identificação de camada (temporal id) para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada. Por esta razão, no lado de recepção, é possível conduzir boa recuperação seletiva de dados de imagem codificados em uma camada prescrita e camadas inferiores, na base da informação de identificação de camada.
[00127] Também, no sistema de transmissão/recepção de TV 10 ilustrado na FIG. 1, a seção de classificação hierárquica 103 classifica os dados de imagem de cada quadro constituindo os dados de imagem em movimento em múltiplas camadas de forma que, exceto para a camada mais baixa, os quadros pertencendo a cada camada sejam iguais em número aos quadros pertencendo a todas as camadas inferiores, e além disso, estejam posicionados no centro temporal entre os quadros pertencendo a todas as camadas inferiores. Por esta razão, a frequência de quadro dobra toda vez que a camada é elevada por um, e assim no lado de recepção, fica possível reconhecer facilmente a frequência de quadro em cada camada com só a informação de frequência de quadro dos quadros na camada mais baixa.
[00128] Também, no sistema de transmissão/recepção de TV 10 ilustrado na FIG. 1, informação de frequência de quadro dos quadros na camada mais baixa e informação de número de camada indicando o número das múltiplas camadas é inserida na camada de recipiente (camada de transporte) ou na camada de vídeo. Por esta razão, no lado de recepção, fica possível adquirir facilmente a informação de frequência de quadro dos quadros na camada mais baixa e a informação de número de camada indicando o número das múltiplas camadas.
2. Modificações Exemplo de PIDs diferentes
[00129] Note que a concretização precedente ilustra um exemplo no qual, na seção de codificação de imagem 104, um único fluxo de vídeo contendo os dados de imagem codificados de cada camada é gerado, ou em outras palavras, um exemplo do mesmo PID. Porém, na seção de codificação de imagem 104, também é concebível para múltiplos fluxos de vídeo contendo os dados de imagem de cada uma de múltiplas camadas serem gerados.
[00130] Neste caso, como ilustrado na FIG. 13, um PID diferente é nomeado a cada camada. PIDs diferentes respectivamente são nomeados ao multiplexar as unidades de NAL de cada camada separada pela formação de camadas hierárquicas da camada de vídeo em pacotes de fluxo de transporte. Em comparação ao caso de pôr todas as camadas no mesmo PID como na concretização discutida acima, diferenças tais como as seguintes existem. - Caso de mesmo PID (a) No lado de recepção (lado de decodifícação), só os pacotes de TS de um PID são adquiridos. (b) O cabeçalho de nal é analisado, "temporal_id" é detectado, e só unidades de nal com o "temporal id" exigido são decodificadas. - Caso de PIDs diferentes (a) No lado de recepção (lado de decodifícação), os pacotes de TS exigidos de PIDs múltiplos são adquiridos. (b) Todas as unidades de nal dentro dos pacotes de TS adquiridos dos PIDs são decodificadas. O "temporal_id" pode ou não existir.
[00131] No caso de PIDs diferentes, um descritor de estrutura (structure descriptor) é colocado na malha de descritor debaixo de "program info length" da PMT, por exemplo. FIG. 14 ilustra sintaxe de exemplo do descritor de estrutura. O campo de 8 bits "descriptor_tag" indica a classe do descritor, e aqui indica que o descritor é o descritor de estrutura. Por exemplo, o "Oxfl" atualmente não usado é nomeado. O campo de 8 bits "descriptor_length" indica o comprimento de byte imediatamente seguinte.
[00132] O campo de 8 bits "base" expressa a informação de frequência de quadro de quadros na camada mais baixa, ou em outras palavras, a informação de frequência de quadro da primeira camada. Por exemplo, no caso de 30 fps como no exemplo ilustrado na FIG. 13, o valor é "Oxle" indicando 30. O campo de 8 bits "max" expressa informação de número de camada indicando o número das múltiplas camadas. Por exemplo, no caso de camadas até a terceira camada como no exemplo ilustrado na FIG. 13, o valor é "0x03" indicando 3.
[00133] Dentro da malha, os PIDs nomeados a cada camada (layer_PID) são todos declarados. A ordem de declaração é sequencial da primeira camada, por exemplo. No lado de decodificação, os pacotes de TS dos quais PIDs deveriam ser adquiridos são conhecidos do valor de "base" e dos PIDs listados.
[00134] Além disso, também é concebível usar a mensagem de SEI de FPS info (fps_info) ilustrada na FIG. 15(b) com PIDs diferentes. Neste caso, o descritor de estrutura (structure_descriptor) ilustrado na FIG. 15(a) é colocado na malha de descritor debaixo de "program_info_length". No lado de recepção (lado de decodificação), pacotes de TS do PID da primeira camada declarada ao começo da malha do descritor de estrutura são adquiridos, e a mensagem de SEI dentro, quer dizer, a FPS info (fps_info), é extraída. A camada a ser decodificada é julgada do valor de "base", os PIDs dos pacotes de TS a serem adquiridos são detectados do "layer_PID" do descritor de estrutura, e os pacotes de TS desejados são adquiridos e decodificados.
[00135] O fluxograma na FIG. 16 ilustra um exemplo de uma sequência de processamento de transmissão para o caso de ser configurado de forma que o transmissor de TV 100 codifique os dados de imagem de cada camada em PIDs diferentes, e o descritor de FPS (structure_descriptor) esteja colocado debaixo da PMT.
[00136] Primeiro, na etapa ST51, o transmissor de TV 100 começa o processo de transmissão. Subsequentemente, na etapa ST52, o transmissor de TV 100 decodifica dados de imagem em movimento originais, e gera dados de imagem e dados de áudio não comprimidos.
[00137] A seguir, na etapa ST53, o transmissor de TV 100 classifica os dados de imagem de cada quadro em múltiplas camadas. Neste caso, os quadros (quadros) são divididos em dois, e todo outro é posto na terceira camada. Adicionalmente, os outros quadros (quadros) são divididos em dois novamente, e todo outro é posto na segunda camada, enquanto os restantes são postos na primeira camada.
[00138] A seguir, na etapa ST54, o transmissor de TV 100 codifica os dados de imagem de cada quadro classificado hierarquicamente. A primeira camada é codificada. Neste caso, referências são possíveis só dentro da primeira camada. Também, a segunda camada é codificada. Neste caso, referências são possíveis dentro da primeira camada e da segunda camada. Também, a terceira camada é codificada. Neste caso, referências são possíveis dentro da primeira camada à terceira camada.
[00139] A seguir, na etapa ST55, o transmissor de TV 100 codifica os dados de áudio. Subsequentemente, na etapa ST56, o transmissor de TV 100 gera o descritor de estrutura (structure descriptor) e a PMT contendo o descritor de existe FPS.
[00140] A seguir, na etapa ST57, o transmissor de TV 100 multiplexa os dados de imagem codificados, dados de áudio, e PMT em um fluxo de transporte TS. Subsequentemente, o transmissor de TV 100 multiplexa os dados de imagem com PIDs diferentes para cada camada. Subsequentemente, na etapa ST58, o transmissor de TV 100 modula e transmite o fluxo de transporte TS. Depois disso, na etapa ST59, o transmissor de TV 100 termina o processo.
[00141] O fluxograma na FIG. 17 ilustra um exemplo de uma sequência de processamento de recepção no receptor de TV 200 ilustrado na FIG. 8, no caso no qual os dados de imagem de cada camada estão codificados com PIDs diferentes, e o descritor de estrutura (structure descriptor) está colocado debaixo da PMT. Esta sequência de processamento de recepção corresponde à sequência de processamento de transmissão ilustrada pelo fluxograma na FIG. 16 discutida acima.
[00142] Primeiro, na etapa ST61, o receptor de TV 200 começa o processo de recepção. Subsequentemente, na etapa ST62, o receptor de TV 200 recebe e demodula o sinal modulado de RF (sinal de radiodifusão), e obtém o fluxo de transporte TS.
[00143] A seguir, na etapa ST63, o receptor de TV 200 extrai dados de imagem, dados de áudio, e a PMT do fluxo de transporte TS. Subsequentemente, na etapa S64, o receptor de TV 200 extrai o descritor de estrutura (structure descriptor) da PMT, compara o descritor de estrutura ao desempenho de decodificação do próprio receptor de TV 200, e decide a camada a decodificar.
[00144] A seguir, na etapa ST65, o receptor de TV 200 decodifica, dos pacotes de TS de cada PID, os dados de imagem de quadros na camada decidida na etapa ST64. Subsequentemente, reprodução é conduzida a uma velocidade de reprodução adequada do conteúdo do descritor de estrutura (structure descriptor). Adicionalmente, na etapa ST66, o receptor de TV 200 decodifica e reproduz dados de áudio. Depois disso, na etapa ST67, o receptor de TV 200 termina o processo.
[00145] O fluxograma na FIG. 18 ilustra um exemplo de uma sequência de processamento de transmissão para o caso no qual o transmissor de TV 100 codifica os dados de imagem de cada camada com PIDs diferentes, e adiciona uma mensagem de SEI de FPS info (fps_info).
[00146] Primeiro, na etapa ST71, o transmissor de TV 100 começa o processo de transmissão. Subsequentemente, na etapa ST72, o transmissor de TV 100 decodifica dados de imagem em movimento originais, e gera dados de imagem e dados de áudio não comprimidos.
[00147] A seguir, na etapa ST73, o transmissor de TV 100 classifica os dados de imagem de cada quadro em múltiplas camadas. Neste caso, os quadros (quadros) são divididos em dois, e todo outro é posto na terceira camada. Adicionalmente, os outros quadros (quadros) são divididos em dois novamente, e todo outro é posto na segunda camada, enquanto os restantes são postos na primeira camada.
[00148] A seguir, na etapa ST74, o transmissor de TV 100 codifica os dados de imagem de cada quadro classificado hierarquicamente. A primeira camada é codificada. Neste caso, referências são possíveis só dentro da primeira camada. Também, a segunda camada é codificada. Neste caso, referências são possíveis dentro da primeira camada e da segunda camada. Também, a terceira camada é codificada. Neste caso, referências são possíveis dentro da primeira camada à terceira camada. Neste momento, o transmissor de TV 100 adiciona uma mensagem de SEI de FPS info (fps_info).
[00149] A seguir, na etapa ST75, o transmissor de TV 100 codifica os dados de áudio. Subsequentemente, na etapa ST76, o transmissor de TV 100 gera o descritor de estrutura (structure descriptor) e a PMT contendo o descritor de existe FPS.
[00150] A seguir, na etapa ST77, o transmissor de TV 100 multiplexa os dados de imagem codificados, dados de áudio, e PMT em um fluxo de transporte TS. Subsequentemente, o transmissor de TV 100 multiplexa os dados de imagem com PIDs diferentes para cada camada. Subsequentemente, na etapa ST78, o transmissor de TV 100 modula e transmite o fluxo de transporte TS. Depois disso, na etapa ST79, o transmissor de TV 100 termina o processo.
[00151] O fluxograma na FIG. 19 ilustra um exemplo de uma sequência de processamento de recepção no receptor de TV 200 ilustrado na FIG. 8, no caso no qual os dados de imagem de cada camada estão codificados com PIDs diferentes, e uma mensagem de SEI de FPS info (fps info) está adicionada. Esta sequência de processamento de recepção corresponde à sequência de processamento de transmissão ilustrada pelo fluxograma na FIG. 18 discutida acima.
[00152] Primeiro, na etapa ST81, o receptor de TV 200 começa o processo de recepção. Subsequentemente, na etapa ST82, o receptor de TV 200 recebe e demodula o sinal modulado de RF (sinal de radiodifusão), e obtém o fluxo de transporte TS.
[00153] A seguir, na etapa ST83, o receptor de TV 200 extrai dados de imagem, dados de áudio, e a PMT do fluxo de transporte TS. Na etapa S84, o receptor de TV 200 extrai o descritor de estrutura (structure descriptor) da PMT. Então, na etapa ST85, o receptor de TV 200 julga se ou não o descritor de estrutura existe.
[00154] Quando o descritor de estrutura existe, na etapa ST86, o receptor de TV 200 extrai a FPS info (fps info) adicionada como uma mensagem de SEI, compara a FPS info ao desempenho de decodificação do próprio receptor de TV 200, e decide a camada a decodificar. Na etapa ST77, o receptor de TV 200 decodifica, dos pacotes de TS de cada PID, os dados de imagem de quadros na camada decidida na etapa ST76. Subsequentemente, reprodução é conduzida a uma velocidade de reprodução adequada do conteúdo da FPS info (fps_info). Adicionalmente, na etapa ST88, o receptor de TV 200 decodifica e reproduz dados de áudio. Depois disso, na etapa ST89, o receptor de TV 200 termina o processo.
[00155] Também, quando o descritor de estrutura não existe na etapa ST85, na etapa ST90, o receptor de TV 200 decodifica e reproduz os dados de imagem normalmente. Adicionalmente, na etapa ST88, o receptor de TV 200 decodifica e reproduz dados de áudio. Depois disso, na etapa ST89, o receptor de TV 200 termina o processo.
[00156] A FIG. 20 ilustra uma comparação de informação adicional para os quatro métodos anteriores de (a) declarações de sintaxe com o mesmo PID (PES) e na PMT, (b) declarações de sintaxe com o mesmo PID (PES) e na SEI, (c) declarações de sintaxe em PIDs diferentes (PES) e na PMT, e (d) declarações de sintaxe em PIDs diferentes (PES) e na SEI.
Outros exemplos de classificação hierárquica e codificação de imagem
[00157] Também, as concretizações precedentes ilustram um exemplo de classificar os dados de imagem de cada quadro constituindo os dados de imagem em movimento em múltiplas camadas de forma que, exceto para a camada mais baixa, os quadros pertencendo a cada camada sejam iguais em número aos quadros pertencendo a todas as camadas inferiores, e além disso, estejam posicionados no centro temporal entre os quadros pertencendo a todas as camadas inferiores. Porém, o método de classificação não está limitado a tal exemplo. Por exemplo, métodos de classificação como o seguinte também são possíveis.
- Outro exemplo 1
[00158] A FIG. 21(a) ilustra outro exemplo de classificação hierárquica e codificação de imagem. Este exemplo é um exemplo de classificar os dados de imagem de cada quadro nas duas camadas de uma primeira camada e uma segunda camada. Neste exemplo, quadros I e quadros P são feitos pertencerem à primeira camada. Um quadro I não referencia outro quadro, enquanto um quadro P só referencia um quadro I ou um quadro P. Por esta razão, a primeira camada é decodificável com apenas primeiros quadros de camada.
[00159] Além disso, dois quadros B estão colocados a intervalos iguais temporalmente entre cada quadro na primeira camada, e são feitos pertencerem à segunda camada. Os quadros B na segunda camada são codificados de modo a só referenciar quadros pertencendo à segunda camada e/ou à primeira camada. Por esta razão, a segunda camada é decodificável só com a primeira/segunda camadas combinadas. Também, comparado ao caso de decodificar a primeira camada somente, a frequência de quadro é triplicada ao decodificar a primeira/segunda camadas combinadas. Consequentemente, como ilustrado no desenho, quando a frequência de quadro da primeira camada é só 40 fps, a frequência de quadro da primeira/segunda camadas combinadas é 120 fps.
[00160] Igualmente neste exemplo, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro é adicionada aos dados de imagem codificados de cada camada. Em outras palavras, informação de identificação de camada (temporal id) está colocada na parte de cabeçalho da unidade de NAL (nal_unit) de cada quadro. Neste exemplo, "temporal_id=0" é nomeado a quadros pertencendo à primeira camada, e "temporal_id=l" é nomeado a quadros pertencendo à segunda camada.
[00161] A FIG. 21(b) ilustra sintaxe de exemplo do descritor de FPS (fps descriptor) no caso no qual classificação hierárquica e codificação de imagem como ilustrado na FIG. 21(a) são conduzidos. O campo de 8 bits "descriptor_tag" indica a classe do descritor, e aqui indica que o descritor é o descritor de FPS. Por exemplo, o "OxfD" atualmente não usado está alocado. O campo de 8 bits "descriptor_length" indica o comprimento de byte imediatamente seguinte.
[00162] O campo de 8 bits "base" expressa a informação de frequência de quadro de quadros na camada mais baixa, ou em outras palavras, a informação de frequência de quadro da primeira camada. Neste exemplo, o valor é "0x28" indicando 40. O campo de 8 bits "max" expressa informação de número de camada indicando o número das múltiplas camadas. Neste exemplo, o valor é "0x02" indicando 2. Também, dentro da malha, os múltiplos da frequência de quadro na camada combinada até cada camada na segunda camada e camadas subsequentes contra a frequência de quadro da primeira camada são todos declarados. Neste exemplo, o valor é "0x03" para a segunda camada, que declara que o múltiplo é 3x.
- Outro exemplo 2
[00163] A FIG. 22(a) também ilustra outro exemplo de classificação hierárquica e codificação de imagem. Este exemplo é um exemplo de classificar os dados de imagem de cada quadro nas duas camadas de uma primeira camada e uma segunda camada. Neste exemplo, quadros I e quadros P são feitos pertencerem à primeira camada. Um quadro I não referencia outro quadro, enquanto um quadro P só referencia um quadro I ou um quadro P. Por esta razão, a primeira camada é decodificável apenas com primeiros quadros de camada.
[00164] Além disso, quatro quadros B estão colocados a intervalos iguais temporalmente entre cada quadro na primeira camada, e são feitos pertencerem à segunda camada. Os quadros B na segunda camada estão codificados de modo a só referenciar quadros pertencendo à segunda camada e/ou à primeira camada. Por esta razão, a segunda camada é decodificável com só a primeira/segunda camadas combinadas. Também, comparado ao caso de só decodificar a primeira camada, a frequência de quadro é cinco vezes ao decodificar a primeira/segunda camadas combinadas. Consequentemente, como ilustrado no desenho, quando a frequência de quadro da primeira camada só é 24 fps, a frequência de quadro da primeira/segunda camadas combinadas é 120 fps-
[00165] Igualmente neste exemplo, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro é adicionada aos dados de imagem codificados de cada camada. Em outras palavras, informação de identificação de camada (temporal_id) é colocada na parte de cabeçalho da unidade de NAL (nal_unit) de cada quadro. Neste exemplo, "temporal id=0" é nomeado a quadros pertencendo à primeira camada, e "temporal_íd=l" é nomeado a quadros pertencendo à segunda camada.
[00166] A FIG. 22(b) ilustra sintaxe de exemplo do descritor de FPS (fps_descriptor) no caso no qual classificação hierárquica e codificação de imagem como ilustrado na FIG. 22(a) são conduzidas. O campo de 8 bits "descriptor_tag" indica a classe do descritor, e aqui indica que o descritor é o descritor de FPS. Por exemplo, o "OxfD" atualmente não usado está alocado. O campo de 8 bits "descriptor_length" indica o comprimento de byte imediatamente seguinte.
[00167] O campo de 8 bits "base" expressa a informação de frequência de quadro de quadros na camada mais baixa, ou em outras palavras, a informação de frequência de quadro da primeira camada. Neste exemplo, o valor é "0x18" indicando 24. O campo de 8 bits "max" expressa informação de número de camada indicando o número das múltiplas camadas. Neste exemplo, o valor é "0x02" indicando 2. Também, dentro da malha, os múltiplos da frequência de quadro na camada combinada até cada camada na segunda camada e camadas subsequentes contra a frequência de quadro da primeira camada são todos declarados. Neste exemplo, o valor é "0x05" para a segunda camada, que declara que o múltiplo é 5x.
- Outro exemplo 3
[00168] A FIG. 23(a) também ilustra outro exemplo de classificação hierárquica e codificação de imagem. Este exemplo é um exemplo de classificar os dados de imagem de cada quadro nas quatro camadas da primeira camada à quarta camada. Neste exemplo, quadros I e quadros P são feitos pertencerem à primeira camada. Um quadro I não referencia outro quadro, enquanto um quadro P só referencia um quadro I ou um quadro P. Por esta razão, a primeira camada é decodificável com apenas primeiros quadros de camada.
[00169] Além disso, quadros B (quadros preditivos bidirecionais) estão colocados nas posições de centro temporais entre os quadros respectivos na primeira camada, e são feitos pertencerem à segunda camada. Os quadros B na segunda camada são codificados de modo a referenciar só quadros pertencendo a uma camada combinada da segunda camada e/ou da primeira camada. Por esta razão, a segunda camada é decodificável com apenas a primeira/segunda camadas combinadas. Também, comparado ao caso de decodificar a primeira camada somente, a frequência de quadro é dobrada ao decodificar a primeira/segunda camadas combinadas. Consequentemente, como ilustrado no desenho, quando a frequência de quadro da primeira camada só é 12 fps, a frequência de quadro da primeira/segunda camadas combinadas é 24 fps.
[00170] Além disso, quatro quadros B estão colocados a intervalos iguais temporalmente entre cada quadro na primeira camada, e são feitos pertencerem à terceira camada. Os quadros B na terceira camada estão codificados de modo a referenciar só quadros pertencendo à terceira camada e/ou à segunda camada ou abaixo. Por esta razão, a terceira camada é decodificável da primeira à terceira camadas combinadas somente. Também, comparado ao caso de decodificar a primeira camada somente, a frequência de quadro é cinco vezes ao decodificar da primeira à terceira camadas combinadas. Também, comparado à primeira e segunda camadas combinadas, a frequência de quadro é 2,5 vezes. Consequentemente, como ilustrado no desenho, quando a frequência de quadro da primeira camada é só 12 fps, a frequência de quadro da primeira à terceira camadas combinadas é 60 fps.
[00171] Além disso, quadros B (quadros preditivos bidirecionais) estão colocados nas posições de centro temporais entre os quadros respectivos na primeira camada e na terceira camada, e são feitos pertencerem à quarta camada. Porém, uma parte dos quadros está perdida, porque eles estão iguais aos quadros na segunda camada. Os quadros B na quarta camada são codificados de modo a só referenciar quadros pertencendo à quarta camada e/ou à terceira camada ou abaixo. Por esta razão, a quarta camada é decodificável com a primeira à quarta camadas combinadas somente. Também, comparado ao caso de decodificar a primeira camada somente, a frequência de quadro é dez vezes ao decodificar da primeira à quarta camadas combinadas. Consequentemente, como ilustrado no desenho, quando a frequência de quadro da primeira camada é só 12 fps, a frequência de quadro da primeira à segunda camadas combinadas é 120 fps.
[00172] Igualmente neste exemplo, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro é adicionada aos dados de imagem codificados de cada camada. Em outras palavras, informação de identificação de camada (temporal id) é colocada na parte de cabeçalho da unidade de NAL (nal_unit) de cada quadro. Neste exemplo, "temporal_id=0" é nomeado a quadros pertencendo à primeira camada, "temporal_id=l" é nomeado a quadros pertencendo à segunda camada, "temporal_id=2" é nomeado a quadros pertencendo à terceira camada, e "temporal_id=3" é nomeado a quadros pertencendo à quarta camada.
[00173] A FIG. 23(b) ilustra sintaxe de exemplo do descritor de FPS (fps descriptor) no caso no qual classificação hierárquica e codificação de imagem como ilustrado na FIG. 23(a) são conduzidas. O campo de 8 bits "descriptor tag" indica a classe do descritor, e aqui indica que o descritor é o descritor de FPS. Por exemplo, o "OxfO" atualmente não usado está alocado. O campo de 8 bits "descriptor length" indica o comprimento de byte imediatamente seguinte.
[00174] O campo de 8 bits "base" expressa a informação de frequência de quadro de quadros na camada mais baixa, ou em outras palavras, a informação de frequência de quadro da primeira camada. Neste exemplo, o valor é "0x0C" indicando 12. O campo de 8 bits "max" expressa informação de número de camada indicando o número das múltiplas camadas. Neste exemplo, o valor é "0x04" indicando 4. Também, dentro da malha, os múltiplos da frequência de quadro na camada combinada até cada camada na segunda camada e camadas subsequentes contra a frequência de quadro da primeira camada são todos declarados. Neste exemplo, o valor é "0x03" para a segunda camada, que declara que o múltiplo é 2x. Além disso, o valor é "0x05" para a terceira camada, que declara que o múltiplo é 5x. Adicionalmente, o valor é "0x0a" para a quarta camada, que declara que o múltiplo é 10x.
Outro
[00175] Também, embora as concretizações precedentes ilustrem um sistema de transmissão/recepção de TV 10 composto do transmissor de TV 100 e do receptor de TV 200, a configuração de um sistema de transmissão/recepção de TV ao qual a tecnologia presente é aplicável não está limitada a isso. Por exemplo, parte do receptor de TV 200 também pode ser uma configuração de um conversor e um monitor ou similar conectado por uma interface digital tal como a Interface de Multimídia de Alta Definição (HDMI), por exemplo.
[00176] Também, as concretizações precedentes ilustram um exemplo no qual o recipiente é um fluxo de transporte (MPEG-2 TS). Porém, a tecnologia presente é aplicável semelhantemente a sistemas configurados para entrega a um terminal receptor usando uma rede tal como a Internet. Com entrega de Internet, conteúdo é entregue frequentemente em um recipiente para MP4 ou algum outro formato. Em outras palavras, para o recipiente, recipientes de vários formatos, tal como o fluxo de transporte (MPEG-2 TS) adotado em padrões de radiodifusão digital, ou MP4 sendo usado para entrega de Internet.
[00177] Adicionalmente, a tecnologia presente também pode ser configurada como abaixo. (1) Um dispositivo transmissor incluindo: uma seção de classificação hierárquica que classifica dados de imagem de cada quadro constituindo dados de imagem em movimento em uma pluralidade de camadas; uma seção de codificação de imagem que codifica os dados de imagem classificados de cada camada, e gera um fluxo de vídeo contendo os dados de imagem codificados de cada camada; e uma seção transmissora que transmite um recipiente em um formato prescrito que inclui o fluxo de vídeo gerado, em que a seção de codificação de imagem executa codificação de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência. (2) O dispositivo transmissor de acordo com (1), em que: a seção de codificação de imagem: gera um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e adiciona, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada. (3) O dispositivo transmissor de acordo com (1) ou (2), em que: a seção de classificação hierárquica classifica os dados de imagem de cada quadro constituindo os dados de imagem em movimento em uma pluralidade de camadas de forma que, exceto para uma camada mais baixa, quadros pertencendo a cada camada sejam iguais em número a quadros pertencendo a todas as camadas inferiores, e além disso, estejam posicionados em um centro temporal entre os quadros pertencendo a todas as camadas inferiores. (4) O dispositivo transmissor de acordo com qualquer um de (1) a (3), adicionalmente incluindo: uma seção de inserção de informação que insere, no recipiente, informação de frequência de quadro de quadros em uma camada mais baixa e informação de número de camada indicando o número da pluralidade de camadas. (5) O dispositivo transmissor de acordo com (4), em que: a seção de inserção de informação insere a informação em uma camada de recipiente ou uma camada de vídeo. (6) O dispositivo transmissor de acordo com (5), em que: ao inserir a informação na camada de vídeo, a seção de inserção de informação insere adicionalmente, na camada de recipiente, informação de identificação que identifica se ou não uma inserção da informação na camada de vídeo existe. (7) O dispositivo transmissor de acordo com (1), em que: a seção de codificação de imagem gera uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados para cada uma da pluralidade de camadas. (8) O dispositivo transmissor de acordo com (7), adicionalmente incluindo: uma seção de inserção de informação de identificação que insere informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada na camada de recipiente. (9) Um método de transmissão incluindo: uma etapa que classifica dados de imagem de cada quadro constituindo dados de imagem em movimento em uma pluralidade de camadas; uma etapa que codifica os dados de imagem classificados de cada camada de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência, e gera um fluxo de vídeo contendo os dados de imagem codificados de cada camada; e uma etapa que transmite um recipiente em um formato prescrito que inclui o fluxo de vídeo gerado. (10) Um dispositivo transmissor incluindo: uma seção de classificação hierárquica que classifica dados de imagem de cada quadro constituindo dados de imagem em movimento em uma pluralidade de camadas; uma seção de codificação de imagem que codifica os dados de imagem classificados de cada camada, e gera um fluxo de vídeo contendo os dados de imagem codificados de cada camada; e uma seção transmissora que transmite um recipiente em um formato prescrito que inclui o fluxo de vídeo gerado, em que a seção de codificação de imagem: gera um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e adiciona, a cada quadro, informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada. (11) Um dispositivo de codificação incluindo: uma seção de classificação hierárquica que classifica dados de imagem de cada quadro constituindo dados de imagem em movimento em uma pluralidade de camadas; e uma seção de codificação de imagem que codifica os dados de imagem classificados de cada camada, e gera um fluxo de vídeo contendo os dados de imagem codificados de cada camada, em que a seção de codificação de imagem executa codificação de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência. (12) O dispositivo de codificação de acordo com reivindicação 11, em que a seção de codificação de imagem: gera um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e adiciona, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada. (13) Um dispositivo receptor incluindo: uma seção de recepção que recebe um recipiente em um formato prescrito que inclui um fluxo de vídeo contendo dados de imagem de cada quadro constituindo dados de imagem em movimento, os dados de imagem sendo classificados em uma pluralidade de camadas e codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência; uma seção de decodifícação de imagem que recobra e decodifica seletivamente dados de imagem codificados de uma camada prescrita e camadas inferiores do fluxo de vídeo incluído no recipiente recebido, e obtém dados de imagem de cada quadro; e uma seção de ajuste de velocidade de reprodução que ajusta uma velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro para casar com uma frequência de quadro de quadros na camada prescrita. (14) O dispositivo receptor de acordo com (13), em que: informação de frequência de quadro de quadros em uma camada mais baixa e informação de número de camada indicando o número da pluralidade de camadas são inseridas no recipiente, o dispositivo receptor adicionalmente incluindo: uma seção de controle que, na base da informação inserida no recipiente e desempenho de decodifícação do dispositivo receptor, controla uma camada de decodifícação na seção de decodifícação de imagem, e controla a velocidade de reprodução de imagem na seção de ajuste de velocidade de reprodução. (15) O dispositivo receptor de acordo com (13), em que: um único fluxo de vídeo contendo os dados de imagem codificados de cada camada está incluído no recipiente, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro é adicionada aos dados de imagem codificados de cada camada, e a seção de decodificação de imagem recobra e decodifica seletivamente dados de imagem codificados na camada prescrita e camadas inferiores do único fluxo de vídeo na base da informação de identificação de camada. (16) O dispositivo receptor de acordo com (13), em que: uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados para cada uma da pluralidade de camadas está incluída no recipiente, informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada é inserida na camada de recipiente, e a seção de codificação de imagem recobra e decodifica seletivamente dados de imagem codificados dos fluxos de vídeo de uma camada prescrita e camadas inferiores na base da informação de identificação de fluxo. (17) Um método de recepção incluindo: uma etapa que recebe um recipiente em um formato prescrito que inclui uma fluxo de vídeo contendo os dados de imagem de cada quadro constituindo dados de imagem em movimento, os dados de imagem sendo classificados em uma pluralidade de camadas e codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência; uma etapa que recobra e codifica seletivamente dados de imagem codificados de uma camada prescrita e camadas inferiores do fluxo de vídeo incluído no recipiente recebido, e obtém dados de imagem de cada quadro; e uma etapa que ajusta uma velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro a uma frequência de quadro de quadros na camada prescrita. (18) Um dispositivo de decodificação incluindo: uma seção de decodificação de imagem que, de um fluxo de vídeo contendo os dados de imagem de cada quadro constituindo dados de imagem em movimento, os dados de imagem sendo classificados em uma pluralidade de camadas e codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência e/ou uma camada mais baixa que a camada dos dados de imagem de referência, recobra e codifica seletivamente dados de imagem codificados de uma camada prescrita e camadas inferiores, e obtém dados de imagem de cada quadro; e uma seção de ajuste de velocidade de reprodução que ajusta uma velocidade de reprodução de imagem de acordo com os dados de imagem decodificados de cada quadro a uma frequência de quadro de quadros na camada prescrita.
[00178] Uma característica principal da tecnologia presente é que os dados de imagem de cada quadro constituindo os dados de imagem em movimento são classificados em múltiplas camadas, os dados de imagem de cada camada são codificados de forma que um quadro referenciado pertença a uma camada de dados de imagem de referência ou uma camada mais baixa que a camada dos dados de imagem de referência, e um fluxo de vídeo contendo os dados de imagem codificados de cada camada é transmitido em um recipiente de um formato predeterminado, por esse meio habilitando um serviço de alta frequência de quadro ser alcançado com facilidade. Lista de Sinais de Referência 10 Sistema de transmissão/recepção de TV 100 Transmissor de TV 101 Seção de provisão de dados de imagem em movimento originais 102 Dispositivo decodificador 103 Seção de classificação hierárquica 104 Seção de codificação de imagem 105 Seção de codificação de áudio 106 Seção de multiplexação 107 Seção produtora de informação adicional 108 Seção de antena de modulação/transmissão 200 Receptor de TV 201 Seção de antena/demodulação de recepção 202 Seção de desmuitiplexação 203 Seção de controle 204 Seção de decodifícação de imagem 205 Seção de ajuste de velocidade de reprodução 206 Seção de exibição de imagem 207 Seção de decodifícação de áudio 208 Seção de saída de áudio

Claims (15)

1. Dispositivo transmissor, caracterizado pelo fato de incluir: circuitos configurados para: classificar dados de imagem de quadros constituindo dados de imagem em movimento em uma pluralidade de camadas dispostas em uma ordem hierárquica, cada quadro pertencendo a qualquer camada particular, com exceção de uma camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que sejam mais baixas que a camada particular; codificar os dados de imagem classificados de cada camada, incluindo codificar um quadro de uma camada usando um quadro referenciado que pertence à mesma camada ou uma camada mais baixa; gerar um fluxo de vídeo contendo os dados de imagem codificados de cada camada; gerar um descritor de camada recipiente que inclui: informação de frequência de quadro de quadros em uma camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; gerar um recipiente em um formado prescrito que inclui o fluxo de vídeo gerado e o descritor de camada recipiente; e transmitir o recipiente gerado.
2. Dispositivo transmissor de acordo com reivindicação 1, caracterizado pelo fato de que os circuitos são configurados para: gerar um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e adicionar, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada.
3. Dispositivo transmissor de acordo com reivindicação 1, caracterizado pelo fato de que os circuitos são configurados para: gerar uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados para cada uma da pluralidade de camadas.
4. Dispositivo transmissor de acordo com reivindicação 3, caracterizado pelo fato de que os circuitos são configurado para: inserir informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada no descritor de camada de recipiente.
5. Método de transmissão, caracterizado pelo fato de compreender: classificar dados de imagem de quadros constituindo dados de imagem em movimento em uma pluralidade de camadas dispostas em uma ordem hierárquica, cada quadro pertencendo a qualquer camada particular, com exceção de uma camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que sejam mais baixas que a camada particular; codificar os dados de imagem classificados de cada camada, incluindo codificar um quadro de uma camada usando um quadro referenciado que pertence a mesma camada ou uma camada mais baixa; gerar um fluxo de vídeo contendo os dados de imagem codificados de cada camada; gerar um descritor de camada recipiente que inclui: informação de frequência de quadro de quadros na camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; gerar um recipiente em um formado prescrito que inclui o fluxo de vídeo gerado e o descritor de camada recipiente; e transmitir o recipiente gerado.
6. Dispositivo transmissor, caracterizado pelo fato de compreender: circuitos configurados para: classificar dados de imagem de quadros constituindo dados de imagem em movimento em uma pluralidade de camadas dispostas em uma ordem hierárquica, cada quadro pertencendo a qualquer camada particular, com exceção de uma camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que sejam mais baixas que a camada particular; codificar os dados de imagem classificados de cada camada gerar um único fluxo de vídeo contendo os dados de imagem codificados de cada camada; adicionar, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada gerar um descritor de camada recipiente que inclui: informação de frequência de quadro de quadros na camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; gerar um recipiente em um formado prescrito que inclui o fluxo de vídeo gerado e o descritor de camada recipiente; e transmitir o recipiente gerado.
7. Dispositivo de codificação, caracterizado pelo fato de compreender: circuitos configurados para classificar dados de imagem de cada quadro constituindo dados de imagem em movimento em uma pluralidade de camadas dispostas em uma ordem hierárquica, cada quadro pertencendo a qualquer camada particular, com exceção de uma camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que sejam mais baixas que a camada particular; codificar os dados de imagem classificados de cada camada, incluindo codificar um quadro de uma camada usando um quadro referenciado que pertence à mesma camada ou uma camada mais baixa; gerar um fluxo de vídeo contendo os dados de imagem codificados de cada camada, gerar um descritor de camada de fluxo de transporte que inclui: informação de frequência de quadro de quadros na camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; gerar um fluxo de transporte em um formato prescrito que inclui o fluxo de vídeo gerado e o descritor de fluxo de transporte gerado.
8. Dispositivo de codificação de acordo com reivindicação 7, caracterizado pelo fato de que os circuitos são adicionalmente configurados para: gerar um único fluxo de vídeo contendo os dados de imagem codificados de cada camada, e adicionar, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro para os dados de imagem codificados de cada camada.
9. Dispositivo receptor, caracterizado pelo fato de compreender: circuitos configurados para: receber um recipiente em um formato prescrito que inclui um descritor de camada recipiente e um fluxo de vídeo contendo dados de imagem de quadros constituindo dados de imagem em movimento, os dados de imagem sendo classificados em uma pluralidade de camadas dispostas em uma ordem hierárquica e codificados de forma que um quadro de uma camada é codificado usando um quadro referenciado que pertence a mesma camada ou uma camada mais baixa e cada quadro pertencendo a qualquer camada particular, com exceção da camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que são mais baixas do que a camada particular; recobrar, do descritor de camada de recipiente, informação de frequência de quadro de quadros na camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; recobrar e decodificar dados de imagem codificados de uma camada selecionada, ou da camada selecionada e qualquer uma da pluralidade de camadas que são mais baixas que a camada selecionada com exceção de quando a camada selecionada for a camada mais baixa, do fluxo de vídeo incluído no recipiente recebido, para obter dados de imagem decodificados de quadros associados com a camada selecionada; e ajustar uma velocidade de reprodução de imagem dos dados de imagem decodificados de acordo com uma frequência de quadro associada com a camada selecionada que é determinada com base na informação de frequência de quadro recobrada e um fator de multiplicação correspondente.
10. Dispositivo receptor, de acordo com reivindicação 9, caracterizado pelo fato de que os circuitos são configurados para: determinar a camada selecionada com base na frequência de quadro associada com a camada selecionada e desempenho de decodificação do dispositivo receptor.
11. Dispositivo receptor, de acordo com reivindicação 9, caracterizado pelo fato de que: um único fluxo de vídeo contendo os dados de imagem codificados de cada camada está incluído no recipiente, para cada quadro, informação de identificação de camada para identificar a camada contendo o quadro camada é adicionada aos dados de imagem codificados de cada camada, e os circuitos são configurados para recobrar e decodificar seletivamente os dados de imagem codificados da camada selecionada, ou da camada selecionada e qualquer uma da pluralidade de camadas que são mais baixas que a camada selecionada com exceção de quando a camada selecionada é a camada mais baixa da pluralidade de camadas, do único fluxo de vídeo com base da informação de identificação de camada.
12. Dispositivo receptor, de acordo com reivindicação 9, caracterizado pelo fato de que: uma pluralidade de fluxos de vídeo contendo os dados de imagem codificados para cada uma da pluralidade de camadas está incluído no recipiente, informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada é inserida na camada de recipiente, e os circuitos são configurados para recobrar e decodificar os dados de imagem codificados da camada selecionada, ou da camada selecionada e qualquer uma da pluralidade de camadas que seja mais baixa que a camada selecionada com exceção de quando a camada selecionada é a camada mais baixa, dos fluxos de vídeo com base na informação de identificação de fluxo.
13. Método de recepção, caracterizado pelo fato de compreender: receber um recipiente em um formato prescrito que inclui um descritor de camada de recipiente e um fluxo de vídeo contendo dados de imagem de quadros constituindo dados de imagem em movimento, os dados de imagem sendo classificados em uma pluralidade de camadas dispostas em uma ordem hierárquica e codificados de forma que um quadro de uma camada é codificado usando um quadro referenciado que pertence a mesma camada ou uma camada mais baixa , e cada quadro pertencendo a qualquer camada particular, com exceção da camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que são mais baixas do que a camada particular; recobrar, do descritor de camada de recipiente, informação de frequência de quadro de quadros na camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; recobrar e codificar seletivamente dados de imagem codificados de uma camada selecionada, ou da camada selecionada e qualquer uma da pluralidade de camadas mais baixas que a camada selecionada, com exceção de quando a camada selecionada for a camada mais baixa, do fluxo de vídeo incluído no recipiente recebido, para obter dados de imagem de cada quadro; e ajustar uma velocidade de reprodução de imagem dos dados de imagem decodificados de acordo com uma frequência de quadro associada com a camada selecionada que é determinada com base na informação de frequência de quadro recobrada e um fator de multiplicação correspondente.
14. Método de recepção de acordo com a reivindicação 13, caracterizado pelo fato que compreende adicionalmente: recobrar, do descritor de camada de recipiente, informação de identificação de fluxo para identificar o fluxo de vídeo de cada camada, em que recobrar e decodificar os dados de imagem codificados da camada selecionada é realizado com base na informação de identificação de fluxo.
15. Dispositivo de decodifícação, caracterizado pelo fato de compreender: circuitos configurados para: recobrar e decodificar dados de imagem codificados de uma camada selecionada de uma pluralidade de camadas, ou da camada selecionada e qualquer uma da pluralidade de camadas mais baixas que a camada selecionada com exceção de quando a camada selecionada é a camada mais baixa da pluralidade de camadas, de um fluxo de vídeo de um recipiente para obter dados de imagem decodificados de quadros associados com a camada selecionada, o fluxo de vídeo contendo dados de imagem de quadros constituindo dados de imagem em movimento, os dados de imagem sendo classificados na pluralidade de camadas dispostas em uma ordem hierárquica e codificados de forma que um quadro de uma camada é codificado usando um quadro referenciado que pertence a mesma camada ou uma camada mais baixa, e cada quadro pertencendo a qualquer camada particular, com exceção da camada mais baixa da pluralidade de camadas, tendo uma posição temporal em um centro temporal entre dois quadros temporalmente adjacentes pertencendo a uma combinação de qualquer uma da pluralidade de camadas que são mais baixas do que a camada particular; e recobrar, do descritor de camada de recipiente, informação de frequência de quadro de quadros na camada mais baixa, informação de número de camada indicando um número de camadas na pluralidade de camadas, e para cada camada mais alta do que a camada mais baixa, um respectivo fator de multiplicação, uma frequência de quadro correspondendo à camada sendo uma frequência de quadro da camada mais baixa multiplicada pelo respectivo fator de multiplicação; ajustar uma velocidade de reprodução de imagem dos dados de imagem decodificados de acordo com uma frequência de quadro associada com a camada selecionada que é determinada com base na informação de frequência de quadro recobrada e um fator de multiplicação correspondente.
BR112014032108-6A 2012-06-28 2013-06-21 Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção BR112014032108B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012144979 2012-06-28
JP2012-144979 2012-06-28
PCT/JP2013/067147 WO2014002914A1 (ja) 2012-06-28 2013-06-21 送信/受信装置、方法、符号化/復号化装置

Publications (2)

Publication Number Publication Date
BR112014032108A2 BR112014032108A2 (pt) 2017-08-01
BR112014032108B1 true BR112014032108B1 (pt) 2022-12-27

Family

ID=49783066

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112014032108-6A BR112014032108B1 (pt) 2012-06-28 2013-06-21 Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção

Country Status (9)

Country Link
US (3) US10250901B2 (pt)
EP (2) EP3758376A1 (pt)
JP (1) JP6576635B2 (pt)
KR (1) KR102161863B1 (pt)
CN (1) CN104396264B (pt)
BR (1) BR112014032108B1 (pt)
IN (1) IN2014MN02408A (pt)
RU (1) RU2641470C2 (pt)
WO (1) WO2014002914A1 (pt)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595031B2 (en) 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
ES2768573T3 (es) * 2013-10-18 2020-06-23 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, dispositivo de codificación de imágenes y dispositivo de descodificación de imágenes
JP6583260B2 (ja) 2014-02-21 2019-10-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5886341B2 (ja) * 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5836424B2 (ja) 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
RU2630388C1 (ru) * 2014-04-25 2017-09-07 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
JP6768096B2 (ja) * 2014-05-23 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像符号化方法及び画像復号装置
JP6483028B2 (ja) * 2014-05-23 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像符号化方法及び画像符号化装置
KR102366503B1 (ko) * 2014-08-07 2022-02-23 소니그룹주식회사 송신 장치, 송신 방법 및 수신 장치
JP2017228895A (ja) * 2016-06-21 2017-12-28 Necプラットフォームズ株式会社 階層符号化信号間引き装置、制御方法およびプログラム
GB2553588B (en) 2016-09-13 2020-06-24 Ge Aviat Systems Ltd Multi-semiconductor solid state power controllers and method for managing inductive switching transients thereof
JP6350638B2 (ja) * 2016-11-16 2018-07-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834750B1 (ko) * 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
EP2194720A1 (en) 2004-07-20 2010-06-09 Qualcom Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
KR101340937B1 (ko) * 2005-09-29 2013-12-13 톰슨 리서치 펀딩 코포레이션 제약된 가변 비트 속도 비디오 인코딩을 위한 방법 및 장치
US8436889B2 (en) 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
KR20070108433A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 청크 디스크립터를 이용한 svc 파일포맷에서의 비디오데이터 공유방법
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
CN101421936B (zh) * 2006-03-03 2016-09-21 维德约股份有限公司 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的系统和方法
RU2395174C1 (ru) 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
WO2008048886A2 (en) * 2006-10-16 2008-04-24 Vidyo, Inc. Systems and methods for signaling and performing temporal level switching in scalable video coding
US7782808B2 (en) * 2007-07-02 2010-08-24 Lg Electronics, Inc. Digital broadcasting system and data processing method
US8230100B2 (en) * 2007-07-26 2012-07-24 Realnetworks, Inc. Variable fidelity media provision system and method
GB2456572B (en) * 2008-01-18 2012-03-14 Picochip Designs Ltd Femtocell device
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
US8300705B2 (en) * 2008-12-08 2012-10-30 Electronics And Telecommunications Research Institute Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video
CN101924944B (zh) * 2009-06-15 2013-06-05 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
KR20120015260A (ko) * 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
EP2664151A4 (en) * 2011-01-14 2016-01-20 Vidyo Inc HIGH-COATED SYNTAX FOR TIMELY SCALABILITY

Also Published As

Publication number Publication date
CN104396264A (zh) 2015-03-04
BR112014032108A2 (pt) 2017-08-01
EP2869555A4 (en) 2016-03-16
WO2014002914A1 (ja) 2014-01-03
US20200359044A1 (en) 2020-11-12
EP3758376A1 (en) 2020-12-30
KR102161863B1 (ko) 2020-10-05
JPWO2014002914A1 (ja) 2016-05-30
RU2641470C2 (ru) 2018-01-17
US20190124352A1 (en) 2019-04-25
IN2014MN02408A (pt) 2015-08-21
RU2014151717A (ru) 2016-07-10
US20150124884A1 (en) 2015-05-07
KR20150035699A (ko) 2015-04-07
US11979594B2 (en) 2024-05-07
US10750199B2 (en) 2020-08-18
JP6576635B2 (ja) 2019-09-18
US10250901B2 (en) 2019-04-02
EP2869555A1 (en) 2015-05-06
CN104396264B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
BR112014032108B1 (pt) Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção
JP7192910B2 (ja) 送信方法および送信装置
CN102396221B (zh) 阻止特技模式操作的支持
JP5774652B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5789004B2 (ja) 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
US11758161B2 (en) Coding apparatus, coding method, transmission apparatus, and reception apparatus
JP6795076B2 (ja) 送受信システムおよび送受信方法
JP5905147B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5947444B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2018011341A (ja) 送信装置、送信方法、受信装置および受信方法
JP7230981B2 (ja) 受信装置および受信方法
JP5905148B2 (ja) 送信装置、送信方法、受信装置および受信方法
RU2314655C2 (ru) Внедрение ссылочных идентификаторов содержимого tv-anytime
JP6213482B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 7/00 (2011.01)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 21/06/2013, OBSERVADAS AS CONDICOES LEGAIS