BR112020013705A2

BR112020013705A2 - aparelho e método de processamento de informação.

Info

Publication number: BR112020013705A2
Application number: BR112020013705-7A
Authority: BR
Inventors: Ryohei Takahashi; Mitsuhiro Hirabayashi
Original assignee: Sony Corporation
Priority date: 2018-01-12
Filing date: 2018-12-28
Publication date: 2020-12-01
Also published as: CN111567057A; EP3734982A4; JP7396047B2; WO2019138929A1; JPWO2019138929A1; US11729366B2; KR20200107945A; EP3734982A1; SG11202005090TA; MX2020007074A; JP2024003189A; RU2020122086A; CN111567057B; US20220224874A1; TW201937937A; US20210084282A1

Abstract

a presente descrição se refere a um dispositivo e um método de processamento de informação para habilitar a seleção mais fácil de um fluxo contínuo de subfigura. de acordo com a presente descrição, os dados de codificação de imagem com base em subfigura obtidos pela divisão da íntegra de uma figura em uma pluralidade de subfiguras e codificação das subfiguras são gerenciados. um arquivo de controle a ser usado para controlar a distribuição dos dados de codificação de imagem é criado para incluir, separadamente da informação de arranjo para cada região da figura, informação sobre regiões, na íntegra da figura, correspondentes às subfiguras. a presente descrição é aplicável a um dispositivo de processamento de informação, a um dispositivo de processamento de imagem, a um dispositivo de codificação de imagem, a um dispositivo de criação de arquivo, a um dispositivo de transmissão de arquivo, a um dispositivo de distribuição, a um dispositivo de recepção de arquivo, a um dispositivo de decodificação de imagem, ou a um dispositivo de reprodução, por exemplo.

Description

1 / 116

APARELHO E MÉTODO DE PROCESSAMENTO DE INFORMAÇÃO Campo Técnico

[001] A presente descrição se refere a um aparelho e a um método de processamento de informação, e, em particular, a um aparelho e a um método de processamento de informação habilitados para selecionar mais facilmente um fluxo contínuo de subfiguras. Fundamentos da Invenção

[002] No passado, eram conhecidos padrões para técnicas de distribuição de conteúdo adaptativa com base em HTTP (Protocolo de Transferência por Hipertexto) que inclui MPEG-DASH (Grupo de Especialistas em Imagem em Movimento-Transmissão Contínua Adaptativa Dinâmica sobre HTTP) (veja, por exemplo, NPL 1 e NPL 2).

[003] Adicionalmente, os formatos de arquivo para o MPEG-DASH incluem ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização) que inclui especificações de contêiner de arquivo para a técnica de padronização internacional para compressão de imagem em movimento “MPEG-4 (Grupo de Especialistas em Imagem em Movimento-4)” (veja, por exemplo, NPL 3).

[004] Incidentemente, o uso de MPEG-DASH para distribuição de uma imagem onidirecional (também referida como uma imagem de plano projetado) que inclui uma imagem com estrutura tridimensional mapeada para uma imagem plana foi provocado; a imagem com estrutura tridimensional inclui uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical e projetada em uma estrutura tridimensional, como no caso do que é chamado de um vídeo onidirecional. MPEG-DASH pode ser aplicado, por exemplo, pelo mapeamento da imagem com estrutura tridimensional para um único plano e distribuição de uma imagem de plano projetado que inclui a imagem com estrutura tridimensional mapeada para o plano. Também houve uma proposta

2 / 116 em que, no caso supradescrito, a imagem de plano projetado (também referida como a íntegra de uma figura) do vídeo onidirecional seja dividida em uma pluralidade de subfiguras, que é, então, armazenada em uma pluralidade de trilhas. Note que a identificação das regiões de exibição das subfiguras exige o processamento que inclui, primeiro, construir a íntegra da figura a partir das subfiguras com base na informação de divisão da subfigura e, então, rearranjar, com base na informação de empacotamento região a região, a íntegra da figura sujeita a empacotamento região a região (veja, por exemplo, NPL 4). Lista de Citação Literatura Não Patente

[005] NPL 1 “Information technology. Dynamic adaptive streaming over HTTP (DASH). Part 1: Media presentation description and segment formats,” ISO/IEC23009-1, 2014/05.

[006] NPL 2 “Information technology. Dynamic adaptive streaming over HTTP (DASH). Part 1: Media presentation description and segment formats AMENDMENT2: Spatial relationship description, generalized URL parameters and other extensions,” ISO/IEC 23009-1:2014/Amd 2:2015, 2015/07.

[007] NPL 3 “Information technology-Coding of audio-visual objects-Part 12: ISO base media file format,” ISO/IEC 14496-12, 2005-10-01.

[008] NPL 4 Ye-Kui Wang, Youngkwon Lim, “MPEG#120 OMAF meeting agenda and minutes,” ISO/IEC JTC1/SC29/WG11 MPEG2017/M41823, October 2017, Macau, China. Sumário da Invenção Problemas Técnicos

[009] Entretanto, no método atualmente proposto, em um caso em que uma imagem for dividida em subfiguras, a informação de arranjo (informação de empacotamento região a região em relação à íntegra da figura

3 / 116 não dividida) que indica que o tamanho e a posição de cada região da figura foram mudados é sinalizada na Caixa de Empacotamento Região a Região abaixo Caixa de Composição da Subfigura. Assim, em um caso em que uma trilha de subfigura for selecionada e reproduzida, a Caixa de Composição da Subfigura precisa ser sintaticamente analisada para distinguir a informação de empacotamento região a região da informação de divisão da subfigura a fim de identificar a região de exibição da trilha de subfigura na figura projetada. Estas seleção e reprodução, comparadas com a seleção e a reprodução de trilhas que não são trilhas de subfigura, podem aumentar a carga do processamento.

[0010] Em vista destas circunstâncias, um objetivo da presente descrição é permitir que um fluxo contínuo de subfiguras seja mais facilmente selecionado. Solução para os Problemas

[0011] Um aparelho de processamento de informação de acordo com um aspecto da presente técnica é um aparelho de processamento de informação que inclui uma seção de geração de arquivo configurada para gerar um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[0012] Um método de processamento de informação de acordo com um aspecto da presente técnica é um método de processamento de informação que inclui gerar um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação

4 / 116 relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[0013] Um aparelho de processamento de informação de acordo com um outro aspecto da presente técnica é um aparelho de processamento de informação que inclui uma seção de aquisição de arquivo configurada para adquirir um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem, e uma seção de processamento de imagem configurada para selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido pela seção de aquisição de arquivo.

[0014] Um método de processamento de informação de acordo com um outro aspecto da presente técnica é um método de processamento de informação que inclui adquirir um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem, e selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido.

5 / 116

[0015] No aparelho e no método de processamento de informação de acordo com o um aspecto da presente técnica, é gerado o arquivo de controle que gerencia os dados codificados da imagem para cada uma da pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada, o arquivo de controle incluindo a informação relacionada à região relacionada à região na íntegra da figura correspondente à subfigura, como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[0016] No aparelho e no método de processamento de informação de acordo com o um outro aspecto da presente técnica, é adquirido o arquivo de controle que gerencia os dados codificados da imagem para cada uma da pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada, o arquivo de controle incluindo a informação relacionada à região relacionada à região na íntegra da figura correspondente à subfigura, como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem, e o fluxo contínuo dos dados codificados da imagem é selecionado com base na informação relacionada à região incluída no arquivo de controle adquirido. Efeito Vantajoso da Invenção

[0017] De acordo com a presente descrição, a informação pode ser processada. Em particular, um fluxo contínuo de subfiguras pode ser mais facilmente selecionado. Breve Descrição dos Desenhos

[0018] A figura 1 é um diagrama que ilustra um exemplo de uma estrutura hierárquica da Caixa das trilhas de subfigura ISOBMFF.

[0019] A figura 2 é um diagrama que ilustra um exemplo de uma estrutura hierárquica da Caixa de Trilhas que não são trilhas de subfigura

6 / 116 ISOBMFF.

[0020] A figura 3 é um diagrama que ilustra um exemplo da sintaxe da Caixa de Composição da Subfigura.

[0021] A figura 4 é um diagrama que ilustra um exemplo da sintaxe da Caixa de Região da Subfigura.

[0022] A figura 5 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa de Região da Subfigura.

[0023] A figura 6 é um diagrama que ilustra um exemplo da sintaxe da Caixa de Empacotamento Região a Região.

[0024] A figura 7 é um diagrama que ilustra um exemplo da sintaxe de Struct de Empacotamento Região a Região.

[0025] A figura 8 é um diagrama que ilustra um exemplo da semântica dos campos definidos em Struct de Empacotamento Região a Região.

[0026] A figura 9 é um diagrama que ilustra um exemplo da sintaxe de RectRegionPacking.

[0027] A figura 10 é um diagrama que ilustra um exemplo da semântica dos campos definidos em RectRegionPacking.

[0028] A figura 11 é um diagrama de blocos que ilustra um exemplo de configuração principal de um aparelho de geração de arquivo.

[0029] A figura 12 é um diagrama de blocos que ilustra um exemplo de configuração principal de um aparelho cliente.

[0030] A figura 13 é um diagrama que ilustra um exemplo da informação da região de exibição.

[0031] A figura 14 é um fluxograma que ilustra um exemplo do procedimento de processamento de carregamento.

[0032] A figura 15 é um fluxograma que ilustra um exemplo do procedimento de processamento de reprodução do conteúdo.

[0033] A figura 16 é um diagrama que ilustra um exemplo da sintaxe

7 / 116 da Caixa da Informação de Cobertura 2D.

[0034] A figura 17 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa da Informação de Cobertura 2D.

[0035] A figura 18 é um diagrama que ilustra um exemplo da informação da região de exibição.

[0036] A figura 19 é um diagrama que ilustra um exemplo de subfiguras que incluem regiões não consecutivas.

[0037] A figura 20 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Informação de Cobertura 2D.

[0038] A figura 21 é um diagrama que ilustra um exemplo da semântica dos campos adicionados neste caso.

[0039] A figura 22 é um diagrama que ilustra um exemplo da sintaxe de Struct de Empacotamento Região a Região.

[0040] A figura 23 é um diagrama que ilustra um exemplo da semântica dos campos adicionados neste caso.

[0041] A figura 24 é um diagrama que ilustra um exemplo da sintaxe de RectProjectedRegion.

[0042] A figura 25 é um diagrama que ilustra um exemplo da semântica dos campos definidos em RectProjectedRegion.

[0043] A figura 26 é um diagrama que ilustra um exemplo da sintaxe de Struct de Empacotamento Região a Região.

[0044] A figura 27 é um diagrama que ilustra um exemplo da sintaxe de RectRegionPacking.

[0045] A figura 28 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Informação de Cobertura.

[0046] A figura 29 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa da Informação de Cobertura.

[0047] A figura 30 é um diagrama que ilustra um exemplo da sintaxe da mensagem SEI da projeção do deslocamento Esférico.

8 / 116

[0048] A figura 31 é um diagrama que ilustra um exemplo da semântica dos campos definidos na mensagem SEI da projeção do deslocamento Esférico.

[0049] A figura 32 é um diagrama que ilustra um exemplo da sintaxe da Entrada da Amostra da Informação de Cobertura 2D.

[0050] A figura 33 é um diagrama que ilustra um exemplo da sintaxe da Amostra da Informação de Cobertura 2D.

[0051] A figura 34 é um diagrama que ilustra um exemplo da Caixa da Tabela de Amostra.

[0052] A figura 35 é um diagrama que ilustra um exemplo da sintaxe da Entrada do Grupo de Amostra da Informação de Cobertura 2D.

[0053] A figura 36 é um fluxograma que ilustra um exemplo do procedimento de processamento de carregamento.

[0054] A figura 37 é um fluxograma que ilustra um exemplo do procedimento de processamento de reprodução do conteúdo.

[0055] A figura 38 é um diagrama que ilustra os exemplos de valores de atributo dos descritores da informação de cobertura 2D.

[0056] A figura 39 é um diagrama que ilustra os exemplos de valores de atributo dos descritores da informação de cobertura 2D.

[0057] A figura 40 é um diagrama que ilustra os exemplos de tipos de dados.

[0058] A figura 41 é um diagrama que ilustra os exemplos de valores de atributo dos descritores de Empacotamento Região a Região.

[0059] A figura 42 é um diagrama que ilustra os exemplos de valores de atributo dos descritores de Empacotamento Região a Região.

[0060] A figura 43 é um diagrama que ilustra os exemplos de valores de atributo dos descritores da cobertura de Conteúdo.

[0061] A figura 44 é um diagrama que ilustra os exemplos de valores de atributo dos descritores da cobertura de Conteúdo e continuado a partir da

9 / 116 figura 43.

[0062] A figura 45 é um diagrama que ilustra os exemplos de tipos de dados.

[0063] A figura 46 é um diagrama que ilustra os exemplos de tipos de dados e continuado a partir da figura 45.

[0064] A figura 47 é um diagrama que ilustra os exemplos de tipos de dados e continuado a partir da figura 46.

[0065] A figura 48 é um diagrama que ilustra um exemplo de divisão em subfiguras.

[0066] A figura 49 é um diagrama que ilustra um exemplo de divisão em subfiguras.

[0067] A figura 50 é um diagrama que ilustra um exemplo de divisão em subfiguras.

[0068] A figura 51 é um fluxograma que ilustra um exemplo do procedimento de processamento de carregamento.

[0069] A figura 52 é um fluxograma que ilustra um exemplo do procedimento de processamento de reprodução do conteúdo.

[0070] A figura 53 é um diagrama que ilustra um exemplo da sintaxe da Caixa de Vídeo Estéreo Original.

[0071] A figura 54 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa de Vídeo Estéreo Original.

[0072] A figura 55 é um diagrama que ilustra um exemplo de um sinal para um tamanho de exibição.

[0073] A figura 56 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Razão do Aspecto de Pixel.

[0074] A figura 57 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa da Razão do Aspecto de Pixel.

[0075] A figura 58 é um diagrama que ilustra um exemplo de sinalização de uma razão de aspecto do pixel para um tempo de exibição.

10 / 116

[0076] A figura 59 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Informação do Esquema Original.

[0077] A figura 60 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Informação de Cobertura 2D.

[0078] A figura 61 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa da Informação de Cobertura 2D.

[0079] A figura 62 é um diagrama que ilustra a sinalização de stereo_presentation_suitable.

[0080] A figura 63 é um diagrama que ilustra um exemplo da sintaxe da Caixa de Vídeo Estéreo da Trilha.

[0081] A figura 64 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Informação de Cobertura 2D.

[0082] A figura 65 é um diagrama que ilustra um exemplo da semântica dos campos definidos na Caixa da Informação de Cobertura 2D.

[0083] A figura 66 é um diagrama que ilustra um exemplo de sinalização de view_idc.

[0084] A figura 67 é um fluxograma que ilustra um exemplo do procedimento de processamento de carregamento.

[0085] A figura 68 é um fluxograma que ilustra um exemplo do procedimento de processamento de reprodução do conteúdo.

[0086] A figura 69 é um diagrama que ilustra os exemplos de valores de atributo dos descritores da informação de cobertura 2D.

[0087] A figura 70 é um diagrama que ilustra os exemplos de valores de atributo dos descritores da informação de cobertura 2D e continuado a partir da figura 69.

[0088] A figura 71 é um diagrama que ilustra os exemplos de tipos de dados.

[0089] A figura 72 é um diagrama de blocos que ilustra um exemplo de configuração principal de um computador.

11 / 116

[0090] A figura 73 é um diagrama que ilustra um exemplo da sintaxe da Caixa de Composição da Subfigura.

[0091] A figura 74 é um diagrama que ilustra um exemplo da sintaxe da Propriedade Complementar. Descrição das Modalidades

[0092] As modalidades da presente descrição (a seguir referidas como modalidades) serão descritas. A descrição é na seguinte ordem.

[0093] 1. Sinalização da informação relacionada à subfigura

2. Primeira modalidade (Sinalização da Região de Exibição da subfigura e Extensão de ISOBMFF)

3. Segunda modalidade (Sinalização da Região de Exibição da subfigura e Extensão de MPD)

4. Terceira Modalidade (Sinalização da Informação Estéreo em relação à Íntegra da Figura e Extensão de ISOBMFF)

5. Quarta Modalidade (Sinalização da Informação Estéreo em relação à Íntegra da Figura e Extensão de MPD)

6. Recursos Complementares <1. Sinalização da informação relacionada à subfigura> <Documentos que suportam conteúdos e termos técnicos, e congêneres>

[0094] O escopo descrito na presente técnica inclui não apenas os conteúdos descritos nas modalidades, mas, também, os conteúdos descritos na Literatura Não Patente a seguir, que eram bem conhecidos no momento do depósito do pedido.

[0095] NPL 1: (supradescrita) NPL 2: (supradescrita) NPL 3: (supradescrita) NPL 4: (supradescrita)

[0096] Em outras palavras, os conteúdos descritos na Literatura Não Patente supradescrita são as bases para a determinação das exigências de

12 / 116 suporte. Por exemplo, os termos técnicos, tais como análise sintática, sintaxe, e semântica estão no escopo da descrição da presente técnica e satisfazem as exigências de suporte para as reivindicações até mesmo em um caso em que as modalidades não incluírem descrição direta dos termos. <MPEG-DASH>

[0097] No passado, eram conhecidos padrões para técnicas de distribuição de conteúdo adaptativa com base em HTTP (Protocolo de Transferência por Hipertexto), incluindo MPEG-DASH (Grupo de Especialistas em Imagem em Movimento-Transmissão Contínua Adaptativa Dinâmica sobre HTTP) da forma descrita, por exemplo, em NPL 1 e NPL 2.

[0098] O MPEG-DASH permite, por exemplo, que vídeos sejam reproduzidos em uma taxa de bit ideal dependendo de uma variação na banda de rede, que usa HTTP, correspondente a um protocolo de comunicação similar àquele usado para transferir uma página da Internet a partir de um portal da internet.

[0099] Os padrões permitem que as infraestruturas para serviços de distribuição de imagem em movimento e as técnicas para clientes de reprodução de imagem em movimento sejam mais facilmente desenvolvidas. Em particular, para os operadores engajados em serviços de distribuição, os padrões são vantajosos para melhorar a compatibilidade entre os serviços de distribuição de imagem em movimento e os clientes de reprodução de imagem em movimento, e facilitar adicionalmente a utilização de recursos de conteúdo de saída, e espera-se que sejam efetivos para promover o crescimento de mercados.

[00100] O MPEG-DASH inclui principalmente dois desenhos técnicos, incluindo um padrão para especificações de arquivo de manifesto referidas como MPD (Descrição de Apresentação de Mídia) que descreve os metadados usados para gerenciar as imagens em movimento e os arquivos de áudio e um padrão operacional para um formato de arquivo referido como um formato de

13 / 116 segmento para a comunicação real de conteúdo da imagem em movimento.

[00101] Por exemplo, da forma descrita em NPL 3, os formatos de arquivo para o MPEG-DASH incluem ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização) que inclui especificações de contêiner de arquivo para a técnica padrão internacional para a compressão de imagem em movimento “MPEG-4 (Grupo de Especialistas em Imagem em Movimento-4)”. O ISOBMFF inclui uma Extensão adicional para satisfazer as exigências para o MPEG-DASH, como as especificações estendidas para ISO/IEC (Organização Internacional para Padronização/Comissão Eletrotécnica Internacional) 14496-12. <Distribuição de vídeo onidirecional usando MPEG-DASH>

[00102] Incidentemente, uma imagem de plano projetado inclui uma imagem com estrutura tridimensional mapeada para uma imagem plana; a imagem com estrutura tridimensional inclui uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical e projetada em uma estrutura tridimensional, como no caso do que é chamado de um vídeo onidirecional. Por exemplo, pela renderização de uma imagem periférica visualizada a partir de um ponto de visualização (vídeo onidirecional) em uma estrutura tridimensional ao redor do ponto de visualização para prover uma imagem com estrutura tridimensional, uma imagem ao redor do ponto de visualização pode ser naturalmente expressada ou uma imagem em uma direção de linha de visão desejada pode ser facilmente gerada a partir da imagem com estrutura tridimensional.

[00103] Nos últimos anos, o uso do MPEG-DASH para distribuição da imagem de plano projetado (vídeo onidirecional ou congêneres) foi provocado. Por exemplo, da forma descrita em NPL 4, o MPEG-DASH pode ser aplicado pelo mapeamento de uma imagem com estrutura tridimensional para um único plano, e distribuição de uma imagem de plano projetado com a

14 / 116 imagem com estrutura tridimensional mapeada para o plano.

[00104] Os métodos para projeção em uma estrutura tridimensional e mapeamento para um plano (os métodos também são referidos como formatos de projeção) incluem, por exemplo, ERP (Projeção Equiretangular) e CMP (Projeção em Mapa Cúbico). Por exemplo, em ERP, uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical e projetada em uma estrutura tridimensional é mapeada para um único plano, de maneira tal que uma direção latitudinal e uma direção longitudinal de uma estrutura tridimensional esférica fiquem ortogonais uma em relação à outra. Adicionalmente, em CMP, por exemplo, uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical é projetada em superfícies de uma estrutura tridimensional, e as superfícies da estrutura tridimensional são desenvolvidas e mapeadas para um único plano, de maneira tal que as superfícies sejam arranjadas em uma ordem predeterminada.

[00105] Uma imagem de plano projetado sobre a qual um vídeo onidirecional é projetado e mapeado também é referida como uma figura projetada. Em outras palavras, a figura projetada se refere a uma imagem bidimensional (figura bidimensional) determinada para cada formato de projeção e expressando um vídeo onidirecional.

[00106] Para a formato de Mídia Onidirecional MPEG-I Parte 2 (ISO/IEC 23090-2) FDIS (Padrões Internacionais em Esboço Final) (a seguir referido como OMAF) descrito em NPL 4, foi discutida uma técnica na qual uma imagem de plano projetado (também referida como a íntegra de uma figura) de um vídeo onidirecional é dividida em uma pluralidade de subfiguras, que é armazenada em uma pluralidade de trilhas.

[00107] Por exemplo, há um caso de uso em que as trilhas da subfigura correspondentes ao campo de visualização são configuradas para respectivas

15 / 116 regiões de campo de visualização em particular e em que um cliente seleciona e reproduz qualquer uma das trilhas de subfigura de acordo com a região do campo de visualização do cliente. <Estrutura Hierárquica da Caixa do Arquivo ISOBMFF>

[00108] Uma estrutura hierárquica da Caixa 11 na figura 1 representa um exemplo de uma estrutura hierárquica da Caixa para um arquivo ISOBMFF usado para formar um vídeo onidirecional em trilhas de subfigura.

[00109] Da forma ilustrada na estrutura hierárquica da Caixa 11, neste caso, a informação em relação à íntegra da Figura é armazenada abaixo da Caixa do Grupo de Trilha. Por exemplo, a Caixa de Composição da Subfigura (spco) armazena a informação usada para agrupamento das trilhas de subfigura e que indica, por exemplo, se a figura foi dividida em subfiguras. Adicionalmente, abaixo da Caixa de Composição da Subfigura, Caixas, tais como a Caixa da Região da Subfigura (sprg), a Caixa de Empacotamento Região a Região (rwpk), e a Caixa de Vídeo Estéreo (stvi), são formadas.

[00110] A Caixa da Região da Subfigura armazena a informação de divisão da subfigura que indica, por exemplo, uma maneira de divisão em subfiguras. Adicionalmente, a Caixa de Empacotamento Região a Região armazena a informação de empacotamento região a região em relação à íntegra da figura não dividida. Além do mais, a Caixa de Vídeo Estéreo armazena a informação (informação estéreo) em relação à exibição estereoscópica (exibição estereoscópica) da íntegra da figura. A informação estéreo inclui a informação que indica, por exemplo, o tipo de uma imagem de exibição estereoscópica, por exemplo, lado a lado ou topo e base.

[00111] Adicionalmente, abaixo da Caixa da Informação do Esquema (schi) abaixo da Caixa da Informação do Esquema Restrito (rinf) abaixo da Entrada de Amostra Restrita (resv) (tipo da Entrada de Amostra) abaixo da Caixa de Descrição de Amostra (stsd) abaixo da Caixa da Tabela de Amostra (stbl) abaixo da Caixa da Informação de Mídia (minf) abaixo da Caixa de

16 / 116 Mídia (mdia), as Caixas, tais como a Caixa de Vídeo Onidirecional Projetado (povd) e StereoVideoBox (stvi), são formadas.

[00112] A Caixa de Vídeo Onidirecional Projetado armazena os metadados associados com o vídeo onidirecional. O StereoVideoBox armazena a informação estéreo em relação à subfigura à qual a Caixa corresponde.

[00113] Uma estrutura hierárquica da Caixa 12 na figura 2 representa um exemplo de uma estrutura hierárquica da Caixa de um arquivo ISOBMFF em que o vídeo onidirecional não é formado nas trilhas de subfigura.

[00114] Da forma ilustrada na estrutura hierárquica da Caixa 12, neste caso, a Caixa do Grupo de Trilha não é formada, e a Caixa de Empacotamento Região a Região é formada abaixo da Caixa de Vídeo Onidirecional Projetado.

[00115] Em outras palavras, em um caso em que o vídeo onidirecional for formado nas subfiguras, a Caixa de Empacotamento Região a Região que indica a informação de arranjo que indica que o tamanho e a posição de cada região da figura foram mudados é sinalizada apenas para a Caixa de Composição da Subfigura, e inclui a informação de empacotamento região a região em relação à íntegra da figura não dividida. Ao contrário, em um caso em que o vídeo onidirecional não for formado nas subfiguras, a Caixa de Empacotamento Região a Região é sinalizada na Caixa de Vídeo Onidirecional Projetado e inclui a informação de empacotamento região a região em relação à figura armazenada na trilha. Uma trilha que inclui a Caixa de Composição da Subfigura é a seguir referida como uma trilha de subfigura. <Seleção de trilha da subfigura>

[00116] Assim, dependendo se a trilha for uma trilha da subfigura ou uma trilha normal não sujeita a divisão em subfiguras, o processamento exigido para que um cliente identifique uma região de exibição, em uma imagem de plano projetado (figura projetada), de uma imagem na trilha varia.

17 / 116 Por exemplo, em um caso em que uma trilha da subfigura for selecionada e reproduzida, a Caixa de Composição da Subfigura precisa ser sintaticamente analisada para identificar a informação de empacotamento região a região e a informação de divisão da subfigura a fim de identificar a região de exibição da trilha da subfigura na figura projetada. Ao contrário, em um caso em que uma trilha que não é uma trilha da subfigura for selecionada e reproduzida, este processamento é desnecessário.

[00117] A sintaxe 21 na figura 3 representa um exemplo da sintaxe da Caixa de Composição da Subfigura. Da forma ilustrada na sintaxe 21, a Caixa da Região da Subfigura e a Caixa de Empacotamento Região a Região são definidas na Caixa de Composição da Subfigura.

[00118] A sintaxe 22 na figura 4 representa um exemplo da sintaxe da Caixa da Região da Subfigura. Da forma ilustrada na sintaxe 22, os campos, tais como track_x, o track_y, o track_width, o track_height, o composition_width, e o composition_height, são definidos na Caixa da Região da Subfigura.

[00119] A semântica 23 na figura 5 representa um exemplo da semântica dos campos na Caixa da Região da Subfigura. Da forma ilustrada na semântica 23, o track_x indica a posição horizontal, na íntegra da figura, de uma subfigura armazenada na trilha. O track_y indica a posição vertical, na íntegra da figura, da subfigura armazenada na trilha. O track_width indica a largura da subfigura armazenada na trilha. O track_height indica a altura da subfigura armazenada na trilha. O composition_width indica a largura da íntegra da figura. O composition_height indica a altura da íntegra da figura.

[00120] A Sintaxe 24 na figura 6 indica um exemplo da sintaxe da Caixa de Empacotamento Região a Região. Da forma ilustrada na sintaxe 24, o Struct de Empacotamento Região a Região é definido na Caixa de Empacotamento Região a Região.

[00121] A sintaxe 25 na figura 7 representa um exemplo da sintaxe de

18 / 116 Struct de Empacotamento Região a Região. Da forma ilustrada na sintaxe 25, os campos, tais como constituent_picture_matching_flag, num_regions, o proj_picture_width, o proj_picture_height, o packed_picture_width, o packed_picture_height, o guard_band_flag[i], packing_type[i], e GuardBand(i), são definidos em Struct de Empacotamento Região a Região.

[00122] A semântica 26 na figura 8 representa um exemplo da semântica dos campos definidos em Struct de Empacotamento Região a Região. Da forma ilustrada na semântica 26, o constituent_picture_matching_flag é a informação do indicador que indica se o mesmo empacotamento região a região é aplicado ou não em uma visualização para o olho esquerdo (Visualização Esquerda) e uma visualização para o olho direito (Visualização Direita) em um caso em que a figura for estereoscópica. Por exemplo, este campo com um valor de 0 indica que a figura é mono (visualização com ponto de visualização único) ou que diferentes empacotamentos são aplicados na Visualização Esquerda e na Visualização Direita. Este campo com um valor de 1 indica que o mesmo empacotamento é aplicado na Visualização Esquerda e na Visualização Direita.

[00123] Adicionalmente, o num_regions indica o número de regiões empacotadas. O proj_picture_width indica a largura da figura projetada. O proj_picture_height indica a altura da figura projetada. O packed_picture_width indica a largura de uma figura empacotada (figura sujeita a empacotamento região a região). O packed_picture_height indica a altura da figura empacotada.

[00124] Adicionalmente, o guard_band_flag[i] é a informação do indicador que indica se uma banda de segurança está presente ou não. Por exemplo, este campo com um valor de 0 indica que nenhuma banda de segurança está presente em uma região empacotada, e este campo com um valor de 1 indica que uma banda de segurança está presente na região

19 / 116 empacotada. O packing_type[i] indica a forma da região empacotada. Por exemplo, este campo com um valor de 0 indica que a região empacotada é retangular. O GuardBand(i) é a informação da banda de segurança em relação à periferia da região.

[00125] Adicionalmente, da forma ilustrada na sintaxe 25, o RectRegionPacking é adicionalmente definido em Struct de Empacotamento Região a Região. A sintaxe 27 na figura 9 representa um exemplo da sintaxe em RectRegionPacking. Da forma ilustrada na sintaxe 27, os campos, tais como o proj_reg_width[i], o proj_reg_height[i], o proj_reg_top[i], o proj_reg_left{i}, o transform_type[i], o packed_reg_width[i], o packed_reg_height[i], o packed_reg_top[i] e o packed_reg_left[i], são definidos em RectRegionPacking.

[00126] A semântica 28 na figura 10 representa um exemplo da semântica dos campos definidos em RectRegionPacking. Da forma ilustrada na semântica 28, o proj_reg_width[i] indica a largura de uma região projetada correspondente a uma fonte de aplicação de empacotamento região a região. O proj_reg_height[i] indica a altura da região projetada correspondente à fonte de aplicação de empacotamento região a região. O proj_reg_top[i] indica a posição vertical da região projetada correspondente à fonte de aplicação de empacotamento região a região. O proj_reg_left[i] indica a posição horizontal da região projetada correspondente à fonte de aplicação de empacotamento região a região. O transform_type[i] indica a rotação ou o espelhamento da região empacotada. O packed_reg_width[i] indica a largura da região empacotada rearranjada pelo empacotamento região a região. O packed_reg_height[i] indica a altura da região empacotada rearranjada pelo empacotamento região a região. O packed_reg_top[i] indica a posição vertical da região empacotada rearranjada pelo empacotamento região a região. O packed_reg_left[i] indica a posição horizontal da região empacotada rearranjada pelo empacotamento região a região.

20 / 116

[00127] Em outras palavras, por exemplo, em um caso em que o cliente selecionar uma trilha da subfigura de acordo com o campo de visualização do usuário, estas peças de informação precisam ser sintaticamente analisadas e, assim, esta seleção, comparada com a seleção e a reprodução de uma trilha que não é uma trilha da subfigura, pode aumentar a carga no processamento correspondente. <Identificação da Informação Estéreo>

[00128] Adicionalmente, em um caso em que a íntegra da figura do vídeo onidirecional estereoscópico for dividida em subfiguras, a Caixa de Vídeo Estéreo que indica a informação estéreo em relação à íntegra da Figura (qual tipo de imagem de exibição estereoscópica a íntegra da figura é, e congêneres) é sinalizada na Caixa de Composição da Subfigura, e a Caixa de Vídeo Estéreo que indica a informação estéreo em relação a uma subfigura (qual tipo de imagem de exibição estereoscópica a subfigura é, e congêneres) é sinalizada abaixo da Caixa da Informação do Esquema da Entrada de Amostra na trilha. Ao contrário, em um caso em que a íntegra da figura não for dividida em subfiguras, a Caixa de Vídeo Estéreo é sinalizada apenas abaixo da Caixa da Informação do Esquema e inclui a informação estéreo em relação à figura armazenada na trilha.

[00129] Assim, dependendo se a trilha for uma trilha da subfigura ou uma trilha normal não sujeita a divisão em subfiguras, o processamento exigido para que o cliente identifique a informação estéreo em relação à trilha varia. Por exemplo, em um caso em que a íntegra da figura for uma imagem estéreo (imagem estereoscópica), as trilhas da subfigura resultante da divisão incluem a visualização L e a visualização R, mas, em alguns casos, o arranjo do empacotamento de quadro não é topo e base ou lado a lado.

[00130] Desta maneira, em um caso em que é identificado se uma subfigura como esta é ou não exibível em estéreo, é necessário o processamento que envolve a análise sintática da Caixa de Composição da

21 / 116 Subfigura e a identificação da informação de empacotamento região a região e da informação de divisão da subfigura e, também, a identificação da informação estéreo. Ao contrário, em um caso em que uma trilha que não é uma trilha da subfigura for selecionada e reproduzida, este processamento é desnecessário.

[00131] Em outras palavras, por exemplo, em um caso em que o cliente selecionar uma trilha da subfigura de acordo com a capacidade de exibição estéreo do cliente, esta seleção, comparada com a seleção e a reprodução de uma trilha que não é uma trilha da subfigura, pode aumentar a carga no processamento correspondente.

[00132] A seleção da trilha da subfigura no arquivo ISOBMFF foi descrita. Entretanto, no arquivo MPD, a subfigura é gerenciada como um Conjunto de Adaptação. A seleção de um Conjunto de Adaptação que referencia a subfigura no arquivo MPD pode aumentar a carga de processamento por motivos similares aos motivos supradescritos. Em outras palavras, a carga na seleção de um fluxo contínuo pode aumentar independente se o arquivo ISOBMFF ou o arquivo MPD forem usados. <Sinalização da Região de Exibição da Subfigura>

[00133] Assim, em um caso em que a íntegra da figura for dividida em subfiguras, a informação em relação à região de exibição da subfigura é sinalizada (provida para um lado da reprodução do conteúdo). A região de exibição representa uma região na íntegra da figura. Especificamente, a informação relacionada à região de exibição da subfigura é a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura, em outras palavras, qual imagem parcial da íntegra da figura corresponde à subfigura. Esta informação indica, por exemplo, a posição, o tamanho, a forma e congêneres da região correspondente à subfigura. Um método para expressar a região é opcional e, por exemplo, a faixa da região pode ser indicada por coordenadas ou

22 / 116 congêneres.

[00134] Isto permite que o cliente que reproduz o conteúdo aprenda onde no vídeo onidirecional a subfigura deve ser exibida com base na informação supradescrita.

[00135] Neste momento, a informação relacionada à região de exibição da subfigura é sinalizada como a informação para cada subfigura. Isto permite que o cliente obtenha facilmente esta informação. Desta maneira, o cliente pode selecionar facilmente um fluxo contínuo de subfiguras desejadas. Por exemplo, em um caso em que o fluxo contínuo for selecionado de acordo com o campo de visualização do usuário, o cliente pode selecionar facilmente o fluxo contínuo apropriado correspondente à direção ou à faixa do campo de visualização. <Sinalização da Informação Estéreo em relação à Íntegra da Figura Dividida em Subfiguras>

[00136] Adicionalmente, é sinalizada a informação estéreo que inclui a informação relacionada à exibição estereoscópica da íntegra da figura dividida em subfiguras. Isto permite que o cliente que reproduz o conteúdo aprenda facilmente se a íntegra da figura é uma imagem estéreo ou não (imagem estereoscópica) e, em um caso em que a íntegra da figura for uma imagem estéreo, o tipo da imagem estéreo. Assim, o cliente pode aprender facilmente qual imagem é incluída na subfigura (por exemplo, qual parte de qual tipo de imagem estéreo (ou imagem mono (imagem com ponto de visualização único) a imagem incluída na subfigura corresponde)).

[00137] Desta maneira, o cliente pode selecionar facilmente o fluxo contínuo desejado. Por exemplo, em um caso de seleção do fluxo contínuo de acordo com a capacidade do cliente, o cliente pode selecionar facilmente o fluxo contínuo apropriado de acordo com a capacidade do cliente. <Aparelho de geração de arquivo>

[00138] Agora, uma configuração de um aparelho que provê a

23 / 116 sinalização relacionada a uma subfigura será descrita. A figura 11 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho de geração de arquivo de acordo com um aspecto de um aparelho de processamento de informação no qual a presente técnica é aplicada. Um aparelho de geração de arquivo 100 ilustrado na figura 11 é um aparelho que gera um arquivo ISOBMFF (arquivo de segmento) ou um arquivo MPD. Por exemplo, o aparelho de geração de arquivo 100 implementa as técnicas descritas em NPL 1 a NPL 4, e usa um método em conformidade com o MPEG-DASH para gerar um arquivo ISOBMFF que inclui um fluxo contínuo ou um arquivo MPD correspondentes a um arquivo de controle usado para controlar a distribuição de um fluxo contínuo e para carregar (transmitir) o arquivo por meio de uma rede para um servidor que distribui o arquivo.

[00139] Note que a figura 11 ilustra os componentes principais, tais como as seções de processamento e um fluxo de dados, e não ilustra todos os componentes do aparelho de geração de arquivo. Em outras palavras, no aparelho de geração de arquivo 100, as seções de processamento não ilustradas como blocos na figura 11 podem estar presentes ou o processamento ou um fluxo de dados não ilustrados como uma seta na figura 11 podem estar presentes.

[00140] Da forma ilustrada na figura 11, o aparelho de geração de arquivo 100 inclui uma seção de controle 101, uma memória 102, e uma seção de geração de arquivo 103.

[00141] A seção de controle 101 controla a operação do aparelho de geração de arquivo 100 como um todo. Por exemplo, a seção de controle 101 controla e faz com que a seção de geração de arquivo 103 gere um arquivo ISOBMFF ou um arquivo MPD e carregue o arquivo ISOBMFF ou o arquivo MPD gerados. A seção de controle 101 executa o processamento relacionado a tal controle, utilizando a memória 102. Por exemplo, a seção de controle 101 carrega programas desejados ou congêneres na memória 102 e executa os

24 / 116 programas para realizar o processamento relacionado ao controle, como exposto.

[00142] A seção de geração de arquivo 103 executa o processamento relacionado à geração e ao carregamento (transmissão) de um arquivo ISOBMFF ou um arquivo MPD de acordo com o controle da seção de controle 101. Da forma ilustrada na figura 11, a seção de geração de arquivo 103 inclui uma seção da entrada de dados 111, uma seção de codificação e geração de dados 112, uma seção de geração do arquivo MPD 113, uma seção de gravação 114, e uma seção de carregamento 115.

[00143] A seção da entrada de dados 111 executa o processamento relacionado a recepção de dados inseridos. Por exemplo, a seção da entrada de dados 111 recebe, por exemplo, os dados, tais como as imagens necessárias para gerar as texturas e as malhas e os metadados necessários para gerar um arquivo MPD. Adicionalmente, a seção da entrada de dados 111 alimenta os dados recebidos para a seção de codificação e geração de dados 112 e a seção de geração do arquivo MPD 113.

[00144] A seção de codificação e geração de dados 112 executa o processamento relacionado a codificação de dados e geração de um arquivo. Por exemplo, a seção de codificação e geração de dados 112 gera um fluxo contínuo de texturas, malhas ou congêneres com base em dados, tais como as imagens alimentadas a partir da seção da entrada de dados 111. Adicionalmente, a seção de codificação e geração de dados 112 gera um arquivo ISOBMFF que armazena um fluxo contínuo gerado. Além do mais, a seção de codificação e geração de dados 112 alimenta para a seção de gravação 114 o arquivo ISOBMFF gerado.

[00145] Da forma ilustrada na figura 11, a seção de codificação e geração de dados 112 inclui uma seção de pré-processo 121, uma seção de codificação 122, e uma seção de geração do arquivo de segmento 123.

[00146] A seção de pré-processo 121 executa o processamento nos

25 / 116 dados, tais como imagens não codificadas. Por exemplo, a seção de pré- processo 121 gera um fluxo contínuo de texturas ou malhas com base em dados, tais como as imagens alimentadas a partir da seção da entrada de dados

111. Adicionalmente, por exemplo, a seção de pré-processo 121 alimenta para a seção de codificação 122 o fluxo contínuo gerado.

[00147] A seção de codificação 122 executa o processamento relacionado a codificação de um fluxo contínuo. Por exemplo, a seção de codificação 122 codifica um fluxo contínuo alimentado a partir da seção de pré-processo 121. Adicionalmente, por exemplo, a seção de codificação 122 alimenta para a seção de geração do arquivo de segmento 123 os dados codificados resultantes da codificação pela seção de codificação 122.

[00148] A seção de geração do arquivo de segmento 123 executa o processamento relacionado à geração de um arquivo de segmento. Por exemplo, com base em metadados alimentados a partir da seção da entrada de dados 111 e congêneres, a seção de geração do arquivo de segmento 123 forma os dados codificados alimentados a partir da seção de codificação 122 em um arquivo em unidades de segmentos (gera um arquivo de segmento). Adicionalmente, por exemplo, a seção de geração do arquivo de segmento 123 alimenta para a seção de gravação 114 o arquivo ISOBMFF gerado, como exposto, como o processamento relacionado à geração de um arquivo de segmento. Por exemplo, a seção de geração do arquivo de segmento 123 gera um arquivo ISOBMFF como um arquivo de segmento e alimenta para a seção de gravação 114 o arquivo ISOBMFF gerado.

[00149] A seção de geração do arquivo MPD 113 executa o processamento relacionado à geração de um arquivo MPD. Por exemplo, a seção de geração do arquivo MPD 113 gera um arquivo MPD com base em metadados e congêneres alimentados a partir da seção da entrada de dados

111. Adicionalmente, por exemplo, a seção de geração do arquivo MPD 113 alimenta para a seção de gravação 114 o arquivo MPD gerado. Note que a

26 / 116 seção de geração do arquivo MPD 113 pode adquirir, a partir da seção de geração do arquivo de segmento 123, os metadados e congêneres necessários para gerar um arquivo MPD.

[00150] A seção de gravação 114 inclui qualquer mídia de gravação, por exemplo, um disco rígido ou uma memória semicondutora, e executa o processamento relacionado, por exemplo, à gravação de dados. Por exemplo, a seção de gravação 114 grava um arquivo MPD alimentado a partir da seção de geração do arquivo MPD 113. Adicionalmente, por exemplo, a seção de gravação 114 grava um arquivo de segmento (por exemplo, um arquivo ISOBMFF) alimentado a partir da seção de geração do arquivo de segmento

123.

[00151] A seção de carregamento 115 executa o processamento relacionado ao carregamento (transmissão) de um arquivo. Por exemplo, a seção de carregamento 115 lê o arquivo MPD gravado na seção de gravação

114. Adicionalmente, por exemplo, a seção de carregamento 115 carrega (transmite) o arquivo MPD lido por meio de uma rede ou congêneres para um servidor (não ilustrado) que distribui o arquivo MPD para o cliente e congêneres.

[00152] Adicionalmente, por exemplo, a seção de carregamento 115 lê o arquivo de segmento (por exemplo, um arquivo ISOBMFF) gravado na seção de gravação 114. Adicionalmente, por exemplo, a seção de carregamento 115 carrega (transmite) o arquivo de segmento lido por meio da rede ou congêneres para o servidor (não ilustrado) que distribui o arquivo de segmento para o cliente e congêneres.

[00153] Em outras palavras, a seção de carregamento 115 funciona como uma seção de comunicação que transmite um arquivo MPD ou um arquivo de segmento (por exemplo, um arquivo ISOBMFF) para o servidor. Note que um destino do arquivo MPD proveniente da seção de carregamento 115 pode ser igual ou diferente de um destino do arquivo de segmento (por

27 / 116 exemplo, um arquivo ISOBMFF) proveniente da seção de carregamento 115. Adicionalmente, no exemplo aqui descrito, o aparelho de geração de arquivo 100 funciona como um aparelho que carrega um arquivo MPD ou um arquivo de segmento (por exemplo, um arquivo ISOBMFF) para o servidor que distribui o arquivo para o cliente. Entretanto, o aparelho de geração de arquivo 100 pode funcionar como o servidor. Neste caso, exige-se apenas que a seção de carregamento 115 do aparelho de geração de arquivo 100 distribua o arquivo MPD ou o arquivo de segmento (por exemplo, um arquivo ISOBMFF) para o cliente por meio da rede. <Aparelho cliente>

[00154] A figura 12 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho cliente de acordo com um aspecto do aparelho de processamento de informação no qual a presente técnica é aplicada. Um aparelho cliente 200 ilustrado na figura 12 é um aparelho que adquire um arquivo MPD ou um arquivo de segmento (por exemplo, um arquivo ISOBMFF) e que reproduz um conteúdo com base no arquivo. Por exemplo, o aparelho cliente 200 implementa as técnicas descritas em NPL 1 a NPL 4 para adquirir um arquivo de segmento a partir do servidor (ou do aparelho de geração de arquivo 100 supradescrito) e reproduzir o fluxo contínuo (conteúdo) incluído no arquivo de segmento, usando um método em conformidade com o MPEG-DASH. Neste momento, o aparelho cliente 200 pode adquirir um arquivo MPD a partir do servidor (ou do aparelho de geração de arquivo 100 supradescrito), selecionar um arquivo de segmento desejado utilizando o arquivo MPD e adquirir o arquivo de segmento a partir do servidor.

[00155] Note que a figura 12 ilustra os componentes principais, tais como as seções de processamento e um fluxo de dados, e não ilustra todos os componentes do aparelho cliente. Em outras palavras, no aparelho cliente 200, as seções de processamento não ilustradas como blocos na figura 12

28 / 116 podem estar presentes ou o processamento ou um fluxo de dados não ilustrados como uma seta na figura 12 podem estar presentes.

[00156] Da forma ilustrada na figura 12, o aparelho cliente 200 inclui uma seção de controle 201, uma memória 202, e uma seção de processamento de reprodução 203.

[00157] A seção de controle 201 controla a operação do aparelho cliente 200 como um todo. Por exemplo, a seção de controle 201 controla e faz com que a seção de processamento de reprodução 203 adquira um arquivo MPD ou um arquivo de segmento (por exemplo, um arquivo ISOBMFF) a partir do servidor ou reproduza o fluxo contínuo (conteúdo) incluído no arquivo de segmento. A seção de controle 201 executa o processamento relacionado a tal controle, utilizando a memória 202. Por exemplo, a seção de controle 201 carrega programas desejados ou congêneres na memória 202 e executa os programas para realizar o processamento relacionado ao controle, como exposto.

[00158] A seção de processamento de reprodução 203 executa o processamento relacionado à reprodução do fluxo contínuo (conteúdo) incluído no arquivo de segmento de acordo com o controle da seção de controle 201. Da forma ilustrada na figura 12, a seção de processamento de reprodução 203 inclui uma seção de medição 211, uma seção de aquisição do arquivo MPD 212, uma seção de processamento do arquivo MPD 213, uma seção de aquisição do arquivo de segmento 214, uma seção de controle de exibição 215, uma seção de análise e decodificação de dados 216, e uma seção de exibição 217.

[00159] A seção de medição 211 executa o processamento relacionado à medição. Por exemplo, a seção de medição 211 mede a banda de transmissão da rede entre o aparelho cliente 200 e o servidor. Adicionalmente, por exemplo, a seção de medição 211 alimenta um correspondente resultado de medição para a seção de processamento do arquivo MPD 213.

29 / 116

[00160] A seção de aquisição do arquivo MPD 212 executa o processamento relacionado à aquisição de um arquivo MPD. Por exemplo, a seção de aquisição do arquivo MPD 212 adquire o arquivo MPD correspondente a um conteúdo desejado (conteúdo a ser reproduzido) a partir do servidor por meio da rede. Adicionalmente, por exemplo, a seção de aquisição do arquivo MPD 212 alimenta o arquivo MPD adquirido para a seção de processamento do arquivo MPD 213.

[00161] A seção de processamento do arquivo MPD 213 executa o processamento com base no arquivo MPD. Por exemplo, a seção de processamento do arquivo MPD 213 seleciona um fluxo contínuo a ser adquirido com base no arquivo MPD alimentado a partir da seção de aquisição do arquivo MPD 212. Adicionalmente, por exemplo, a seção de processamento do arquivo MPD 213 alimenta um correspondente resultado da seleção para a seção de aquisição do arquivo de segmento 214. Note que a seleção do fluxo contínuo a ser adquirido envolve a apropriada utilização do resultado de medição proveniente da seção de medição 211 e da informação relacionada à posição do ponto de visualização e à direção da linha de visão do usuário alimentada a partir da seção de controle de exibição 215.

[00162] A seção de aquisição do arquivo de segmento 214 executa o processamento relacionado à aquisição de um arquivo de segmento (por exemplo, um arquivo ISOBMFF). Por exemplo, a seção de aquisição do arquivo de segmento 214 adquire um arquivo de segmento que armazena um fluxo contínuo necessário para reproduzir o conteúdo desejado a partir do servidor por meio da rede. Adicionalmente, por exemplo, a seção de aquisição do arquivo de segmento 214 alimenta o arquivo de segmento adquirido para a seção de análise e decodificação de dados 216.

[00163] Note que o servidor a partir do qual a seção de aquisição do arquivo de segmento 214 adquire um arquivo de segmento (por exemplo, um arquivo ISOBMFF) pode ser igual ou diferente do servidor a partir do qual a

30 / 116 seção de aquisição do arquivo MPD 212 adquire um arquivo MPD. Adicionalmente, a seção de aquisição do arquivo de segmento 214 pode adquirir um arquivo de segmento com base no resultado da seleção para um fluxo contínuo alimentado a partir da seção de processamento do arquivo MPD 213. Em outras palavras, a seção de aquisição do arquivo de segmento 214 pode adquirir, a partir do servidor, um arquivo de segmento que armazena o fluxo contínuo selecionado com base no arquivo MPD ou congêneres.

[00164] A seção de controle de exibição 215 executa o processamento relacionado ao controle de reprodução (exibição) de um conteúdo. Por exemplo, a seção de controle de exibição 215 adquire um resultado da detecção para a posição do ponto de visualização e a direção da linha de visão do usuário que visualiza e escuta o conteúdo. Por exemplo, a seção de controle de exibição 215 alimenta o resultado da detecção adquirido (informação em relação à posição do ponto de visualização e à direção da linha de visão do usuário) para a seção de processamento do arquivo MPD 213 e a seção de análise e decodificação de dados 216.

[00165] A seção de análise e decodificação de dados 216 executa o processamento relacionado, por exemplo, à análise ou à decodificação de dados. Por exemplo, a seção de análise e decodificação de dados 216 processa o arquivo ISOBMFF alimentado a partir da seção de aquisição do arquivo de segmento 214 para gerar uma imagem de exibição do conteúdo. Adicionalmente, a seção de análise e decodificação de dados 216 alimenta para a seção de exibição 217 os dados em relação à imagem de exibição.

[00166] Da forma ilustrada na figura 12, a seção de análise e decodificação de dados 216 inclui uma seção de processamento do arquivo de segmento 221, uma seção de decodificação 222, e uma seção de geração da informação de exibição 223.

[00167] A seção de processamento do arquivo de segmento 221 executa o processamento em um arquivo de segmento (por exemplo, um

31 / 116 arquivo ISOBMFF). Por exemplo, a seção de processamento do arquivo de segmento 221 extrai os dados codificados do fluxo contínuo desejado a partir do arquivo ISOBMFF alimentado a partir da seção de aquisição do arquivo de segmento 214. Adicionalmente, por exemplo, a seção de processamento do arquivo de segmento 221 alimenta os dados codificados extraídos para a seção de decodificação 222.

[00168] Note que a seção de processamento do arquivo de segmento 221 pode selecionar um fluxo contínuo com base na informação relacionada à posição do ponto de visualização e à direção da linha de visão do usuário alimentada a partir da seção de controle de exibição 215 ou na banda de transmissão medida pela seção de medição 211, e extrair os dados codificados do fluxo contínuo a partir do arquivo de segmento.

[00169] A seção de decodificação 222 executa o processamento relacionado a decodificação. Por exemplo, a seção de decodificação 222 decodifica os dados codificados alimentados a partir da seção de processamento do arquivo de segmento 221. Adicionalmente, por exemplo, a seção de decodificação 222 alimenta para a seção de geração da informação de exibição 223 um fluxo contínuo resultante da decodificação pela seção de decodificação 222.

[00170] A seção de geração da informação de exibição 223 executa o processamento relacionado à geração de dados da imagem de exibição. Por exemplo, a seção de geração da informação de exibição 223 gera os dados da imagem de exibição correspondentes à posição do ponto de visualização e à direção da linha de visão do usuário com base na informação relacionada à posição do ponto de visualização e à direção da linha de visão do usuário alimentada a partir da seção de controle de exibição 215 e no fluxo contínuo alimentado a partir da seção de decodificação 222. Adicionalmente, por exemplo, a seção de geração da informação de exibição 223 alimenta os dados gerados da imagem de exibição para a seção de exibição 217.

32 / 116

[00171] A seção de exibição 217 inclui qualquer dispositivo de exibição, por exemplo, um visor ou um projetor incluindo um painel da tela de cristal líquido ou congêneres, e executa o processamento relacionado à exibição da imagem usando o dispositivo de exibição. Por exemplo, a seção de exibição 217 realiza a reprodução do conteúdo, tal como a exibição de imagem, com base nos dados alimentados a partir da seção de geração da informação de exibição 223. <2. Primeira modalidade> <Sinalização, em ISOBMFF, da informação da região de exibição em relação à subfigura>

[00172] A supradescrita informação relacionada à região de exibição da subfigura pode ser sinalizada no arquivo ISOBMFF correspondente a um arquivo de segmento.

[00173] Em outras palavras, pode ser gerado um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada, como a informação diferente da informação de arranjo para cada região da figura, e que inclui adicionalmente os dados codificados da imagem resultantes da codificação da subfigura.

[00174] Por exemplo, no aparelho de geração de arquivo 100, usado como um aparelho de processamento de informação, a seção de geração do arquivo de segmento 123 funciona como uma seção de geração de arquivo que gera um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada, como a informação diferente da informação de arranjo para cada região da figura, e incluindo adicionalmente os dados codificados da imagem resultantes da codificação da subfigura. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho de geração de arquivo 100) pode incluir uma seção de geração de arquivo (por exemplo, a seção de geração do arquivo de segmento 123).

33 / 116

[00175] Assim, como exposto, o cliente pode selecionar facilmente um fluxo contínuo com base na informação supradescrita.

[00176] Note que, no arquivo ISOBMFF, o fluxo contínuo é gerenciado como uma trilha. Em outras palavras, com o arquivo ISOBMFF, a seleção de uma trilha leva à seleção de um fluxo contínuo.

[00177] Adicionalmente, a figura supradescrita pode compreender a íntegra ou uma parte do vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). O vídeo onidirecional é uma imagem de todas as direções ao redor do ponto de visualização (isto é, uma imagem periférica visualizada a partir do ponto de visualização). Pela renderização em uma estrutura tridimensional, o vídeo onidirecional pode ser formado em uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical. Como exposto, pelo mapeamento de uma imagem com estrutura tridimensional para um único plano para formar uma imagem de plano projetado, o controle de distribuição do fluxo contínuo é habilitado em relação a qual MPEG-DASH é aplicado. Em outras palavras, até mesmo em um caso em que o aparelho de geração de arquivo 100 usar a íntegra ou uma parte de uma imagem de plano projetado como esta como a íntegra de uma figura e dividir a íntegra da figura em subfiguras, a presente técnica pode ser aplicada como exposto. Note que, até mesmo em um caso em que uma parte da imagem de plano projetado for usada como a íntegra de uma figura, a informação relacionada às regiões de exibição das subfiguras na íntegra da imagem de plano projetado é sinalizada.

[00178] Por exemplo, da forma ilustrada na figura 13, uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical é projetada em uma estrutura tridimensional (cubo) pela Projeção em Mapa Cúbico para gerar uma imagem

34 / 116 com estrutura tridimensional 301. Adicionalmente, a imagem com estrutura tridimensional 301 é mapeada para um único plano por um método predeterminado para gerar uma imagem de plano projetado (figura projetada)

302. O aparelho de geração de arquivo 100 divide a imagem de plano projetado 302 em subfiguras (subfiguras 303 a 308) e gera um arquivo ISOBMFF no qual as subfiguras são armazenadas em diferentes trilhas.

[00179] Neste momento, da forma ilustrada em uma seta 311, o aparelho de geração de arquivo 100 sinaliza, no arquivo ISOBMFF, a informação (informação da região de exibição) que indica qual das subfiguras corresponde a qual parte da íntegra da figura (imagem de plano projetado 302).

[00180] Assim, até mesmo em um caso em que um vídeo onidirecional for distribuído, o cliente pode selecionar facilmente um fluxo contínuo com base na informação, como exposto.

[00181] Note que a informação relacionada à região (informação da região de exibição) pode ser incluída no arquivo ISOBMFF como a informação para cada subfigura. Isto permite que o cliente aprenda facilmente qual parte da íntegra da figura corresponde à subfigura simplesmente pela referência à informação na trilha da subfigura. <Procedimento de Processamento de Carregamento>

[00182] Um exemplo do procedimento de processamento de carregamento executado pelo aparelho de geração de arquivo 100 na figura 11 no caso supradescrito será descrito em relação a um fluxograma na figura 14.

[00183] Quando o processamento de carregamento for iniciado, a seção da entrada de dados 111 do aparelho de geração de arquivo 100 adquire uma imagem e os metadados na etapa S101.

[00184] Na etapa S102, a seção de geração do arquivo de segmento 123 gera um arquivo ISOBMFF que inclui, como a informação para cada subfigura, a informação da região de exibição em relação às regiões de

35 / 116 exibição na figura projetada.

[00185] Na etapa S103, o arquivo ISOBMFF gerado pelo processamento na etapa S102 é gravado na seção de gravação 114.

[00186] Na etapa S104, a seção de carregamento 115 lê, a partir da seção de gravação 114, o arquivo ISOBMFF gravado na etapa S103, e carrega o arquivo ISOBMFF para o servidor.

[00187] Quando o processamento na etapa S104 terminar, o processamento de carregamento termina.

[00188] O processamento de carregamento executado como exposto, o aparelho de geração de arquivo 100 pode gerar um arquivo ISOBMFF que inclui, como a informação para cada subfigura, a informação da região de exibição em relação às regiões de exibição na figura projetada.

[00189] Desta maneira, o cliente pode selecionar e reproduzir facilmente, com base na informação supradescrita, o fluxo contínuo apropriado correspondente ao campo de visualização do usuário ou congêneres. <Utilização da informação da região de exibição da subfigura sinalizada em ISOBMFF>

[00190] Adicionalmente, a seleção e a reprodução de um fluxo contínuo podem ser realizadas pela utilização da informação relacionada à região de exibição da subfigura sinalizada no arquivo ISOBMFF.

[00191] Em outras palavras, pode ser adquirido um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada, como a informação diferente da informação de arranjo para cada região da figura, e que inclui adicionalmente os dados codificados da imagem resultantes da codificação da subfigura, e um fluxo contínuo de dados codificados da imagem pode ser selecionado com base na informação relacionada à região incluída no arquivo adquirido.

36 / 116

[00192] Por exemplo, no aparelho cliente 200, usado como um aparelho de processamento de informação, a seção de aquisição do arquivo de segmento 214 funciona como uma seção de aquisição de arquivo que adquire um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada, como a informação diferente da informação de arranjo para cada região da figura, e incluindo adicionalmente os dados codificados da imagem resultantes da codificação da subfigura, e a seção de análise e decodificação de dados 216 pode funcionar como uma seção de processamento de imagem que seleciona um fluxo contínuo de dados codificados da imagem com base na informação relacionada à região incluída no arquivo adquirido pela seção de aquisição de arquivo. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho cliente 200) pode incluir uma seção de aquisição de arquivo (por exemplo, a seção de aquisição do arquivo de segmento 214) e uma seção de processamento de imagem (por exemplo, a seção de análise e decodificação de dados 216).

[00193] Isto permite que o aparelho cliente 200 selecione mais facilmente um fluxo contínuo.

[00194] Note que a figura supradescrita (Íntegra da Figura) pode ser a íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, até mesmo em um caso em que o aparelho cliente 200 usar a íntegra ou uma parte da imagem de plano projetado como a íntegra de uma figura, dividir a íntegra da figura em subfiguras que formam um fluxo contínuo e reproduzir a imagem, a presente técnica pode ser aplicada como exposto.

[00195] Adicionalmente, a informação relacionada à região (informação da região de exibição) pode ser incluída no arquivo ISOBMFF

37 / 116 como a informação para cada subfigura. Isto permite que o aparelho cliente 200 aprenda facilmente qual parte da íntegra da figura corresponde à subfigura simplesmente pela referência à informação na trilha da subfigura. <Procedimento de processamento de reprodução do conteúdo>

[00196] Um exemplo do procedimento de processamento de reprodução do conteúdo executado pelo aparelho cliente 200 no caso supradescrito será descrito em relação a um fluxograma na figura 15.

[00197] Quando o processamento de reprodução do conteúdo for iniciado, a seção de aquisição do arquivo de segmento 214 do aparelho cliente 200 adquire, na etapa S121, um arquivo ISOBMFF que inclui, como a informação para cada subfigura, a informação da região de exibição em relação às regiões de exibição na figura projetada.

[00198] Na etapa S122, a seção de controle de exibição 215 adquire um resultado de medição para a posição do ponto de visualização (e a direção da linha de visão) do usuário.

[00199] Na etapa S123, a seção de medição 211 mede a largura de banda de transmissão da rede entre o servidor e o aparelho cliente 200.

[00200] Na etapa S124, a seção de processamento do arquivo de segmento 221 seleciona uma trilha da subfigura correspondente ao campo de visualização do usuário do aparelho cliente 200, com base na informação da região de exibição em relação à região de exibição da subfigura na figura projetada.

[00201] Na etapa S125, a seção de processamento do arquivo de segmento 221 extrai os dados codificados do fluxo contínuo na trilha selecionada na etapa S124 a partir do arquivo ISOBMFF adquirido na etapa S121.

[00202] Na etapa S126, a seção de decodificação 222 decodifica os dados codificados do fluxo contínuo extraído na etapa S125.

[00203] Na etapa S127, a seção de geração da informação de exibição

38 / 116 223 reproduz o fluxo contínuo (conteúdo) resultante da decodificação na etapa S126. Mais especificamente, a seção de geração da informação de exibição 223 gera os dados de uma imagem de exibição a partir do fluxo contínuo e alimenta os dados para a seção de exibição 217 para exibição.

[00204] Quando o processamento na etapa S127 terminar, o processamento de reprodução do conteúdo termina.

[00205] O processamento de reprodução do conteúdo executado da forma supradescrita permite que o aparelho cliente 200 selecione mais facilmente um fluxo contínuo utilizando a informação em relação à região de exibição da subfigura incluída no arquivo ISOBMFF. Por exemplo, com base na informação, o aparelho cliente 200 pode selecionar facilmente o fluxo contínuo apropriado correspondente ao campo de visualização do usuário. <Definição na Caixa da Informação de Cobertura 2D>

[00206] Como exposto, a seção de geração do arquivo de segmento 123 do aparelho de geração de arquivo 100 define inovadoramente a informação da região de exibição em relação à subfigura que indica qual parte da figura projetada exibida corresponde a cada subfigura, e sinaliza a informação da região de exibição nas trilhas. Em outras palavras, a seção de geração do arquivo de segmento 123 define a informação da região de exibição em relação à subfigura como a informação para cada subfigura.

[00207] Por exemplo, a seção de geração do arquivo de segmento 123 define a Caixa da Informação de Cobertura 2D como a informação da região de exibição em relação à subfigura, e sinaliza a Caixa da Informação de Cobertura 2D como uma Caixa diferente da Caixa de Empacotamento Região a Região. Por exemplo, a seção de geração do arquivo de segmento 123 define a Caixa da Informação de Cobertura 2D para a Caixa da Informação de Cobertura 2D na Caixa da Informação do Esquema. Por exemplo, a seção de geração do arquivo de segmento 123 define a Caixa da Informação de Cobertura 2D para a Caixa da Informação de Cobertura 2D na Caixa de Vídeo

39 / 116 Onidirecional Projetado abaixo da Caixa da Informação do Esquema. Adicionalmente, a seção de geração do arquivo de segmento 123 pode definir a Caixa da Informação de Cobertura 2D para a seção de geração do arquivo de segmento 123 em outras Caixas.

[00208] Em outras palavras, a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada na trilha) pode ser armazenada na Caixa da Informação do Esquema no arquivo ISOBMFF que é diferente da Caixa de Empacotamento Região a Região ou na Caixa que é diferente da Caixa de Empacotamento Região a Região e que fica localizada em uma camada abaixo da Caixa da Informação do Esquema.

[00209] Isto permite que o aparelho cliente 200 selecione e reproduza facilmente uma trilha da subfigura sem análise sintática da Caixa de Composição da Subfigura.

[00210] Note que a Caixa da Informação de Cobertura 2D pode ser usada para a sinalização da informação da região de exibição até mesmo em um caso em que a figura armazenada em cada trilha não for uma subfigura ou quando a Caixa de Empacotamento Região a Região não estiver presente (a figura não é sujeita a Empacotamento Região a Região).

[00211] A sintaxe 331 na figura 16 representa um exemplo da sintaxe da Caixa da Informação de Cobertura 2D. Da forma ilustrada em sintaxe 331, os campos, tais como proj_picture_width, proj_picture_height, proj_reg_width, proj_reg_height, proj_reg_top, e proj_reg_left, são definidos na Caixa da Informação de Cobertura 2D.

[00212] A sintaxe 332 na figura 17 representa um exemplo da semântica dos campos definidos na Caixa da Informação de Cobertura 2D. Da forma ilustrada na semântica 332, o proj_picture_width indica a largura da figura projetada, e o proj_picture_height indica a altura da figura projetada. O proj_reg_width indica a largura de uma região na figura projetada

40 / 116 correspondente à figura na trilha. O proj_reg_height indica a altura da região na figura projetada correspondente à figura na trilha. O proj_reg_top indica a coordenada vertical da região na figura projetada correspondente à figura na trilha. O proj_reg_left indica a coordenada da região horizontal na figura projetada correspondente à figura na trilha.

[00213] Em outras palavras, várias peças de informação, da forma ilustrada na figura 18, são definidas na Caixa da Informação de Cobertura 2D.

[00214] Note que os campos podem ser representados como o número real de pixels ou que o proj_reg_width, o proj_reg_height, o proj_reg_top e o proj_reg_left podem ser representados como valores relativos em relação a proj_picture_width e proj_picture_height. A representação de cada campo como o número real de pixels é usada na seleção de uma trilha de acordo com a resolução de exibição do cliente.

[00215] Pela referência à Caixa da Informação de Cobertura 2D para as trilhas da subfigura configurada como exposto, o aparelho cliente 200 pode identificar facilmente as regiões de exibição de trilhas da subfigura sem análise sintática da Caixa de Composição da Subfigura. Assim, o aparelho cliente 200 pode, por exemplo, selecionar facilmente uma trilha da subfigura de acordo com o campo de visualização do usuário. Note que o aparelho cliente 200 pode selecionar, por processamento similar, uma trilha que não é uma trilha da subfigura.

[00216] Alternativamente, na Caixa de Composição da Subfigura ilustrada na sintaxe 21 na figura 3, um campo identical_to_proj_pic_flag pode ser adicionalmente definido, da forma ilustrada na sintaxe 1001 na figura 73, para indicar se a íntegra da figura é idêntica ou não à figura projetada, e a Caixa de Composição da Subfigura ilustrada na sintaxe 22 na figura 4 pode indicar a informação da região de exibição em relação à trilha da subfigura em um caso em que a íntegra da figura for idêntica à figura projetada. Para o valor do campo identical_to_proj_pic_flag, um valor de 0 indica que a íntegra

41 / 116 da figura é diferente da figura projetada, e um valor de 1 indica que a íntegra da figura é idêntica à figura projetada.

[00217] Neste momento, em um caso em que o campo identical_to_proj_pic_flag for 1, a íntegra da figura não foi sujeita ao processamento de empacotamento região a região, e as semânticas dos campos track_x, track_y, track_width, track_height, composition_width e composition_height ilustrados na semântica 23 na figura 5 são respectivamente idênticas aos campos proj_reg_left, proj_reg_top, proj_reg_width, proj_reg_height, proj_picture_width e proj_picture_height na Caixa da Informação de Cobertura 2D ilustrada na semântica 332 na figura

17.

[00218] Note que o campo identical_to_proj_pic_flag pode ser adicionalmente definido na Caixa da Região da Subfigura ou em qualquer outra Caixa. Alternativamente, a presença ou a ausência de uma Caixa em particular podem indicar se a íntegra da figura é idêntica ou não à figura projetada.

[00219] Adicionalmente, 1 bit em indicadores de 24 bits comuns à Caixa de Composição da Subfigura e outras Caixas correspondentes à extensão de FullBox pode ser usado para indicar se a íntegra da figura é idêntica ou não à figura projetada. <No caso em que as subfiguras incluírem regiões não consecutivas>

[00220] Note que, da forma ilustrada na figura 19, a sintaxe 331 na figura 16 falha ao lidar com um caso em que as subfiguras incluem regiões não consecutivas. Em um exemplo na figura 19, uma figura projetada 351 é dividida nas subfiguras 352 a 355. Neste caso, a subfigura 352 inclui um plano Esquerdo e um plano Direito na imagem com estrutura tridimensional (o plano Esquerdo e o plano Direito são adjacentes um ao outro). O plano Esquerdo e o plano Direito não são consecutivos um ao outro na figura projetada 351. Adicionalmente, a subfigura 353 inclui um plano de Topo e um

42 / 116 plano de Base na imagem com estrutura tridimensional (o plano de Topo e o plano de Base são adjacentes um ao outro). O plano de Topo e o plano de Base não são consecutivos um ao outro na figura projetada 351.

[00221] A sintaxe 331 na figura 16 pode especificar apenas uma região dimensionável na figura projetada e, assim, falha em especificar uma pluralidade de regiões não consecutivas, como exposto.

[00222] Assim, pode ser permitido que uma pluralidade de regiões seja especificada na Caixa da Informação de Cobertura 2D, e pode ser permitido que uma pluralidade de regiões não consecutivas seja especificada na figura projetada.

[00223] A sintaxe 371 na figura 20 representa um exemplo da sintaxe da Caixa da Informação de Cobertura 2D neste caso. Da forma ilustrada na sintaxe 371, neste caso, um campo num_regions é adicionado nos campos definidos. A semântica 372 na figura 21 representa um exemplo da semântica do campo adicionado na Caixa da Informação de Cobertura 2D neste caso. Da forma ilustrada na semântica 372, o num_regions indica o número de regiões na figura projetada incluídas na subfigura.

[00224] Em outras palavras, neste caso, o campo num_regions é usado para definir (independentemente) os campos na Caixa da Informação de Cobertura 2D ilustrada na figura 17, para cada região da figura projetada. Desta maneira, uma pluralidade de regiões da figura projetada pode ser especificada. Isto habilita a sinalização de regiões de exibição não consecutivas da figura projetada.

[00225] Note que, em um caso em que a Caixa da Informação de Cobertura 2D for sinalizada na Caixa de Composição da Subfigura, as regiões de exibição na íntegra da figura (figura projetada) podem ser sinalizadas.

[00226] Adicionalmente, em um caso em que a Caixa da Informação de Cobertura 2D não estiver presente na Caixa de Vídeo Onidirecional Projetado na trilha, isto pode indicar que a trilha armazena um vídeo

43 / 116 onidirecional de 360 graus. Similarmente, em um caso em que a Caixa da Informação de Cobertura 2D não estiver presente na Caixa de Composição da Subfigura, isto pode indicar que a íntegra da figura que inclui as trilhas da subfigura é um vídeo onidirecional de 360 graus. <Extensão da Caixa de Empacotamento Região a Região>

[00227] O Struct de Empacotamento Região a Região na Caixa de Empacotamento Região a Região definida em OMAF pode ser estendido para sinalizar qual região de exibição da figura projetada corresponde à subfigura na trilha. Um local de sinalização da Caixa de Empacotamento Região a Região é abaixo da Caixa de Vídeo Onidirecional Projetado na Entrada de Amostra na trilha da subfigura. Note que a Caixa de Empacotamento Região a Região pode ser sinalizada para qualquer outro local.

[00228] Por exemplo, é inovadoramente definido um indicador que sinaliza a informação da região de exibição em relação à subfigura, também é inovadoramente definida uma estrutura da Região Projetada Rect que sinaliza a informação da região de exibição em relação à subfigura, e a informação da região de exibição é sinalizada no Struct de Empacotamento Região a Região. Note que o Struct de Empacotamento Região a Região pode ser usado para sinalização da informação da região de exibição até mesmo em um caso em que a figura armazenada na trilha não for uma subfigura.

[00229] A sintaxe 373 na figura 22 representa um exemplo da sintaxe de Struct de Empacotamento Região a Região no caso supradescrito. Da forma ilustrada na sintaxe 373, neste caso, um campo 2D_coverage_flag é adicionado nos campos definidos em Struct de Empacotamento Região a Região. A semântica 374 na figura 23 representa um exemplo da semântica dos campos adicionalmente definida em Struct de Empacotamento Região a Região neste caso. Da forma ilustrada na semântica 374, 2D_coverage_flag é a informação do indicador que indica se sinalizam-se ou não apenas as regiões de exibição na figura projetada. Por exemplo, o campo com um valor de 0

44 / 116 indica que a informação de empacotamento região a região deve ser sinalizada. Adicionalmente, o campo com um valor de 1 indica que as regiões de exibição na figura projetada devem ser sinalizadas.

[00230] Note que RectProjetedRegion é adicionalmente definido para o Struct de Empacotamento Região a Região neste caso. A sintaxe 375 na figura 24 indica um exemplo da sintaxe do RectProjetedRegion. Da forma ilustrada na sintaxe 375, os campos, tais como o proj_reg_width[i], o proj_reg_height[i], o proj_reg_top[i] e o proj_reg_left[i], são definidos no RectProjetedRegion.

[00231] A semântica 376 na figura 25 representa um exemplo da sintaxe de campos definidos no RectProjetedRegion. Da forma ilustrada na semântica 376, o proj_reg_width indica a largura de uma região na figura projetada à qual a figura na trilha corresponde. O proj_reg_height indica a altura da região na figura projetada à qual a figura na trilha corresponde. O proj_reg_top indica a coordenada vertical da região na figura projetada à qual a figura na trilha corresponde. O proj_reg_left indica a coordenada da região horizontal na figura projetada à qual a figura na trilha corresponde.

[00232] Note que os campos supradescritos podem ser indicados pelo número real de pixels ou que o proj_reg_width, o proj_reg_height, o proj_reg_top e o proj_reg_left podem ser indicados por valores relativos em relação a proj_picture_width e proj_picture_height sinalizados em Struct de Empacotamento Região a Região.

[00233] Adicionalmente, Struct de Empacotamento Rect a Rect pode ser estendido, de maneira tal que, quando 2D_coverage_flag==1, apenas a informação da região de exibição na figura projetada seja sinalizada.

[00234] A sintaxe 377 na figura 26 representa um exemplo da sintaxe de Struct de Empacotamento Rect a Rect no caso supradescrito. A sintaxe 378 na figura 27 é um diagrama que ilustra um exemplo da sintaxe de RectRegionPacking definida em Struct de Empacotamento Rect a Rect neste

45 / 116 caso. <Extensão da Caixa da Informação de Cobertura>

[00235] A Caixa da Informação de Cobertura que indica a região de exibição da trilha em uma superfície esférica definida em OMAF pode ser estendida para habilitar que a região de exibição na figura projetada seja sinalizada pelo Struct de Cobertura do Conteúdo 2D inovadoramente definido.

[00236] Em outras palavras, a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada na trilha) pode ser armazenada na Caixa da Informação de Cobertura que indica a região de exibição da trilha na superfície esférica.

[00237] A sintaxe 379 na figura 28 representa um exemplo da sintaxe da Caixa da Informação de Cobertura estendida. Da forma ilustrada na sintaxe 379, neste caso, 2D_coverage_flag, ContentCoverageStruct(), e 2DContentCoverageStruct() são definidos na Caixa da Informação de Cobertura.

[00238] A semântica 380 na figura 29 representa um exemplo da semântica dos campos supradescritos. Da forma ilustrada na semântica 380, 2D_coverage_flag é a informação do indicador que sinaliza o tipo da informação da região de exibição. Este valor sendo 0 indica que a informação da região de exibição em superfície esférica é sinalizada, e este valor sendo 1 indica que a região de exibição na figura projetada é sinalizada. O ContentCoverageStruct() sinaliza a região de exibição da trilha na figura projetada. O 2DContentCoverageStruct() sinaliza a região de exibição da trilha na superfície esférica. Os campos em Struct de Cobertura do Conteúdo 2D são similares aos campos na Caixa da Informação de Cobertura 2D no caso da figura 20.

[00239] Note que o Struct de Cobertura do Conteúdo pode ser

46 / 116 estendido para sinalizar a região de exibição na figura projetada, além da região de exibição em superfície esférica. <Sinalização no caso em que o método de divisão da subfigura variar dinamicamente>

[00240] A sinalização em um caso em que o método de divisão da subfigura não varia dinamicamente foi descrita. Ao contrário, em um caso em que o método de divisão variar dinamicamente, a informação da região de exibição em relação à região de exibição da subfigura na figura projetada varia dinamicamente. O supradescrito exemplo falha ao lidar com este caso.

[00241] Assim, será descrito a seguir um exemplo da sinalização adicional que é usado para sinalizar de forma dinamicamente variável a informação da região de exibição em relação à região de exibição da subfigura. Note que a informação sinalizada é igual à informação sinalizada na Caixa da Informação de Cobertura 2D da forma supradescrita (por exemplo, figura 16). <Mensagem da Informação de Intensificação Complementar (SEI)>

[00242] Para HEVC ou AVC, uma mensagem SEI da Informação de Cobertura 2D pode ser inovadoramente definida, e a informação da região de exibição em relação à subfigura dinamicamente variável no fluxo contínuo pode ser sinalizada em unidades de unidades de acesso.

[00243] Em outras palavras, a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada na trilha) pode ser armazenada em uma mensagem da informação de Intensificação Complementar no arquivo ISOBMFF.

[00244] A sintaxe 381 na figura 30 representa um exemplo da sintaxe da mensagem SEI da Informação de Cobertura 2D no caso supradescrito. Da forma ilustrada na sintaxe 381, os seguintes são definidos na mensagem SEI da Informação de Cobertura 2D: 2D_coverage_information_cancel_flag,

47 / 116 2D_coverage_information_persistence_flag, 2D_coverage_information reserved_zero_6bits, proj_picture_width, proj_picture_height, num_regions, proj_reg_width[i], proj_reg_height[i], proj_reg_top[i], proj_reg_left[i], e congêneres.

[00245] A semântica 382 na figura 31 representa um exemplo da semântica dos campos definidos na mensagem SEI da Informação de Cobertura 2D. Da forma ilustrada na semântica 382, 2D_coverage_information_cancel_flag é a informação do indicador relacionada ao cancelamento de 2D_coverage_information. Este valor sendo 1 cancela a aplicação persistente da SEI que precede na ordem de saída. Adicionalmente, este valor sendo 0 sinaliza a informação de cobertura 2D.

[00246] O 2D_coverage_information_persitence_flag é a informação do indicador relacionada ao escopo da aplicação de SEI. Este valor sendo 0 aplica a informação SEI apenas nas figuras que incluem a SEI. Adicionalmente, este valor sendo 1 continua a aplicação da SEI até que uma nova sequência de vídeo codificada seja iniciada ou o fim do fluxo contínuo seja alcançado.

[00247] O 2D_coverage_information_reserved_zero_6bits é preenchido com 0. O proj_picture_width indica a largura da figura projetada. O proj_picture_height indica a altura da figura projetada. O num_regions indica o número de regiões na figura projetada. O proj_reg_width indica a largura de uma região na figura projetada à qual o fluxo contínuo corresponde. O proj_reg_height indica a altura da região na figura projetada à qual o fluxo contínuo corresponde. O proj_reg_top indica a coordenada vertical da região na figura projetada à qual o fluxo contínuo corresponde. O proj_reg_left indica a coordenada da região horizontal na figura projetada à qual o fluxo contínuo corresponde.

[00248] Note que cada um dos campos supradescritos pode ser indicado pelo número real de pixels ou que o proj_reg_width, o

48 / 116 proj_reg_height, o proj_reg_top e o proj_reg_left podem ser indicados por valores relativos em relação a proj_picture_width e proj_picture_height. <Metadados Temporizados>

[00249] Adicionalmente, o mecanismo de metadados Temporizados correspondente a um fluxo contínuo que armazena metadados que variam cronologicamente pode ser utilizado para definir inovadoramente os metadados Temporizados da Informação de Cobertura 2D, e pode ser sinalizada a informação da região de exibição em relação à subfigura que varia dinamicamente em um fluxo contínuo referenciado. Como um tipo de referência à trilha para a trilha com a qual os metadados Temporizados da Informação de Cobertura 2D são associados, por exemplo, '2dco' é usado.

[00250] Em outras palavras, a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada na trilha) pode ser armazenada nos metadados Temporizados no arquivo ISOBMFF.

[00251] O uso dos metadados Temporizados permite que o cliente identifique uma região de exibição dinamicamente variável sem decodificação do fluxo contínuo de subfigura e use a região de exibição como uma referência para a seleção a partir dos fluxos contínuos.

[00252] A sintaxe 383 na figura 32 representa um exemplo da sintaxe da Entrada da Amostra da Informação de Cobertura 2D. A sintaxe 384 na figura 33 representa um exemplo da sintaxe da Amostra da Informação de Cobertura 2D.

[00253] Na Entrada da Amostra da Informação de Cobertura 2D, são sinalizados o proj_picture_width e o proj_picture_height que são tipicamente invariáveis no fluxo contínuo. Note que, em um caso de variação no fluxo contínuo, o proj_picture_width e o proj_picture_height podem ser sinalizados em 2DCoverageInformationSample.

[00254] Note que a semântica dos campos na Entrada da Amostra da

49 / 116 Informação de Cobertura 2D e na Amostra da Informação de Cobertura 2D é similar à semântica na figura 17 e na figura 21. <Grupo de Amostra>

[00255] Pelo uso de uma ferramenta referida como Grupo de Amostra e correspondente a um mecanismo que associa a metainformação em unidades de amostras, a informação da região de exibição em relação à subfigura dinamicamente variável no fluxo contínuo pode ser sinalizada em unidades de amostras.

[00256] Da forma ilustrada na figura 34, o Grupo de Amostra no qual a metainformação é descrita é sinalizado na Caixa de Descrição do Grupo de Amostra da Caixa da Tabela de Amostra como Entrada do Grupo, e é associado com uma amostra por meio da Caixa Amostra para Grupo.

[00257] Da forma ilustrada na figura 34, um grouping_type da Caixa Amostra para Grupo indica o grouping_type da Caixa de Descrição do Grupo de Amostra a ser associado. Para a entrada 1, sample_count e group_description_index são sinalizados, group_description_index indica um índice da Entrada do Grupo a ser associada, e sample_count indica o número de amostras que pertencem à Entrada do Grupo.

[00258] Por exemplo, a Entrada do Grupo de Amostra da Informação de Cobertura 2D pode ser inovadoramente definida, e a informação da região de exibição em relação à subfigura dinamicamente variável no fluxo contínuo pode ser armazenada na Entrada da Amostra da Informação de Cobertura 2D.

[00259] Em outras palavras, a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura armazenada na trilha) pode ser armazenada na Entrada do Grupo de Amostra no arquivo ISOBMFF.

[00260] A sintaxe 391 na figura 35 representa um exemplo da sintaxe da Entrada do Grupo de Amostra da Informação de Cobertura 2D. A Entrada do Grupo de Amostra é sinalizada na Caixa de Descrição do Grupo de

50 / 116 Amostra como exposto, e a Caixa Amostra para Grupo associa uma amostra com a Entrada do Grupo de Amostra. O grouping_type é ‘2cgp’.

[00261] Note que a semântica dos campos na Entrada do Grupo de Amostra da Informação de Cobertura 2D é similar à semântica na figura 16 e na figura 21.

[00262] Note que os três exemplos supradescritos (mensagem da Informação de Intensificação Complementar (SEI), Metadados Temporizados, Grupo de Amostra) podem ser usados como um sinal para variar dinamicamente a informação da região de exibição até mesmo em um caso em que a figura armazenada na trilha não for uma subfigura.

[00263] Adicionalmente, em um caso em que a região de exibição da subfigura na figura projetada variar dinamicamente como exposto, a informação da Caixa da Informação de Cobertura 2D sinalizada na Caixa de Vídeo Onidirecional Projetado pode incluir um valor inicial para a região de exibição do fluxo contínuo.

[00264] Adicionalmente, um indicador que indica que a região de exibição da subfigura na figura projetada varia dinamicamente no fluxo contínuo pode ser sinalizado na Caixa da Informação de Cobertura 2D ou qualquer outra Caixa. Esta informação permite que o cliente identifique facilmente o fluxo contínuo para incluir uma região de exibição dinamicamente variável. <3. Segunda modalidade> <Sinalização, no Arquivo MPD, da Informação relacionada à região de exibição da subfigura>

[00265] A informação relacionada à região de exibição da subfigura pode ser sinalizada usando um arquivo MPD. Em outras palavras, para habilitar o cliente a selecionar e reproduzir, de acordo com o campo de visualização do usuário, o Conjunto de Adaptação que referencia a subfigura, a informação da região de exibição em relação à região de exibição da

51 / 116 subfigura na figura projetada pode ser inovadoramente definida no arquivo MPD e sinalizada no Conjunto de Adaptação.

[00266] Em outras palavras, pode ser gerado um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada e que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura, como a informação diferente da informação de arranjo para cada região da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[00267] Por exemplo, no aparelho de geração de arquivo 100, usado como um aparelho de processamento de informação, a seção de geração do arquivo MPD 113 pode funcionar como uma seção de geração de arquivo que gera um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada e que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura, como a informação diferente da informação de arranjo para cada região da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho de geração de arquivo 100) pode incluir uma seção de geração de arquivo (por exemplo, a seção de geração do arquivo MPD 113).

[00268] Isto permite que o cliente selecione mais facilmente um fluxo contínuo com base nesta informação, como exposto.

[00269] Note que, no arquivo MPD, os metadados para cada fluxo contínuo são gerenciados como o Conjunto de Adaptação ou a Representação. Em outras palavras, em um caso em que o arquivo MPD for usado, um fluxo contínuo é selecionado pela seleção do Conjunto de Adaptação ou da

52 / 116 Representação.

[00270] Adicionalmente, a figura supradescrita (Íntegra da Figura) pode ser a íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, em um caso em que o aparelho de geração de arquivo 100 usar a íntegra ou uma parte de uma imagem de plano projetado como esta como a íntegra de uma figura e dividir a íntegra da figura em subfiguras, a presente técnica pode ser aplicada como exposto.

[00271] Assim, até mesmo em um caso em que um vídeo onidirecional for distribuído, o cliente pode selecionar mais facilmente um fluxo contínuo com base nesta informação, como exposto.

[00272] Note que esta informação relacionada à região (informação da região de exibição) pode ser incluída no arquivo MPD como a informação para cada subfigura. Isto permite que o cliente aprenda facilmente qual parte da íntegra da figura corresponde à subfigura, pela referência à informação em relação à subfigura referenciada pelo Conjunto de Adaptação. <Procedimento de Processamento de Carregamento>

[00273] Um exemplo do procedimento de processamento de carregamento executado pelo aparelho de geração de arquivo 100 na figura 11 no caso supradescrito será descrito em relação a um fluxograma na figura 36.

[00274] Quando o processamento de carregamento for iniciado, a seção da entrada de dados 111 do aparelho de geração de arquivo 100 adquire uma imagem e os metadados na etapa S201.

[00275] Na etapa S202, a seção de geração do arquivo de segmento 123 gera um arquivo de segmento para a imagem.

[00276] Na etapa S203, a seção de geração do arquivo MPD 113 gera um arquivo MPD que inclui, como a informação para cada subfigura, a

53 / 116 informação da região de exibição em relação à região de exibição na figura projetada.

[00277] Na etapa S204, a seção de gravação 114 grava o arquivo de segmento gerado pelo processamento na etapa S202. Adicionalmente, o arquivo MPD gerado pelo processamento na etapa S203 é gravado na seção de gravação 114.

[00278] Na etapa S205, a seção de carregamento 115 lê, a partir da seção de gravação 114, o arquivo de segmento gravado na etapa S204 e carrega o arquivo de segmento para o servidor. Adicionalmente, a seção de carregamento 115 lê, a partir da seção de gravação 114, o arquivo MPD gravado na etapa S204 e carrega o arquivo MPD para o servidor.

[00279] Quando o processamento na etapa S204 terminar, o processamento de carregamento termina.

[00280] O processamento de carregamento executado da forma supradescrita permite que o aparelho de geração de arquivo 100 gere um arquivo MPD que inclui, como a informação para cada subfigura, a informação da região de exibição em relação à região de exibição na figura projetada.

[00281] Assim, o cliente pode selecionar e reproduzir mais facilmente, com base na informação da região de exibição, por exemplo, um fluxo contínuo apropriado correspondente ao campo de visualização do usuário. <Utilização da informação relacionada à região de exibição da subfigura e sinalizada no arquivo MPD>

[00282] Adicionalmente, a informação relacionada à região de exibição da subfigura e sinalizada no arquivo MPD pode ser utilizada para selecionar um fluxo contínuo.

[00283] Em outras palavras, pode ser adquirido um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é,

54 / 116 então, codificada e que inclui a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura, como a informação diferente da informação de arranjo para cada região da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem, e um fluxo contínuo de dados codificados da imagem pode ser selecionado com base na informação relacionada à região incluída no arquivo de controle adquirido.

[00284] Por exemplo, no aparelho cliente 200 usado como um aparelho de processamento de informação, a seção de aquisição do arquivo MPD 212 pode funcionar como uma seção de aquisição do arquivo de controle que adquire um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada, o arquivo de controle incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura, como a informação diferente da informação de arranjo para cada região da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem, e a seção de processamento do arquivo MPD 213 pode funcionar como uma seção de processamento de imagem que seleciona um fluxo contínuo de dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido pela seção de aquisição de arquivo. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho cliente 200) pode incluir uma seção de aquisição de arquivo (por exemplo, a seção de aquisição do arquivo MPD 212) e a seção de processamento de imagem (por exemplo, a seção de processamento do arquivo MPD 213).

[00285] Isto permite que o aparelho cliente 200 selecione facilmente um fluxo contínuo.

[00286] Note que a figura supradescrita (Íntegra da Figura) pode ser a

55 / 116 íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, até mesmo em um caso em que o aparelho cliente 200 usar a íntegra ou uma parte da imagem de plano projetado como a íntegra de uma figura, dividir a íntegra da figura em subfiguras que formam um fluxo contínuo e reproduzir a imagem, a presente técnica pode ser aplicada como exposto.

[00287] Adicionalmente, a informação relacionada à região (informação da região de exibição) pode ser incluída no arquivo MPD como a informação para cada subfigura. Isto permite que o aparelho cliente 200 aprenda facilmente qual parte da íntegra da figura corresponde à subfigura simplesmente pela referência à informação em relação à subfigura referenciada pelo Conjunto de Adaptação. <Procedimento do processamento de reprodução do conteúdo>

[00288] Um exemplo do procedimento do processamento de reprodução do conteúdo executado pelo aparelho cliente 200 no caso supradescrito será descrito em relação a um fluxograma na figura 37.

[00289] Quando o processamento de reprodução do conteúdo for iniciado, a seção de aquisição do arquivo MPD 212 do aparelho cliente 200 adquire, na etapa S221, um arquivo MPD que inclui, como a informação para cada subfigura, a informação da região de exibição em relação à região de exibição na figura projetada.

[00290] Na etapa S222, a seção de controle de exibição 215 adquire um resultado de medição para a posição do ponto de visualização (e a direção da linha de visão) do usuário.

[00291] Na etapa S223, a seção de medição 211 mede a largura de banda de transmissão da rede entre o servidor e o aparelho cliente 200.

[00292] Na etapa S224, a seção de processamento do arquivo MPD

56 / 116 213 seleciona o Conjunto de Adaptação que referencia a subfigura correspondente ao campo de visualização do usuário do aparelho cliente 200, com base na informação da região de exibição em relação à região de exibição da subfigura na figura projetada.

[00293] Na etapa S225, a seção de processamento do arquivo MPD 213 seleciona, a partir do Conjunto de Adaptação selecionado na etapa S224, a Representação correspondente à posição do ponto de visualização e à direção da linha de visão do usuário, a largura de banda de transmissão da rede entre o cliente e o servidor ou congêneres.

[00294] Na etapa S226, a seção de aquisição do arquivo de segmento 214 adquire um arquivo de segmento correspondente à Representação selecionada na etapa S225.

[00295] Na etapa S227, a seção de processamento do arquivo de segmento 221 extrai os dados codificados a partir do arquivo de segmento adquirido na etapa S226.

[00296] Na etapa S228, a seção de decodificação 222 decodifica os dados codificados de um fluxo contínuo extraído na etapa S227.

[00297] Na etapa S229, a seção de geração da informação de exibição 223 reproduz o fluxo contínuo (conteúdo) resultante da decodificação na etapa S228. Mais especificamente, a seção de geração da informação de exibição 223 gera os dados de uma imagem de exibição a partir do fluxo contínuo e alimenta os dados da imagem de exibição para a seção de exibição 217 para fazer com que a seção de exibição 217 exiba a imagem de exibição.

[00298] Quando o processamento na etapa S229 terminar, o processamento de reprodução do conteúdo termina.

[00299] O processamento de produção de conteúdo executado da forma supradescrita permite que o aparelho cliente 200 selecione mais facilmente um fluxo contínuo utilizando a informação em relação à região de exibição da subfigura incluída no arquivo MPD. Por exemplo, com base na

57 / 116 informação, o aparelho cliente 200 pode selecionar facilmente um fluxo contínuo apropriado correspondente ao campo de visualização do usuário. <Definição pelo descritor da informação de cobertura 2D>

[00300] Como exposto, a seção de geração do arquivo MPD 113 do aparelho de geração de arquivo 100 define inovadoramente e sinaliza a informação da região de exibição em relação à subfigura que indica qual parte da figura projetada exibida corresponde à subfigura referenciada pelo Conjunto de Adaptação. Em outras palavras, a seção de geração do arquivo MPD 113 define a informação da região de exibição em relação à subfigura como a informação para cada subfigura.

[00301] Por exemplo, a seção de geração do arquivo MPD 113 define o descritor da informação de cobertura 2D como a informação da região de exibição em relação à subfigura e sinaliza o descritor da informação de cobertura 2D como um descritor diferente do descritor de Empacotamento Região a Região. Por exemplo, a seção de geração do arquivo MPD 113 define a Propriedade Complementar em @schemeIdUri=“urn:mpeg:mpegI:omaf:2017:2dco” como o descritor da informação de cobertura 2D. Note que a seção de geração do arquivo MPD 113 pode usar a Propriedade Essencial do mesmo schemeIdUri para definir o descritor da informação de cobertura 2D.

[00302] Em outras palavras, os dados codificados da imagem para cada subfigura podem ser gerenciados para cada conjunto de adaptação, a informação de arranjo para cada região da figura pode ser armazenada no descritor de empacotamento região a região, e a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura referenciada pelo conjunto de adaptação) pode ser definida na Propriedade Complementar ou na Propriedade Essencial no arquivo MPD.

[00303] Note que um cliente DASH que não suporta o schemeIdUri da

58 / 116 Propriedade Essencial precisa negligenciar o Conjunto de Adaptação (que pode ser alternativamente Representação ou congêneres) no qual a Propriedade é gravada. Adicionalmente, um cliente DASH que não suporta o schemeIdUri da Propriedade Complementar pode negligenciar este valor de Propriedade e utilizar o Conjunto de Adaptação (que pode ser, alternativamente, a Representação ou congêneres).

[00304] Note que o descritor da informação de cobertura 2D pode estar presente não apenas no Conjunto de Adaptação, mas, também, em MPD ou Representação. Adicionalmente, o descritor da informação de cobertura 2D é aplicável até mesmo em um caso em que a figura referenciada pelo Conjunto de Adaptação não for uma subfigura ou quando a figura referenciada pelo Conjunto de Adaptação não for sujeita a processamento de empacotamento região a região.

[00305] Os valores de atributo 411 na figura 38 representam os exemplos de valores de atributo dos descritores da informação de cobertura 2D. Da forma ilustrada no valor de atributo 411, omaf:@proj_picture_width tem um tipo de dados xs:unsignedInt e indica a largura da figura projetada. O omaf:@proj_picture_height tem o tipo de dados xs:unsignedInt e indica a altura da figura projetada. O omaf:@proj_reg_width tem o tipo de dados xs:unsignedInt e indica a largura de uma região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O omaf:@proj_reg_height tem o tipo de dados xs:unsignedInt e indica a altura da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O omaf:@proj_reg_top tem o tipo de dados xs:unsignedInt e indica a coordenada vertical da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O omaf:@proj_reg_left tem o tipo de dados xs:unsignedInt e indica a coordenada da região horizontal na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

59 / 116

[00306] Cada um dos supradescritos valores de atributo pode ser indicado pelo número real de pixels ou omaf:@proj_reg_width, omaf:@proj_reg_height, omaf:@proj_reg_top, e omaf:@proj_reg_left podem ser indicados por valores relativos em relação a omaf:@proj_picture_width e omaf:@proj_picture_height.

[00307] Adicionalmente, a informação que indica que a íntegra da figura é idêntica à figura projetada pode ser definida em Propriedade Complementar ou em Propriedade Essencial no arquivo MPD. Por exemplo, a seção de geração do arquivo MPD 113 define a Propriedade Complementar em @schemeIdUri=“urn:mpegI:omaf:2017:prid” ilustrado na figura 74 como um descritor idêntico de figura projetada. Por exemplo, a presença deste descritor no Conjunto de Adaptação indica que a íntegra da figura que inclui a subfigura referenciada pelo Conjunto de Adaptação não é sujeita a processamento de empacotamento região a região e é idêntica à figura projetada.

[00308] Neste momento, a região de exibição da subfigura referenciada pelo Conjunto de Adaptação no qual o descritor idêntico da figura projetada está presente pode ser representada, por exemplo, por MPEG-DASH SRD (Descrição do Relacionamento Espacial) que indica a região de exibição de cada uma de duas ou mais regiões resultantes da divisão da íntegra da figura, as regiões sendo independentemente codificadas. Embora não ilustrado, a SRD indica a informação de divisão da subfigura que indica, por exemplo, a maneira de divisão da subfigura como é o caso com a Caixa da Região da Subfigura ilustrada na sintaxe 22 na figura 4.

[00309] Neste momento, no Conjunto de Adaptação no qual o descritor idêntico de figura projetada está presente, embora não ilustrado, a semântica de object_x, object_y, object_width, object_height, total_width, e total_height correspondentes a valores de atributo da SRD é idêntica à semântica de omaf:@proj_reg_left, omaf:@proj_reg_top, omaf:@proj_reg_width,

60 / 116 omaf:@proj_reg_height, omaf:@proj_picture_width, e omaf:@proj_picture_height correspondentes aos valores de atributo do descritor da informação de cobertura 2D ilustrado em um valor de atributo 441 na figura 38.

[00310] Note que o descritor idêntico de figura projetada pode estar presente não apenas no Conjunto de Adaptação, mas, também, na MPD ou na Representação e que a informação que indica que a íntegra da figura é idêntica à figura projetada pode ser definida por quaisquer outros descritor, elemento, ou atributo. <No caso em que a subfigura incluir regiões não consecutivas>

[00311] Note que, no exemplo supradescrito, a informação da região de exibição falha em ser sinalizada em um caso em que a subfigura incluir regiões não consecutivas na figura projetada. Assim, os descritores da informação de cobertura 2D podem ser habilitados a lidar com o caso em que a subfigura inclui regiões não consecutivas na figura projetada.

[00312] Os valores de atributo 412 na figura 39 representam os exemplos de valores de atributo dos descritores da informação de cobertura 2D no caso supradescrito. Da forma ilustrada no valor de atributo 412, twoDCoverage é um elemento de contêiner com um tipo de dados omaf:twoDCoverageType. O twoDCoverage@proj_picture_width tem o tipo de dados xs:unsignedInt e indica a largura da figura projetada. O twoDCoverage@proj_picture_height tem o tipo de dados xs:unsignedInt e indica a altura da figura projetada.

[00313] O twoDCoverage.twoDCoverageInfo tem um tipo de dados omaf:twoDCoverageInfoType e indica um elemento que indica a informação da região em relação às regiões na figura projetada. Uma pluralidade dos valores de atributo pode ser sinalizada. O twoDCoverage.twoDCoverageInfo@proj_reg_width tem o tipo de dados xs:unsignedInt e indica a largura de uma região na figura projetada à qual a

61 / 116 figura referenciada pelo Conjunto de Adaptação corresponde. O twoDCoverage.twoDCoverageInfo@proj_reg_height tem o tipo de dados xs:unsignedInt e indica a altura da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00314] O twoDCoverage.twoDCoverageInfo@proj_reg_top tem o tipo de dados xs:unsignedInt e indica a coordenada vertical da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O twoDCoverage.twoDCoverageInfo@proj_reg_left tem o tipo de dados xs:unsignedInt e indica a coordenada da região horizontal na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00315] Os tipos de dados 413 na figura 40 representam os exemplos de definições dos tipos de dados dos descritores da informação de cobertura 2D.

[00316] Como exposto, a habilitação da sinalização de uma pluralidade de regiões na figura projetada permite que as regiões de exibição não consecutivas na figura projetada sejam sinalizadas. <Extensão do descritor de empacotamento região a região>

[00317] O descritor de empacotamento região a região definido em OMAF pode ser estendido para sinalizar a informação da região de exibição em relação à região de exibição, na figura projetada, da subfigura referenciada pelo Conjunto de Adaptação.

[00318] Os valores de atributo 414 na figura 41 representam os exemplos de valores de atributo dos descritores de empacotamento região a região estendidos com base na sinalização para os valores de atributo 411 na figura 38. Os tipos de dados são similares aos tipos de dados na figura 40.

[00319] Da forma ilustrada nos valores de atributo 414, o omaf:@packing_type tem um tipo de dados omaf:OptionallistofUnsignedByte e indica o tipo de empacotamento do empacotamento região a região. Este

62 / 116 valor de atributo sendo 0 indica o empacotamento de uma região retangular.

[00320] O omaf:@proj_picture_width tem o tipo de dados xs:unsignedInt e indica a largura da figura projetada. O omaf:@proj_picture_height tem o tipo de dados xs:unsignedInt e indica a altura da figura projetada. O omaf:@proj_reg_width tem o tipo de dados xs:unsignedInt e indica a largura de uma região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O omaf:@proj_reg_height tem o tipo de dados xs:unsignedInt e indica a altura da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00321] O omaf:@proj_reg_top tem o tipo de dados xs:unsignedInt e indica a coordenada vertical da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O omaf:@proj_reg_left tem o tipo de dados xs:unsignedInt e indica a coordenada da região horizontal na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00322] Cada um dos supradescritos valores de atributo pode ser indicado pelo número real de pixels ou omaf:@proj_reg_width, omaf:@proj_reg_height, omaf:@proj_reg_top, e omaf:@proj_reg_left podem ser indicados por valores relativos em relação a omaf:@proj_picture_width e omaf:@proj_picture_height.

[00323] Os valores de atributo 415 na figura 42 representam os exemplos de valores de atributo dos descritores de empacotamento região a região estendidos com base na sinalização dos valores de atributo 412 na figura 39, isto é, os valores de atributo dos descritores de empacotamento região a região que lidam com um caso de inclusão de regiões não consecutivas. Os tipos de dados são similares aos tipos de dados na figura 40.

[00324] Da forma ilustrada nos valores de atributo 415, o omaf:@packing_type tem o tipo de dados omaf:OptionallistofUnsignedByte e

63 / 116 indica o tipo de empacotamento do empacotamento região a região. Este valor de atributo sendo 0 indica o empacotamento de uma região retangular.

[00325] O twoDCoverage é um elemento de contêiner com o tipo de dados omaf:twoDCoverageType. O twoDCoverage@proj_picture_width tem o tipo de dados xs:unsignedInt e indica a largura da figura projetada. O twoDCoverage@proj_picture_height tem o tipo de dados xs:unsignedInt e indica a altura da figura projetada. O twoDCoverage.twoDCoverageInfo tem o tipo de dados omaf:twoDCoverageInfoType e indica um elemento que indica a informação da região em relação às regiões na figura projetada. Uma pluralidade dos valores de atributo pode ser sinalizada.

[00326] O twoDCoverage.twoDCoverageInfo@proj_reg_width tem o tipo de dados xs:unsignedInt e indica a largura da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O twoDCoverage.twoDCoverageInfo@proj_reg_height tem o tipo de dados xs:unsignedInt e indica a altura da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00327] O twoDCoverage.twoDCoverageInfo@proj_reg_top tem o tipo de dados xs:unsignedInt e indica a coordenada vertical da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O twoDCoverage.twoDCoverageInfo@proj_reg_left tem o tipo de dados xs:unsignedInt e indica a coordenada da região horizontal na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. <Extensão do descritor da cobertura de conteúdo>

[00328] Adicionalmente, um descritor da cobertura de Conteúdo definido em OMAF e que indica a região de exibição do Conjunto de Adaptação em uma superfície esférica pode ser estendido para habilitar a sinalização da região de exibição na figura projetada.

[00329] Em outras palavras, os dados codificados da imagem para cada

64 / 116 subfigura podem ser gerenciados para cada conjunto de adaptação, a informação de arranjo para cada região da figura pode ser o descritor de empacotamento região a região, e a informação da região de exibição em relação à subfigura (informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura referenciada pelo conjunto de adaptação) pode ser definida no descritor da Informação de Cobertura no arquivo MPD, indicando a região de exibição do Conjunto de Adaptação na superfície esférica.

[00330] Os valores de atributo 416 na figura 43 e os valores de atributo 417 na figura 44 representam os exemplos de valores de atributo de descritores da cobertura de conteúdo estendidos. Em um caso em que os descritores da cobertura de Conteúdo forem estendidos, o atributo 2D_coverage_flag é usado para comutar entre a sinalização de uma região da superfície esférica e a sinalização de uma região de exibição na figura projetada similarmente ao caso de extensão dos descritores da cobertura de conteúdo no arquivo ISOBMFF supradescrito.

[00331] Da forma ilustrada nos valores de atributo 416, cc é um elemento de contêiner com um omaf:CCType. O cc@2D_coverage_flag é a informação do indicador com um tipo de dados xs:booleano e que indica se a região de exibição é definida na superfície esférica ou na figura projetada. Este valor de atributo sendo 0 indica a definição na superfície esférica, e este valor sendo 1 indica a definição na figura projetada.

[00332] O cc.sphericalCoverage é um elemento de contêiner para a informação da região de exibição em superfície esférica com um tipo de dados omaf:sphericalCoverageType. Este elemento está presente apenas quando cc@2D_coverage_flag=0. O cc.sphericalCoverage @shape_type tem um tipo de dados xs:unsignedByte e indica a forma de uma região da superfície esférica. Este valor de atributo sendo 0 indica que a região é confinada por quatro grandes círculos. Adicionalmente, este valor de atributo

65 / 116 sendo 1 indica que a região é confinada por dois círculos de azimute e dois ângulos de elevação.

[00333] O cc.sphericalCoverage @view_idc_presence_flag é a informação do indicador com o tipo de dados xs:booleano e que indica se um atributo view_idc está presente ou não. Este valor de atributo sendo 0 indica que o atributo view_idc não está presente, e este valor de atributo sendo 1 indica que o atributo view_idc está presente.

[00334] O cc.sphericalCoverage @default_view_idc tem um tipo de dados omaf:ViewType, e indica uma visualização comum a todas as regiões. Por exemplo, este valor de atributo sendo 0 indica que todas as regiões incluídas na subfigura têm um tipo de visualização (view_idc) visualização mono. Adicionalmente, este valor de atributo sendo 1 indica que todas as regiões incluídas na subfigura têm um tipo de visualização (view_idc) visualização Esquerda. Além do mais, este valor de atributo sendo 2 indica que todas as regiões incluídas na subfigura têm um tipo de visualização (view_idc) visualização Direita. Adicionalmente, este valor de atributo sendo 3 indica que todas as regiões incluídas na subfigura têm um tipo de visualização (view_idc) visualização estéreo. O valor de atributo está inevitavelmente presente quando cc@view_idc_presence_flag=0. Adicionalmente, este atributo é inibido de estar presente quando cc@view_idc_presence_flag=1.

[00335] O cc.sphericalCoverage.coverageInfo é um elemento com um tipo de dados omaf:coverageInfoType e que indica a informação da região em superfície esférica. Uma pluralidade dos elementos pode ser sinalizada.

[00336] O cc.sphericalCoverage.coverageInfo@view_idc tem o tipo de dados omaf:ViewType, e indica uma visualização para cada região. Por exemplo, este valor de atributo sendo 0 indica que a região à qual o valor de atributo corresponde tem o tipo de visualização (view_idc) visualização mono. Adicionalmente, este valor de atributo sendo 1 indica que a região à

66 / 116 qual o valor de atributo corresponde tem o tipo de visualização (view_idc) visualização Esquerda. Além do mais, este valor de atributo sendo 2 indica que a região à qual o valor de atributo corresponde tem o tipo de visualização (view_idc) visualização Direita. Adicionalmente, este valor de atributo sendo 3 indica que a região à qual o valor de atributo corresponde tem o tipo de visualização (view_idc) visualização estéreo. O valor de atributo é inibido de estar presente quando cc@view_idc_presence_flag=0. Este atributo está inevitavelmente presente quando cc@view_idc_presence_flag=1.

[00337] O cc.sphericalCoverage.coverageInfo@center_azimuth tem um tipo de dados omaf:Range1 e indica o azimute de um centro da região de exibição em superfície esférica. O cc.SpericalCoverage.coverageInfo@center_elavation tem um tipo de dados omaf:Range2 e indica a elevação do centro da região de exibição em superfície esférica. cc.SpericalCoverage.coverageInfo@center_tilt tem o tipo de dados omaf:Range1 e indica o ângulo de inclinação do centro da região de exibição em superfície esférica. O cc.SpericalCoverage.coverageInfo@azimuth_range tem um tipo de dados omaf:HRange e indica a faixa de azimute do centro da região de exibição em superfície esférica. O cc.SpericalCoverage.coverageInfo@elevation_range tem um tipo de dados omaf:VRange e indica a faixa de elevação do centro da região de exibição em superfície esférica.

[00338] O cc.twoDCoverage é um elemento de contêiner para a informação da região de exibição em relação à região de exibição na figura projetada, com um tipo de dados omaf:twoDCoverageType. O elemento de contêiner está presente apenas quando cc@2D_coverage_flag=1.

[00339] O cc.twoDCoverage@proj_picture_width tem o tipo de dados xs:unsignedInt e indica a largura da figura projetada. O cc.twoDCoverage@proj_picture_height tem o tipo de dados xs:unsignedInt e indica a altura da figura projetada. O cc.twoDCoverage.twoDCoverageInfo é

67 / 116 um elemento com um tipo de dados omaf:twoDCoverageInfoType e que indica a informação da região em relação às regiões na figura projetada. Uma pluralidade dos elementos pode ser sinalizada.

[00340] O cc.twoDCoverage.twoDCoverageInfo@proj_reg_width tem o tipo de dados xs:unsignedInt e indica a largura de uma região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O cc.twoDCoverage.twoDCoverageInfo@proj_reg_height tem o tipo de dados xs:unsignedInt e indica a altura de uma região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00341] O cc.twoDCoverage.twoDCoverageInfo@proj_reg_top tem o tipo de dados xs:unsignedInt e indica a coordenada vertical da região na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde. O cc.twoDCoverage.twoDCoverageInfo@proj_reg_left tem o tipo de dados xs:unsignedInt e indica a coordenada da região horizontal na figura projetada à qual a figura referenciada pelo Conjunto de Adaptação corresponde.

[00342] Um tipo de dados 418 na figura 45, um tipo de dados 419 na figura 46, e um tipo de dados 420 na figura 47 são exemplos de definições dos tipos de dados dos descritores da cobertura de conteúdo estendidos. <Sinalização no caso em que o método de divisão da subfigura variar dinamicamente>

[00343] Note que, em um caso em que a região de exibição na figura projetada variar dinamicamente no fluxo contínuo, além da supradescrita sinalização, um indicador adicional pode ser sinalizado nos descritores da informação de cobertura 2D, nos descritores de empacotamento região a região e nos descritores da cobertura de conteúdo para indicar que, no fluxo contínuo, a região de exibição varia dinamicamente. <4. Terceira Modalidade>

68 / 116 <Sinalização da Informação Estéreo>

[00344] Da forma supradescrita em <Identificação da Informação Estéreo> em <1. Sinalização da informação em relação à subfigura>, em um caso em que a íntegra da figura de um vídeo estéreo onidirecional for dividida em subfiguras, a informação estéreo em relação à íntegra da Figura é sinalizada na Caixa de Vídeo Estéreo sinalizada abaixo da Caixa de Composição da Subfigura, e a informação estéreo em relação às subfiguras é sinalizada na Caixa de Vídeo Estéreo abaixo da Caixa da Informação do Esquema na Entrada de Amostra.

[00345] Em um caso em que a íntegra da figura for uma imagem estéreo, por exemplo, os seguintes três padrões são variações de subfiguras geráveis.

[00346] A figura 48 é um diagrama que ilustra um exemplo de um aspecto de um primeiro padrão de divisão em subfiguras. Neste caso, uma figura projetada (Íntegra da Figura) 431 é dividida nas subfiguras 432 a 437. A figura projetada 431 inclui uma imagem estéreo lado a lado. Cada uma das subfiguras 432 a 437 inclui uma Visualização Esquerda e uma Visualização Direita que são regiões de exibição idênticas na figura projetada 431 e correspondem ao arranjo do empacotamento de quadro, tais como topo e base ou lado a lado, que podem ser sinalizadas na Caixa de Vídeo Estéreo.

[00347] A figura 49 é um diagrama que ilustra um exemplo de um aspecto de um segundo padrão de divisão em subfiguras. Neste caso, uma figura projetada (Íntegra da Figura) 441 é dividida em subfiguras 442 a 446. A figura projetada 441 inclui uma imagem estéreo lado a lado. Cada uma das subfiguras 442 a 446 inclui uma Visualização Esquerda e uma Visualização Direita, mas as regiões de exibição das visualizações não correspondem às regiões de exibição na figura projetada 441. Cada uma das subfiguras não corresponde ao arranjo do empacotamento de quadro, tais como topo e base ou lado a lado, que pode ser sinalizado na Caixa de Vídeo Estéreo.

69 / 116

[00348] A figura 50 é um diagrama que ilustra um exemplo de um aspecto de um terceiro padrão de divisão em subfiguras. Neste caso, uma figura projetada (Íntegra da Figura) 451 é dividida em uma subfigura 452 e uma subfigura 453. A figura projetada 451 inclui uma imagem estéreo lado a lado. A subfigura 452 é uma figura mono que inclui apenas uma Visualização Esquerda. A subfigura 453 é uma figura mono que inclui apenas uma Visualização Direita.

[00349] No primeiro padrão, a Caixa de Vídeo Estéreo é sinalizada na Entrada de Amostra/rinf/schi da trilha da subfigura para sinalizar a apropriada informação de arranjo do empacotamento de quadro. Por exemplo, na figura 48, lado a lado é sinalizado. Note que, em vez da informação de arranjo do empacotamento de quadro em relação à subfigura, a informação de arranjo do empacotamento de quadro em relação à íntegra da Figura pode ser sinalizada.

[00350] No segundo padrão, a Caixa de Vídeo Estéreo não é sinalizada na Entrada de Amostra/rinf/schi. Assim, o cliente pode falhar em identificar se a subfigura é uma figura mono ou a subfigura inclui uma Visualização Esquerda e uma Visualização Direita, mas a informação de arranjo do empacotamento de quadro, tais como topo e base ou lado a lado, não é aplicada na subfigura.

[00351] No terceiro padrão, a Caixa de Vídeo Estéreo não é sinalizada na Entrada de Amostra/rinf/schi. Desta maneira, o cliente pode falhar em identificar se a íntegra da figura não dividida é uma figura mono ou uma imagem estéreo. Se escala ascendente é exigida ou não durante a renderização varia dependendo se a íntegra da figura não dividida é uma figura mono ou uma imagem estéreo e, assim, a incapacidade de identificação pode impedir o cliente de realizar a renderização apropriada.

[00352] Por exemplo, da forma ilustrada na figura 50, para uma subfigura para a qual a íntegra da figura é uma imagem estéreo lado a lado e que inclui apenas uma Visualização Esquerda, a renderização exige escala

70 / 116 ascendente dupla na direção horizontal. Ao contrário, em um caso em que a íntegra da figura for uma figura mono, este processamento é desnecessário. <Sinalização, em ISOBMFF, da informação estéreo em relação à íntegra da figura a ser dividida em subfiguras>

[00353] Assim, a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura a ser dividida em subfiguras pode ser realizada em um arquivo ISOBMFF correspondente a um arquivo de segmento.

[00354] Em outras palavras, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada são armazenados em uma trilha, e pode ser gerado um arquivo que inclui a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura.

[00355] Por exemplo, no aparelho de geração de arquivo 100 usado como um aparelho de processamento de informação, a seção de geração do arquivo de segmento 123 pode funcionar como uma seção de geração de arquivo que armazena, em cada trilha, os dados de imagem em relação a uma da pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada, a seção de geração de arquivo gerando um arquivo que inclui a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho de geração de arquivo 100) pode incluir uma seção de geração de arquivo (por exemplo, a seção de geração do arquivo de segmento 123).

[00356] Isto permite que o cliente selecione mais facilmente um fluxo contínuo com base na informação, como exposto.

[00357] Adicionalmente, a figura supradescrita (Íntegra da Figura) pode ser a íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se

71 / 116 estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, em um caso em que o aparelho de geração de arquivo 100 usar a íntegra ou uma parte da imagem de plano projetado como a íntegra de uma figura e dividir a íntegra da figura em subfiguras, a presente técnica pode ser aplicada como exposto.

[00358] Isto permite que o cliente selecione mais facilmente um fluxo contínuo com base na informação, como exposto, até mesmo em um caso em que um vídeo onidirecional for distribuído.

[00359] Note que a informação estéreo em relação à íntegra da figura pode ser incluída no arquivo ISOBMFF como a informação para cada subfigura. Isto permite que o cliente aprenda facilmente a informação estéreo em relação à íntegra da Figura (por exemplo, se a imagem é ou não a íntegra de uma imagem estéreo da figura e de qual tipo a imagem estéreo é) simplesmente pela referência à informação em relação à trilha da subfigura. <Procedimento de Processamento de Carregamento>

[00360] Um exemplo do procedimento de processamento de carregamento executado pelo aparelho de geração de arquivo 100 na figura 11 no caso supradescrito será descrito em relação a um fluxograma na figura 51.

[00361] Quando o processamento de carregamento for iniciado, a seção da entrada de dados 111 do aparelho de geração de arquivo 100 adquire uma imagem e os metadados na etapa S301.

[00362] Na etapa S302, a seção de geração do arquivo de segmento 123 gera um arquivo ISOBMFF que inclui a informação estéreo em relação à íntegra da Figura (figura projetada) como a informação para cada subfigura.

[00363] Na etapa S303, o arquivo ISOBMFF gerado pelo processamento na etapa S302 é gravado na seção de gravação 114.

[00364] Na etapa S304, a seção de carregamento 115 lê, a partir da seção de gravação 114, o arquivo ISOBMFF gravado na etapa S303, e carrega o arquivo ISOBMFF para o servidor.

72 / 116

[00365] Quando o processamento na etapa S304 terminar, o processamento de carregamento termina.

[00366] Pela execução do processamento de carregamento como exposto, o aparelho de geração de arquivo 100 pode gerar um arquivo ISOBMFF que inclui, como a informação para cada subfigura, a informação estéreo em relação à figura projetada.

[00367] Desta maneira, com base na informação, o cliente pode selecionar e reproduzir mais facilmente um fluxo contínuo apropriado correspondente à capacidade do cliente. <Utilização da informação estéreo em relação à íntegra da figura a ser dividida em subfiguras em que a informação é sinalizada em ISOBMFF>

[00368] Adicionalmente, um fluxo contínuo pode ser selecionado e reproduzido utilizando a informação estéreo em relação à íntegra da figura a ser dividida em subfiguras, em que a informação é sinalizada no arquivo ISOBMFF.

[00369] Em outras palavras, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada podem ser armazenados em uma trilha, pode ser adquirido um arquivo que inclui a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura e, com base na informação estéreo incluída no arquivo adquirido, um fluxo contínuo de dados codificados da imagem pode ser selecionado.

[00370] Por exemplo, no aparelho cliente 200 correspondente ao aparelho de processamento de informação, a seção de aquisição do arquivo de segmento 214 funciona como uma seção de aquisição de arquivo que armazena, em cada trilha, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada, a seção de aquisição de arquivo que adquire um arquivo que inclui a informação estéreo que inclui a informação relacionada à

73 / 116 exibição estéreo da íntegra da figura, e a seção de análise e decodificação de dados 216 pode funcionar como uma seção de processamento de imagem que seleciona um fluxo contínuo de dados codificados da imagem com base na informação estéreo incluída no arquivo adquirido pela seção de aquisição de arquivo. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho cliente 200) pode incluir uma seção de aquisição de arquivo (por exemplo, a seção de aquisição do arquivo de segmento 214) e uma seção de processamento de imagem (por exemplo, a seção de análise e decodificação de dados 216).

[00371] Isto permite que o aparelho cliente 200 selecione mais facilmente um fluxo contínuo.

[00372] Note que a figura supradescrita (Íntegra da Figura) pode ser a íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, em um caso em que o aparelho cliente 200 usar a íntegra ou uma parte da imagem de plano projetado como a íntegra de uma figura, dividir a íntegra da figura em subfiguras para adquirir um fluxo contínuo de subfiguras e reproduzir o fluxo contínuo, a presente técnica pode ser aplicada como exposto.

[00373] Adicionalmente, a informação estéreo em relação à íntegra da figura pode ser incluída no arquivo ISOBMFF como a informação para cada subfigura. Isto permite que o aparelho cliente 200 aprenda facilmente a informação estéreo em relação à íntegra da Figura (por exemplo, se a imagem é ou não a íntegra de uma imagem estéreo da figura e de qual tipo a imagem estéreo é) simplesmente pela referência à informação em relação à trilha da subfigura. <Procedimento do processamento de reprodução do conteúdo>

[00374] Um exemplo do procedimento do processamento de

74 / 116 reprodução do conteúdo executado pelo aparelho cliente 200 no caso supradescrito será descrito em relação a um fluxograma na figura 52.

[00375] Quando o processamento de reprodução do conteúdo for iniciado, a seção de aquisição do arquivo de segmento 214 do aparelho cliente 200 adquire um arquivo ISOBMFF que inclui a informação estéreo em relação à íntegra da Figura (figura projetada) como a informação para cada subfigura na etapa S321.

[00376] Na etapa S322, a seção de controle de exibição 215 adquire um resultado de medição para a posição do ponto de visualização (e a direção da linha de visão) a partir do usuário.

[00377] Na etapa S323, a seção de medição 211 mede a largura de banda de transmissão da rede entre o servidor e o aparelho cliente 200.

[00378] Na etapa S324, a seção de processamento do arquivo de segmento 221 determina se o aparelho cliente 200 realiza ou não a reprodução estéreo (ou se o aparelho cliente 200 tem ou não a capacidade de realizar a reprodução estéreo). Em um caso em que for determinado que o aparelho cliente 200 realiza a reprodução estéreo (ou tem a capacidade de realizar a reprodução estéreo), o processamento prossegue para a etapa S325.

[00379] Na etapa S325, a seção de processamento do arquivo de segmento 221 define as trilhas da subfigura exibíveis em estéreo como candidatos a seleção. Neste momento, pela referência à informação estéreo em relação à íntegra da Figura incluída no arquivo ISOBMFF adquirido na etapa S321, a seção de processamento do arquivo de segmento 221 pode incluir, nos candidatos a seleção, as trilhas da subfigura exibíveis em estéreo nas quais o arranjo do empacotamento de quadro no segundo padrão não é aplicado (por exemplo, a subfigura 445 e a subfigura 446 na figura 49). Quando o processamento na etapa S325 terminar, o processamento prossegue para a etapa S327.

[00380] Adicionalmente, na etapa S324, em um caso em que for

75 / 116 determinado que o aparelho cliente 200 não realiza a reprodução estéreo (ou determinado que não tem a capacidade de realizar a reprodução estéreo), o processamento prossegue para a etapa S326.

[00381] Na etapa S326, a seção de processamento do arquivo de segmento 221 define as trilhas da subfigura que incluem as figuras mono como candidatos a seleção com base, por exemplo, na informação estéreo em relação à íntegra da Figura incluída no arquivo ISOBMFF adquirido na etapa S321. Neste momento, pela referência à informação estéreo em relação à íntegra da Figura incluída no arquivo ISOBMFF adquirido na etapa S321, a seção de processamento do arquivo de segmento 221 pode aprender que a trilha da subfigura no terceiro padrão (por exemplo, a subfigura 452 ou a subfigura 453 na figura 50) exige escala ascendente dupla na direção horizontal durante a renderização. Quando o processamento na etapa S326 terminar, o processamento prossegue para a etapa S327.

[00382] Na etapa S327, a seção de processamento do arquivo de segmento 221 seleciona uma trilha da subfigura correspondente ao campo de visualização do usuário do aparelho cliente 200 a partir dos candidatos definidos na etapa S325 ou na etapa S326.

[00383] Na etapa S328, a seção de processamento do arquivo de segmento 221 extrai os dados codificados do fluxo contínuo nas trilhas da subfigura selecionadas na etapa S327 a partir do arquivo ISOBMFF adquirido na etapa S321.

[00384] Na etapa S329, a seção de decodificação 222 decodifica os dados codificados do fluxo contínuo extraído na etapa S328.

[00385] Na etapa S330, a seção de geração da informação de exibição 223 reproduz o fluxo contínuo (conteúdo) resultante da decodificação na etapa S329. Mais especificamente, a seção de geração da informação de exibição 223 gera os dados de uma imagem exibida a partir do fluxo contínuo e alimenta os dados para a seção de exibição 217 para fazer com que a seção

76 / 116 de exibição 217 exiba a imagem de exibição.

[00386] Quando o processamento na etapa S330 terminar, o processamento de reprodução do conteúdo termina.

[00387] Pela execução do processamento de reprodução do conteúdo, como exposto, o aparelho cliente 200 pode selecionar mais facilmente um fluxo contínuo utilizando a informação estéreo em relação à íntegra da figura a ser dividida em subfiguras, a informação estéreo sendo incluída no arquivo ISOBMFF. Por exemplo, com base na informação, o aparelho cliente 200 pode selecionar e reproduzir mais facilmente o fluxo contínuo apropriado correspondente, por exemplo, à capacidade do aparelho cliente 200. <Sinalização, na Entrada de Amostra, da Informação estéreo em relação à Íntegra da Figura>

[00388] Por exemplo, em um caso em que a íntegra da figura não dividida for uma imagem estéreo, a seção de geração do arquivo de segmento 123 do aparelho de geração de arquivo 100 pode sinalizar a informação estéreo em relação à íntegra da figura na Entrada de Amostra na trilha da subfigura.

[00389] Por exemplo, a informação estéreo em relação à íntegra da figura pode ser armazenada na Caixa da Informação do Esquema abaixo da Entrada de Amostra ou na Caixa em uma camada abaixo da Caixa da Informação do Esquema no arquivo ISOBMFF. <Caixa de Vídeo Estéreo Original>

[00390] Por exemplo, para sinalizar a informação estéreo em relação à íntegra da figura não dividida, a seção de geração do arquivo de segmento 123 do aparelho de geração de arquivo 100 pode definir inovadoramente a Caixa de Vídeo Estéreo Original e sinalizar a Caixa abaixo da Caixa da Informação do Esquema (schi) da Entrada de Amostra na trilha da subfigura. Em outras palavras, a Caixa de Vídeo Estéreo Original pode armazenar a informação estéreo em relação à íntegra da figura não dividida.

77 / 116

[00391] Note que o local da Caixa de Vídeo Estéreo Original é opcional e não é limitado à Caixa da Informação do Esquema supradescrita. Adicionalmente, a informação sinalizada na Caixa de Vídeo Estéreo Original é similar à informação sinalizada na Caixa de Vídeo Estéreo.

[00392] A sintaxe 461 na figura 53 representa um exemplo da sintaxe da Caixa de Vídeo Estéreo Original. Da forma ilustrada na sintaxe 461, os campos, tais como single_view_allowed, stereo_scheme, length, e stereo_indication_type, são definidos na Caixa de Vídeo Estéreo Original.

[00393] A semântica 462 na figura 54 representa um exemplo da semântica dos campos definidos na Caixa de Vídeo Estéreo Original. Da forma ilustrada em semântica 462, single_view_allowed é a informação que indica o tipo de uma visualização permitida. Por exemplo, este campo com um valor de 0 indica que pretende-se que o conteúdo seja exibido apenas em uma exibição habilitada a estereoscopia. Adicionalmente, este campo com um valor de 1 indica que permite-se que o conteúdo exiba uma visualização Direita em uma exibição monoscópica. Além do mais, este campo com um valor de 2 indica que permite-se que o conteúdo exiba uma visualização Esquerda na exibição monoscópica.

[00394] O stereo_scheme é a informação relacionada ao método de empacotamento de quadro. Por exemplo, este campo com um valor de 1 indica que o método de empacotamento de quadro se conforma com a SEI do arranjo do empacotamento de quadro em ISO/IEC 14496-10. Adicionalmente, este campo com um valor de 2 indica que o método de empacotamento de quadro se conforma com o Anexo L de ISO/IEC 13818-2. Além do mais, este campo com um valor de 3 indica que o método de empacotamento de quadro se conforma com quadro/serviço compatível e serviço 2D/3D Misto em ISO/IEC 23000-11.

[00395] O length indica o comprimento do byte de stereo_indication_type. Adicionalmente, o stereo_indication_type indica um

78 / 116 método de empacotamento de quadro em conformidade com stereo_scheme.

[00396] Pela referência à Caixa de Vídeo Estéreo Original e à Caixa da Informação de Cobertura 2D, a seção de processamento do arquivo de segmento 221 do aparelho cliente 200 pode adquirir a informação estéreo em relação à íntegra da figura. Então, com base nesta informação, a seção de processamento do arquivo de segmento 221 pode identificar facilmente, em um caso em que a Caixa de Vídeo Estéreo não for sinalizada na Entrada de Amostra na trilha da subfigura, se a subfigura é mono ou a subfigura inclui uma Visualização Esquerda e uma Visualização Direita, mas o arranjo do empacotamento de quadro sinalizado na Caixa de Vídeo Estéreo não é aplicado na subfigura, sem análise sintática da Caixa de Composição da Subfigura. Em outras palavras, como é o caso com uma trilha que não é uma trilha da subfigura, a informação estéreo pode ser identificada apenas a partir da informação armazenada na Entrada de Amostra.

[00397] Em outras palavras, o aparelho cliente 200 pode selecionar e reproduzir independentemente uma trilha da subfigura sem análise sintática da Caixa de Composição da Subfigura. <Sinalização do tamanho da exibição>

[00398] Além do mais, um tamanho de exibição ascendentemente escalado com base no arranjo do empacotamento de quadro para a íntegra da figura pode ser sinalizado na largura e na altura do Cabeçalho de Trilha da trilha da subfigura que armazena uma subfigura mono (subfigura que é uma figura mono) resultante da divisão da íntegra da figura que é estéreo.

[00399] Em outras palavras, o arquivo ISOBMFF pode incluir a informação relacionada ao tamanho de exibição da subfigura.

[00400] Um exemplo deste aspecto é ilustrado na figura 55. Da forma ilustrada na figura 55, uma subfigura 471 e uma subfigura 472 geradas a partir da íntegra da figura de uma imagem estéreo incluem as imagens em diferentes regiões descendentemente escaladas na direção horizontal. Desta maneira, a

79 / 116 escala ascendente na direção horizontal é exigida no tempo de exibição (renderização). Assim, o tamanho de exibição de uma imagem 473 para o tempo de exibição é sinalizado como a largura e a altura do Cabeçalho de Trilha. Isto permite que o aparelho cliente 200 renderize apropriadamente a subfigura mono.

[00401] Note que, em vez da sinalização na largura e na altura do Cabeçalho de Trilha, a sinalização da Caixa da Razão do Aspecto de Pixel (pasp) que sinaliza a informação da razão de aspecto do pixel para o tempo de exibição, definida em ISOBMFF, pode ser sinalizada em Entrada de Amostra Visual. Isto também permite a produção de efeitos similares aos efeitos da sinalização na largura e na altura do Cabeçalho de Trilha supradescrito.

[00402] A sintaxe 481 na figura 56 representa um exemplo da sintaxe da Caixa da Razão do Aspecto de Pixel. Da forma ilustrada na sintaxe 481, campos, por exemplo, hSpacing e vSpacing, são definidos na Caixa da Razão do Aspecto de Pixel.

[00403] A semântica 482 na figura 57 representa um exemplo da semântica dos campos definidos na Caixa da Razão do Aspecto de Pixel. Da forma ilustrada na semântica 482, hSpacing e vSpacing são informações que indicam uma altura relativa do pixel e uma largura relativa do pixel. Durante a renderização, com base nesta informação, a largura do pixel é multiplicada por vSpace/hSpace para exibição.

[00404] Um exemplo deste aspecto é ilustrado na figura 58. Uma subfigura 491 e uma subfigura 492 ilustradas na figura 58 são subfiguras geradas a partir da íntegra da figura de uma imagem estéreo e cada uma inclui as imagens em diferentes regiões descendentemente escaladas na direção horizontal. Assim, pela sinalização de hSpace=1 e vSpace=2, o aparelho cliente 200 pode realizar, durante, por exemplo, a exibição (renderização) da subfigura 491, a renderização com a largura do pixel dobrada para exibir uma imagem na razão de aspecto apropriada como a imagem 493. Em outras

80 / 116 palavras, o aparelho cliente 200 pode renderizar apropriadamente a subfigura mono (subfigura que inclui uma imagem mono). <Caixa da Informação do Esquema Original>

[00405] Adicionalmente, a Caixa da Informação do Esquema Original pode ser inovadoramente definida abaixo da Caixa da Informação do Esquema Restrito (rinf) da Entrada de Amostra na trilha da subfigura, e a informação estéreo em relação à íntegra da figura não dividida pode ser sinalizada na Caixa. Note que um local em que a Caixa da Informação do Esquema Original é definida é opcional e não é limitado a rinf supradescrito.

[00406] A sintaxe 501 na figura 59 representa um exemplo da sintaxe da Caixa da Informação do Esquema Original no caso supradescrito. Da forma ilustrada na sintaxe 501, por exemplo, scheme_specific_data é definido na Caixa da Informação do Esquema Original.

[00407] A informação em relação à íntegra da figura não dividida em subfiguras ainda é sinalizada no scheme_specific_data. Por exemplo, em um caso em que a íntegra da figura for estéreo, a Caixa de Vídeo Estéreo que inclui a informação estéreo em relação à íntegra da figura pode ser sinalizada. Isto permite que o aparelho cliente 200 selecione e reproduza independentemente uma trilha da subfigura sem análise sintática da Caixa de Composição da Subfigura.

[00408] Note que não apenas a Caixa de Vídeo Estéreo, mas, também, a informação de pós-processamento relacionada à íntegra da figura pode ser sinalizada no scheme_specific_data (por exemplo, a Caixa de Empacotamento Região a Região). <Informação adicional que facilita a seleção de trilha da subfigura>

[00409] Além do mais, a Caixa da Informação de Cobertura 2D pode ser estendida para sinalizar informação relacionada a estéreo que facilita a seleção de trilha.

[00410] Por exemplo, stereo_presentation_suitable_flag pode ser

81 / 116 adicionado na Caixa da Informação de Cobertura 2D para sinalizar se a trilha da subfigura é exibível ou não em estéreo. Pela referência a esta informação, o aparelho cliente 200 pode identificar se a exibição estéreo é habilitada ou não sem executar o processamento de identificação se exibição estéreo é habilitada ou não com base na informação estéreo em relação à íntegra da figura supradescrita na terceira modalidade e na informação da região em relação às regiões na figura projetada sinalizadas na Caixa da Informação de Cobertura 2D definida na primeira modalidade.

[00411] Em outras palavras, o arquivo ISOBMFF pode incluir adicionalmente a informação subestéreo que inclui a informação relacionada à exibição estéreo de cada subfigura.

[00412] A sintaxe 502 na figura 60 representa um exemplo da Caixa da Informação de Cobertura 2D no caso supradescrito. Da forma ilustrada na sintaxe 502, neste caso, stereo_presentation_suitable é adicionalmente definido (stereo_presentation_suitable é adicionado no campo definido).

[00413] A semântica 503 na figura 61 representa um exemplo da semântica do campo adicionado. Da forma ilustrada na semântica 503, stereo_presentation_suitable é a informação relacionada à exibição estéreo da figura na trilha. Este campo com um valor de 0 indica que a figura na trilha é mono ou a figura inclui uma visualização L e uma visualização R, mas não é exibível em estéreo. Este campo com um valor de 1 indica que algumas das regiões da figura na trilha são exibíveis em estéreo. Este campo com um valor de 2 indica que todas as regiões da figura na trilha são exibíveis em estéreo.

[00414] A figura 62 é um diagrama que ilustra um exemplo de sinalização de stereo_presentation_suitable. Por exemplo, da forma ilustrada no lado superior da figura 62, as subfiguras 512 a 517 resultantes da divisão da íntegra de uma figura (figura projetada) 511, incluindo uma imagem estéreo lado a lado cada, incluem uma Visualização Esquerda e uma Visualização Direita e são exibíveis em estéreo. Desta maneira,

82 / 116 streo_presentation_suitable=2 é definido para as subfiguras.

[00415] Ao contrário, da forma ilustrada no lado inferior da figura 62, as subfiguras 522 a 526 resultantes da divisão da íntegra de uma figura (figura projetada) 521, incluindo uma imagem estéreo lado a lado cada, incluem uma Visualização Esquerda e uma Visualização Direita. Entretanto, as subfiguras 522 a 524 não são exibíveis em estéreo. Desta maneira, streo_presentation_suitable=0 é definido para as subfiguras.

[00416] Adicionalmente, para uma subfigura 525 e uma subfigura 526, algumas das regiões da subfigura são exibíveis em estéreo. Desta maneira, streo_presentation_suitable=1 é definido para as subfiguras.

[00417] Note que, com uma CAIXA separada (informação de armazenamento da Caixa dedicada), a informação que indica se a figura é exibível em estéreo ou não, por exemplo, a Caixa de Vídeo Estéreo da Trilha inovadoramente definida, a informação pode ser sinalizada abaixo de schi da trilha da subfigura.

[00418] A sintaxe 531 na figura 63 representa um exemplo da sintaxe da Caixa de Vídeo Estéreo da Trilha no caso supradescrito.

[00419] Adicionalmente, a Caixa de Empacotamento Região a Região sinalizada abaixo da Caixa de Vídeo Onidirecional Projetado da Entrada de Amostra na trilha da subfigura ou a estrutura da Região RectProjected supradescrita na primeira modalidade pode ser estendida para sinalizar stereo_presentation_suitable_flag. Adicionalmente, stereo_presentation_suitable_flag pode ser sinalizado em qualquer outra Caixa.

[00420] Além do mais, em um caso em que a exibição estéreo for desabilitada, um indicador track_not_intended_for_presentation_alone da Caixa de Cabeçalho de Trilha pode ser usado para sinalizar que a reprodução independente da subfigura não é desejável.

[00421] Note que os vários tipos supradescritos de informação são

83 / 116 aplicáveis em um caso em que a figura armazenada na trilha não for uma subfigura. <Sinalização da informação de visualização>

[00422] Adicionalmente, a Caixa da Informação de Cobertura 2D pode ser estendida para sinalizar adicionalmente a informação de visualização para a região de exibição da subfigura na figura projetada. Pela referência a esta informação, o aparelho cliente 200 pode identificar facilmente se a subfigura é uma imagem mono ou a subfigura inclui uma visualização L e uma visualização R sem executar o processamento de identificação da informação de visualização para cada região a partir da informação estéreo em relação à íntegra da figura supradescrita na terceira modalidade e da informação da região em relação às regiões na figura projetada sinalizada na Caixa da Informação de Cobertura 2D definida na terceira modalidade.

[00423] Em outras palavras, o arquivo ISOBMFF pode incluir adicionalmente a informação de visualização que indica o tipo de visualização da subfigura.

[00424] A sintaxe 532 na figura 64 é um diagrama que ilustra um exemplo da sintaxe da Caixa da Informação de Cobertura 2D no caso supradescrito. Da forma ilustrada na sintaxe 532, neste caso, campos, tais como view_idc_presence_flag, default_view_idc e view_idc, são adicionalmente definidos na Caixa da Informação de Cobertura 2D.

[00425] Uma semântica 533 na figura 65 representa um exemplo da semântica dos campos adicionalmente definida na Caixa da Informação de Cobertura 2D. Da forma ilustrada na semântica 533, view_idc_presence_flag indica se um view_idc separado está presente ou não em cada região. Por exemplo, este campo com um valor de 0 indica que nenhum view_idc separado está presente em cada região. Adicionalmente, este campo com um valor de 1 indica que um view_idc separado está presente em cada região.

[00426] Em outras palavras, o arquivo ISOBMFF pode incluir

84 / 116 adicionalmente a informação que indica se a informação de visualização está presente para cada região.

[00427] O default_view_idc indica uma visualização comum a todas as regiões. Por exemplo, este campo com um valor de 0 indica que todas as regiões na subfigura correspondem às visualizações mono. Adicionalmente, este campo com um valor de 1 indica que todas as regiões na subfigura correspondem às visualizações Esquerdas. Além do mais, este campo com um valor de 2 indica que todas as regiões na subfigura correspondem às visualizações Direitas. Adicionalmente, este campo com um valor de 3 indica que todas as regiões na subfigura correspondem às visualizações estéreo.

[00428] O view_idc indica uma visualização para cada região. Por exemplo, este campo com um valor de 0 indica que a região corresponde a uma visualização mono. Adicionalmente, este campo com um valor de 1 indica que a região corresponde a uma visualização Esquerda. Além do mais, este campo com um valor de 2 indica que a região corresponde a uma visualização Direita. Adicionalmente, este campo com um valor de 3 indica que a região corresponde a uma visualização estéreo. Além do mais, em um caso em que o campo não estiver presente, o default_view_idc indica a indicação da visualização de cada região.

[00429] Em outras palavras, a informação de visualização pode ser a informação para cada região incluída na subfigura.

[00430] A figura 66 é um diagrama que ilustra um exemplo de um aspecto no qual o view_idc é sinalizado. Da forma ilustrada na figura 66, em um caso em que uma íntegra da figura lado a lado 541 for dividida em subfiguras, tais como uma subfigura 542 e uma subfigura 543, view_idc=3 é definido para cada uma das subfiguras.

[00431] Ao contrário, em um caso em que a íntegra da figura 541 for dividida em subfiguras, tais como uma subfigura 544 e uma subfigura 545, view_idc=1 é definido para a subfigura 544, e view_idc=2 é definido para a

85 / 116 subfigura 545.

[00432] Note que, até mesmo em um caso em que a figura armazenada na trilha não for uma subfigura, os tipos supradescritos de informação adicional podem ser aplicados.

[00433] Similarmente, a Caixa de Empacotamento Região a Região e a estrutura da Região Projetada Rect definidas na primeira modalidade podem ser estendidas para sinalizar a informação de visualização. <5. Quarta Modalidade> <Sinalização, no Arquivo MPD, da Informação estéreo em relação à íntegra da figura a ser dividida em subfiguras>

[00434] A informação estéreo em relação à íntegra da figura a ser dividida em subfiguras da forma supradescrita pode ser sinalizada no arquivo MPD. Em outras palavras, para habilitar o cliente a selecionar e reproduzir, de acordo com a capacidade do cliente, por exemplo, o Conjunto de Adaptação que referencia a subfigura, no arquivo MPD, a informação estéreo em relação à íntegra da figura a ser dividida em subfiguras pode ser inovadoramente definida e sinalizada no Conjunto de Adaptação.

[00435] Em outras palavras, pode ser gerado um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada e que inclui a informação estéreo que inclui a informação relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[00436] Por exemplo, no aparelho de geração de arquivo 100 usado como um aparelho de processamento de informação, a seção de geração do arquivo MPD 113 pode funcionar como uma seção de geração de arquivo que gera um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma da pluralidade de subfiguras

86 / 116 nas quais a íntegra da figura é dividida e que é, então, codificada, e incluindo a informação estéreo que inclui a informação relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho de geração de arquivo 100) pode incluir uma seção de geração de arquivo (por exemplo, a seção de geração do arquivo MPD 113).

[00437] Isto permite que o cliente selecione mais facilmente um fluxo contínuo com base na informação, como exposto.

[00438] Adicionalmente, a figura supradescrita (Íntegra da figura) pode ser a íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, em um caso em que o aparelho de geração de arquivo 100 usar a íntegra ou uma parte da imagem de plano projetado como a íntegra de uma figura e dividir a íntegra da figura em subfiguras, a presente técnica pode ser aplicada como exposto.

[00439] Isto permite que o cliente selecione mais facilmente um fluxo contínuo com base na informação, como exposto, até mesmo em um caso em que um vídeo onidirecional for distribuído.

[00440] Note que a informação relacionada à região (informação da região de exibição) pode ser incluída no arquivo MPD como a informação para cada subfigura. Isto permite que o cliente aprenda facilmente qual parte da íntegra da figura corresponde à subfigura, simplesmente pela referência à informação em relação à subfigura referenciada pelo Conjunto de Adaptação. <Procedimento de Processamento de carregamento>

[00441] Um exemplo do procedimento de processamento de carregamento executado pelo aparelho de geração de arquivo 100 na figura 11 no caso supradescrito será descrito em relação a um fluxograma na figura 67.

87 / 116

[00442] Quando o processamento de carregamento for iniciado, a seção da entrada de dados 111 do aparelho de geração de arquivo 100 adquire uma imagem e os metadados na etapa S401.

[00443] Na etapa S402, a seção de geração do arquivo de segmento 123 gera um arquivo de segmento para a imagem.

[00444] Na etapa S403, a seção de geração do arquivo MPD 113 gera, como a informação para cada subfigura, um arquivo MPD que inclui a informação estéreo em relação à íntegra da figura (figura projetada).

[00445] Na etapa S404, o arquivo de segmento gerado pelo processamento na etapa S402 é gravado na seção de gravação 114. Adicionalmente, o arquivo MPD gerado pelo processamento na etapa S403 é gravado na seção de gravação 114.

[00446] Na etapa S405, a seção de carregamento 115 lê, a partir da seção de gravação 114, o arquivo de segmento gravado na etapa S404, e carrega o arquivo de segmento para o servidor. Adicionalmente, a seção de carregamento 115 lê, a partir da seção de gravação 114, o arquivo MPD gravado na etapa S404, e carrega o arquivo MPD para o servidor.

[00447] Quando o processamento na etapa S404 terminar, o processamento de carregamento termina.

[00448] Pela execução do processamento de carregamento, como exposto, o aparelho de geração de arquivo 100 pode gerar um arquivo MPD que inclui, como a informação para cada subfigura, a informação estéreo em relação à íntegra da figura.

[00449] Desta maneira, com base na informação da região de exibição, o cliente pode selecionar e reproduzir mais facilmente, por exemplo, um fluxo contínuo apropriado correspondente à capacidade do aparelho cliente 200. <Utilização da informação estéreo em relação à íntegra da figura a ser dividida em subfiguras, a informação estéreo sendo sinalizada no arquivo MPD>

88 / 116

[00450] Adicionalmente, um fluxo contínuo pode ser selecionado utilizando a informação estéreo em relação à íntegra da figura a ser dividida em subfiguras, a informação estéreo sendo sinalizada no arquivo MPD.

[00451] Em outras palavras, pode ser adquirido um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada e que inclui a informação estéreo que inclui a informação relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem. Então, a seleção de um fluxo contínuo dos dados codificados da imagem pode ser realizada com base na informação estéreo incluída no arquivo de controle adquirido.

[00452] Por exemplo, no aparelho cliente 200 usado como um aparelho de processamento de informação, a seção de aquisição do arquivo MPD 212 pode funcionar como uma seção de aquisição de arquivo que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma da pluralidade de subfiguras nas quais a íntegra da figura é dividida e que é, então, codificada, e que adquire um arquivo de controle usado para controlar a distribuição dos dados codificados da imagem e que inclui a informação estéreo que inclui a informação relacionada à exibição estéreo do conjunto de adaptação, e a seção de processamento do arquivo MPD 213 pode funcionar como uma seção de processamento de imagem que seleciona um fluxo contínuo dos dados codificados da imagem com base na informação estéreo incluída no arquivo de controle adquirido. Em outras palavras, o aparelho de processamento de informação (por exemplo, o aparelho cliente 200) pode incluir uma seção de aquisição de arquivo (por exemplo, a seção de aquisição do arquivo MPD 212) e uma seção de processamento de imagem (por exemplo, a seção de processamento do arquivo MPD 213).

[00453] Isto permite que o aparelho cliente 200 selecione mais

89 / 116 facilmente um fluxo contínuo.

[00454] Note que a figura supradescrita (Íntegra da figura) pode ser a íntegra ou uma parte de um vídeo onidirecional (imagem de plano projetado resultante da projeção e do mapeamento de uma imagem que se estende através de 360 graus ao redor da direção horizontal e através de 180 graus ao redor da direção vertical). Em outras palavras, em um caso em que o aparelho cliente 200 usar a íntegra ou uma parte da imagem de plano projetado como a íntegra de uma figura, dividir a íntegra da figura em subfiguras para adquirir um fluxo contínuo das subfiguras e reproduzir o fluxo contínuo, a presente técnica pode ser aplicada como exposto.

[00455] Adicionalmente, a informação relacionada à região (informação da região de exibição) pode ser incluída no arquivo MPD como a informação para cada subfigura. Isto permite que o aparelho cliente 200 aprenda facilmente qual parte da íntegra da figura corresponde à subfigura, simplesmente pela referência à informação em relação à subfigura referenciada pelo Conjunto de Adaptação. <Procedimento do processamento de reprodução do conteúdo>

[00456] Um exemplo do procedimento do processamento de reprodução do conteúdo executado pelo aparelho cliente 200 no caso supradescrito será descrito em relação a um fluxograma na figura 68.

[00457] Quando o processamento de reprodução do conteúdo for iniciado, a seção de aquisição do arquivo MPD 212 do aparelho cliente 200 adquire um arquivo MPD que inclui a informação estéreo em relação à íntegra da figura (figura projetada) como a informação para cada subfigura na etapa S421.

[00458] Na etapa S422, a seção de controle de exibição 215 adquire um resultado de medição para a posição do ponto de visualização (e a direção da linha de visão) a partir do usuário.

[00459] Na etapa S423, a seção de medição 211 mede a largura de

90 / 116 banda de transmissão da rede entre o servidor e o aparelho cliente 200.

[00460] Na etapa S424, a seção de processamento do arquivo MPD 213 determina se o aparelho cliente 200 realiza ou não a reprodução estéreo (ou se o aparelho cliente 200 tem ou não a capacidade de realizar a reprodução estéreo). Em um caso em que for determinado que o aparelho cliente 200 realiza a reprodução estéreo (ou tem a capacidade de realizar a reprodução estéreo), o processamento prossegue para a etapa S425.

[00461] Na etapa S425, a seção de processamento do arquivo MPD 213 define os Conjuntos de Adaptação que referenciam as subfiguras exibíveis em estéreo como candidatos a seleção. Neste momento, pela referência à informação estéreo em relação à íntegra da figura incluída no arquivo MPD adquirido na etapa S421, a seção de processamento do arquivo MPD 213 pode incluir, nos candidatos a seleção, as subfiguras exibíveis em estéreo dos Conjuntos de Adaptação nos quais o arranjo do empacotamento de quadro no segundo padrão não é aplicado (por exemplo, a subfigura 445 e a subfigura 446 na figura 49). Quando o processamento na etapa S425 terminar, o processamento prossegue para a etapa S427.

[00462] Adicionalmente, na etapa S424, em um caso em que for determinado que o aparelho cliente 200 não realiza a reprodução estéreo (ou determinado que não tem a função de reprodução estéreo), o processamento prossegue para a etapa S426.

[00463] Na etapa S426, a seção de processamento do arquivo MPD 213 define os Conjuntos de Adaptação que referenciam as subfiguras que incluem as figuras mono como candidatos a seleção com base, por exemplo, na informação estéreo em relação à íntegra da figura incluída no arquivo MPD adquirido na etapa S421. Neste momento, pela referência à informação estéreo em relação à íntegra da figura incluída no arquivo MPD adquirido na etapa S421, a seção de processamento do arquivo MPD 213 pode aprender que a subfigura no terceiro padrão (por exemplo, a subfigura 452 ou a

91 / 116 subfigura 453 na figura 50) exige escala ascendente dupla na direção horizontal durante a renderização. Quando o processamento na etapa S426 terminar, o processamento prossegue para a etapa S427.

[00464] Na etapa S427, a seção de processamento do arquivo MPD 213 seleciona o Conjunto de Adaptação que referencia a subfigura correspondente ao campo de visualização do usuário do aparelho cliente 200 a partir dos candidatos definidos na etapa S425 ou na etapa S426.

[00465] Na etapa S428, a seção de processamento do arquivo MPD 213 seleciona, a partir do Conjunto de Adaptação selecionado na etapa S424, a Representação correspondente à posição do ponto de visualização e à direção da linha de visão do usuário, a largura de banda de transmissão da rede entre o cliente e o servidor ou congêneres.

[00466] Na etapa S429, a seção de aquisição do arquivo de segmento 214 adquire o arquivo de segmento correspondente à Representação selecionada na etapa S428.

[00467] Na etapa S430, a seção de processamento do arquivo de segmento 221 extrai os dados codificados a partir do arquivo de segmento adquirido na etapa S429.

[00468] Na etapa S431, a seção de decodificação 222 decodifica os dados codificados do fluxo contínuo extraído na etapa S430.

[00469] Na etapa S432, a seção de geração da informação de exibição 223 reproduz o fluxo contínuo (conteúdo) resultante da decodificação na etapa S431. Mais especificamente, a seção de geração da informação de exibição 223 gera os dados de uma imagem de exibição a partir do fluxo contínuo e alimenta os dados da imagem de exibição para a seção de exibição 217 para fazer com que a seção de exibição 217 exiba a imagem de exibição.

[00470] Quando o processamento na etapa S432 terminar, o processamento de reprodução do conteúdo termina.

[00471] Pela execução do processamento de reprodução do conteúdo

92 / 116 como exposto, o aparelho cliente 200 pode selecionar mais facilmente um fluxo contínuo utilizando a informação em relação às regiões de exibição das subfiguras incluídas no arquivo MPD. Por exemplo, com base na informação, o aparelho cliente 200 pode selecionar e reproduzir mais facilmente o fluxo contínuo apropriado correspondente, por exemplo, à capacidade do aparelho cliente 200. <Detalhes de Sinalização da Informação Estéreo em Arquivo MPD>

[00472] Por exemplo, o descritor da informação de cobertura 2D pode ser estendido para sinalizar o campo stereo_presentation_suitable e a informação de visualização da forma descrita na terceira modalidade.

[00473] Em outras palavras, o arquivo MPD pode incluir adicionalmente a informação de visualização que indica o tipo de visualização da subfigura.

[00474] Adicionalmente, a informação de visualização pode ser a informação para cada uma das regiões incluídas na subfigura.

[00475] Além do mais, o arquivo MPD pode incluir adicionalmente a informação que indica se a informação de visualização está presente para cada região.

[00476] Um valor de atributo 551 na figura 69 e um valor de atributo 552 na figura 70 representam os exemplos do valor de atributo do descritor da informação de cobertura 2D estendido. Da forma ilustrada no valor de atributo 551 e no valor de atributo 552, o twoDCoverage é um elemento de contêiner com um tipo de dados omaf:twoDCoverageType. O twoDCoverage@stereo_presentation_suitable tem um tipo de dados omaf:StereoPresentationType e indica se o Conjunto de Adaptação é exibível em estéreo. Por exemplo, este valor de atributo sendo 0 indica que a figura referenciada pelo Conjunto de Adaptação é mono ou não é exibível em estéreo. Adicionalmente, este valor de atributo sendo 1 indica que algumas das regiões da figura referenciada pelo Conjunto de Adaptação são exibíveis

93 / 116 em estéreo. Além do mais, este valor de atributo sendo 2 indica que todas as regiões da figura são exibíveis em estéreo.

[00477] O twoDCoverage@view_idc_presence_flag tem um tipo de dados xs:booleano e indica se um view_idc separado está presente ou não em cada região. Por exemplo, este valor de atributo sendo 0 indica que nenhum view_idc separado está presente em cada região. Adicionalmente, este valor de atributo sendo 1 indica que um view_idc separado está presente em cada região. O twoDCoverage@default_view_idc tem um tipo de dados omaf:ViewType e indica uma visualização comum a todas as regiões. Por exemplo, este valor de atributo sendo 0 indica uma visualização mono, este valor de atributo sendo 1 indica uma visualização Esquerda, este valor de atributo sendo 2 indica uma visualização Direita, e este valor de atributo sendo 3 indica uma visualização estéreo. Note que este atributo está inevitavelmente presente quando twoDCoverage@view_idc_presence_flag=0. Adicionalmente, este atributo é inibido de estar presente quando twoDCoverage@view_idc_presence_flag=1.

[00478] O twoDCoverage@proj_picture_width tem um tipo de dados xs:unsignedInt e indica a largura da figura projetada. O twoDCoverage@proj_picture_height tem um tipo de dados xs:unsignedInt e indica a altura da figura projetada. O twoDCoverage.twoDCoverageInfo é um elemento com um tipo de dados omaf:twoDCoverageInfoType e que indica a informação da região em relação às regiões na figura projetada. Uma pluralidade dos sinais pode ser sinalizada.

[00479] O twoDCoverage.twoDCoverageInfo@view_idc tem um tipo de dados omaf:ViewType e indica uma visualização para cada região. Por exemplo, este valor de atributo sendo 0 indica uma visualização mono, este valor de atributo sendo 1 indica uma visualização Esquerda, este valor de atributo sendo 2 indica uma visualização Direita, e este valor de atributo sendo 3 indica uma visualização estéreo. Note que este atributo é inibido de

94 / 116 estar presente quando twoDCoverage@view_idc_presence_flag=0. Adicionalmente, este atributo está inevitavelmente presente quando twoDCoverage@view_idc_presence_flag=1.

[00480] O twoDCoverage.twoDCoverageInfo@proj_reg_width tem um tipo de dados xs:unsignedInt e indica a largura da região na figura projetada correspondente à figura referenciada pelo Conjunto de Adaptação. O twoDCoverage.twoDCoverageInfo@proj_reg_height tem um tipo de dados xs:unsignedInt e indica a altura da região na figura projetada correspondente à figura referenciada pelo Conjunto de Adaptação.

[00481] O twoDCoverage.twoDCoverageInfo@proj_reg_top tem um tipo de dados xs:unsignedInt e indica a coordenada vertical da região na figura projetada correspondente à figura referenciada pelo Conjunto de Adaptação. O twoDCoverage.twoDCoverageInfo@proj_reg_left tem um tipo de dados xs:unsignedInt e indica a coordenada da região horizontal na figura projetada correspondente à figura referenciada pelo Conjunto de Adaptação.

[00482] Um tipo de dados 553 na figura 71 indica os exemplos de definições dos tipos de dados neste caso.

[00483] Note que o descritor de empacotamento região a região estendido e os descritores da cobertura de conteúdo descritos na segunda modalidade podem ser adicionalmente estendidos para sinalizar o stereo_presentation_suitable e a informação de visualização. Adicionalmente, qualquer outro descritor pode ser usado para sinalizar estes tipos de informação. <6. Recurso Complementar> <Computador>

[00484] Pode-se fazer com que a supradescrita série de etapas de processamento seja executada por hardware ou por software. Em um caso em que a série de etapas de processamento for executada por software, um programa incluído no software é instalado em um computador. Aqui, o

95 / 116 computador inclui um computador integrado em hardware dedicado ou, por exemplo, um computador pessoal de propósito geral que pode executar várias funções pela instalação dos vários programas.

[00485] A figura 72 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um computador que executa a supradescrita série de etapas de processamento de acordo com um programa.

[00486] Em um computador 900 ilustrado na figura 72, uma CPU (unidade de processamento central) 901, uma ROM (memória exclusiva de leitura) 902, uma RAM (memória de acesso aleatório) 903, e um barramento 904 são conectados em conjunto.

[00487] O barramento 904 também conecta em uma interface I/O 910. A interface I/O 910 conecta em uma seção de entrada 911, uma seção de saída 912, uma seção de armazenamento 913, uma seção de comunicação 914, e uma unidade 915.

[00488] A seção de entrada 911 inclui, por exemplo, um teclado, um mouse, um microfone, um painel sensível ao toque, e um terminal de entrada. A seção de saída 912 inclui, por exemplo, um visor, um alto-falante e um terminal de saída. A seção de armazenamento 913 inclui, por exemplo, um disco rígido, um disco de RAM, e uma memória não volátil. A seção de comunicação 914 inclui, por exemplo, uma interface de rede. A unidade 915 aciona uma mídia removível 921, tais como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora.

[00489] No computador configurado como exposto, a CPU 901, por exemplo, carrega um programa, armazenado na seção de armazenamento 913, na RAM 903 por meio da interface I/O 910 e do barramento 904, e executa o programa para realizar a supradescrita série de etapas de processamento. A RAM 903 também armazena apropriadamente, por exemplo, os dados exigidos para executar várias etapas de processamento que são executadas pela CPU 901.

96 / 116

[00490] O programa executado pelo computador (CPU 901) pode ser, por exemplo, gravado na mídia removível 921 usada como um pacote de mídia para aplicação. Neste caso, a mídia removível 921 é montada na unidade 915 para permitir que o programa seja instalado na seção de armazenamento 913 por meio da interface I/O 910.

[00491] Adicionalmente, o programa pode ser provido por meio de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet ou difusão por satélite digital. Neste caso, o programa pode ser recebido pela seção de comunicação 914 e instalado na seção de armazenamento 913.

[00492] Caso contrário, o programa pode ser armazenado na ROM 902 ou na seção de armazenamento 913 em antecipação. <Objetos nos quais a presente técnica é aplicada>

[00493] Foram descritos os casos nos quais a presente técnica é aplicada no arquivo ISOBMFF ou no arquivo MPD. Entretanto, a presente técnica não é limitada a estes exemplos e pode ser aplicada em um arquivo que se conforma com qualquer padrão e usado para distribuir um fluxo contínuo de imagens planas projetadas com imagens com estrutura tridimensional mapeadas para um único plano. Em outras palavras, as especificações para vários tipos de processamento, tais como controle de distribuição, formato de arquivo e um esquema de codificação e de decodificação, são opcionais a menos que as especificações sejam inconsistentes com a presente técnica. Adicionalmente, algumas das etapas de processamento supradescritas e das especificações supradescritas podem ser omitidas a menos que a omissão seja inconsistente com a presente técnica.

[00494] Além do mais, o aparelho de geração de arquivo 100 e o aparelho cliente 200 foram supradescritos como exemplos de aplicação da presente técnica. Entretanto, a presente técnica pode ser aplicada em qualquer configuração.

97 / 116

[00495] Por exemplo, a presente técnica pode ser aplicada em vários tipos de equipamento eletrônico, tais como transmissores e receptores (por exemplo, receptores de televisão e telefones celulares) para difusão via satélite, difusão com fios, tal como TV a cabo, distribuição na Internet, e distribuição para terminais por comunicação celular, ou aparelhos que gravam imagens em mídia, tais como um disco óptico, um disco magnético e uma memória flash, e que reproduzem as imagens da mídia de armazenamento (por exemplo, gravadores de disco rígido e câmeras).

[00496] Adicionalmente, por exemplo, a presente técnica pode ser implementada como uma configuração parcial do aparelho, tais como os processadores usados como sistema LSI (Integração em Larga Escala) (por exemplo, processadores de vídeo), um módulo que usa uma pluralidade de processadores ou congêneres (por exemplo, um módulo de vídeo), uma unidade que usa uma pluralidade de módulos ou congêneres (por exemplo, uma unidade de vídeo), ou um conjunto que inclui a unidade na qual qualquer outra função é adicionada (por exemplo, um aparelho de vídeo).

[00497] Adicionalmente, por exemplo, a presente técnica pode ser aplicada em um sistema em rede que inclui uma pluralidade de aparelhos. Por exemplo, a presente técnica pode ser implementada como computação em nuvem na qual uma pluralidade de aparelhos compartilham e executam conjuntamente o processamento por meio de uma rede. Por exemplo, a presente técnica pode ser implementada em um serviço em nuvem no qual os serviços relacionados a imagens (imagens em movimento) são providos para quaisquer terminais, por exemplo, computadores, equipamento AV (audiovisual), assistentes pessoais digitais, dispositivos IoT (Internet das Coisas).

[00498] Note que o sistema aqui usado significa um conjunto de uma pluralidade de componentes (aparelhos, módulos (partes), e congêneres) independente se todos os componentes estão presentes ou não no mesmo

98 / 116 alojamento. Desta maneira, uma pluralidade de aparelhos alojados em alojamentos separados e conectados em conjunto por meio de uma rede e um aparelho que inclui uma pluralidade de módulos alojados em um alojamento são, cada qual, um sistema. <Campos e Propósitos nos quais a Presente Técnica é Aplicável>

[00499] Um sistema, um aparelho, uma seção de processamento e congêneres nos quais a presente técnica é aplicada podem ser utilizados para quaisquer campos, por exemplo, transporte, cuidados médicos, prevenção criminal, agricultura, indústria de zootecnia, mineração, cosméticos, fábricas, utensílios domésticos, meteorologia, e vigilância natural. Adicionalmente, o sistema, o aparelho, a seção de processamento e congêneres podem ser usados para quaisquer propósitos.

[00500] Por exemplo, a presente técnica pode ser aplicada em sistemas e dispositivos usados para prover visualização e audição de conteúdo e congêneres. Adicionalmente, por exemplo, a presente técnica pode ser aplicada em sistemas e dispositivos usados com os propósitos de transporte, tais como monitoramento de condições de tráfego e controle automático de operação. Além do mais, por exemplo, a presente técnica pode ser aplicada em sistemas e dispositivos usados com os propósitos de segurança. Adicionalmente, por exemplo, a presente técnica pode ser aplicada em sistemas e dispositivos usados com os propósitos de controle automático de máquinas ou congêneres. Além do mais, por exemplo, a presente técnica pode ser aplicada em sistemas e dispositivos usados com os propósitos de agricultura e indústria de zootecnia. Adicionalmente, a presente técnica pode ser aplicada em sistemas e dispositivos que monitoram o estado da natureza, tais como vulcões, florestas, e oceanos, e vida selvagem e congêneres. Além do mais, por exemplo, a presente técnica pode ser aplicada em sistemas e dispositivos usados com os propósitos de esportes. <Outros Recursos>

99 / 116

[00501] Note que o “indicador” da forma aqui usada se refere à informação usada para identificar uma pluralidade de estados, e inclui não apenas a informação usada para identificar dois estados de verdadeiro (1) ou falso (0), mas, também, a informação que habilita que três ou mais estados sejam identificados. Desta maneira, o “indicador” pode tomar, por exemplo, dois valores de 1/0 ou três ou mais valores. Em outras palavras, o número de bits incluídos no “indicador” é opcional e pode ser um ou mais. Adicionalmente, considera-se que a informação de identificação (incluindo o indicador) não seja apenas em uma forma na qual a informação de identificação é incluída em um fluxo contínuo de bits, mas, também, em uma forma na qual a informação de diferença em relação a uma diferença da informação de identificação a partir de certa informação de referência é incluída no fluxo contínuo de bits. Assim, o “indicador” e a “informação de identificação”, da forma aqui usada, incluem não apenas a informação, mas, também, a informação de diferença em relação à diferença da informação de referência.

[00502] Adicionalmente, vários tipos de informação (metadados e congêneres) relacionados a dados codificados (fluxo contínuo de bits) podem ser transmitidos ou gravados em qualquer forma desde que a informação seja associada com os dados codificados. O termo “associado”, da forma aqui usada, significa que, por exemplo, quando os dados forem processados, os outros dados são feitos disponíveis (feitos ligáveis). Em outras palavras, os dados associados uns com os outros podem ser integrados em uns dados ou usados como dados separados. Por exemplo, a informação associada com os dados codificados (imagem) pode ser transmitida em uma linha de transmissão diferente da linha de transmissão na qual os dados codificados (imagem) são transmitidos. Adicionalmente, a informação associada com os dados codificados (imagem) pode ser gravada em uma mídia de gravação diferente da mídia de gravação na qual os dados codificados (imagem) são

100 / 116 gravados (ou em uma área de gravação da mesma mídia de gravação que é diferente da área de gravação na qual os dados codificados (imagem) são gravados). Note que a “associação” pode corresponder a uma parte dos dados em vez da íntegra dos dados. Por exemplo, uma imagem pode ser associada com a informação correspondente à imagem em quaisquer unidades, tais como uma pluralidade de quadros, um quadro ou uma parte no quadro.

[00503] Note que os termos “sintetiza”, “multiplexa”, “adiciona”, “integra”, “inclui”, “armazena”, “coloca em”, “pluga em”, e “insere”, da forma aqui usada, significa a integração de uma pluralidade de objetos em um, por exemplo, a integração dos dados codificados e dos metadados em uns dados, e significa um método para a “associação” supradescrita.

[00504] Adicionalmente, as modalidades da presente técnica não são limitadas às modalidades supradescritas, e várias mudanças podem ser feitas nas modalidades sem fugir dos espíritos da presente técnica.

[00505] Por exemplo, a configuração descrita como um aparelho (ou uma seção de processamento) pode ser dividida em uma pluralidade de aparelhos (ou uma pluralidade de seções de processamento). Ao contrário, a configuração descrita como uma pluralidade de aparelhos (uma pluralidade de seções de processamento) pode ser integrada em um aparelho (ou uma seção de processamento). Adicionalmente, na configuração de cada aparelho (ou cada seção de processamento), uma configuração diferente das supradescritas configurações pode ser obviamente adicionada. Além do mais, uma parte da configuração de um aparelho (ou uma seção de processamento) pode ser incluída na configuração de um outro aparelho (ou uma outra seção de processamento) desde que a configuração e a operação do sistema como um todo permaneçam substancialmente as mesmas.

[00506] Adicionalmente, por exemplo, o supradescrito programa pode ser executado em qualquer aparelho. Neste caso, é suficiente que o aparelho inclua as funções exigidas (blocos funcionais e congêneres) e possa obter a

101 / 116 informação exigida.

[00507] Adicionalmente, por exemplo, cada uma das etapas em um fluxograma pode ser executada por um aparelho ou compartilhada por uma pluralidade de aparelhos. Além do mais, em um caso em que uma etapa incluir uma pluralidade de processos, a pluralidade de processos pode ser executada por um aparelho ou compartilhada por uma pluralidade de aparelhos. Em outras palavras, uma pluralidade de processos incluídos em uma etapa pode ser executada como uma pluralidade de etapas de processamento. Ao contrário, o processamento descrito como uma pluralidade de etapas pode ser integrado em uma etapa para execução.

[00508] Adicionalmente, por exemplo, o programa executado pelo computador pode ser configurado, de maneira tal que as etapas de processamento que descrevem o programa sejam cronologicamente executadas ao longo da ordem aqui descrita ou em paralelo ou individualmente em temporizações exigidas, tais como temporizações quando o processamento for invocado. Em outras palavras, as etapas de processamento podem ser executadas em uma ordem diferente da ordem supradescrita. Além do mais, as etapas de processamento que descrevem o programa podem ser executadas em paralelo com ou em combinação com o processamento de um outro programa.

[00509] Adicionalmente, por exemplo, uma pluralidade de técnicas relacionadas à presente técnica pode ser implementada independentemente e exclusivamente a menos que a implementação seja inconsistente com a presente técnica. Qualquer pluralidade das presentes técnicas pode ser obviamente implementada em conjunto. Por exemplo, uma parte da ou toda a presente técnica descrita em qualquer uma das modalidades pode ser implementada em combinação com uma parte da ou toda a presente técnica descrita em uma outra modalidade. Adicionalmente, uma parte de ou todas de qualquer uma das presentes técnicas supradescritas podem ser implementadas

102 / 116 juntamente com uma outra técnica não supradescrita.

[00510] Note que a presente técnica pode tomar a seguinte configuração.

[00511] (1) Um aparelho de processamento de informação, que inclui: uma seção de geração de arquivo configurada para gerar um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra de uma figura correspondente a uma subfigura armazenada como a informação diferente da informação de arranjo para cada uma das regiões da figura e incluindo adicionalmente os dados codificados da imagem resultantes da codificação da subfigura.

[00512] (2) O aparelho de processamento de informação, de acordo com (1), em que a figura inclui um vídeo onidirecional.

[00513] (3) O aparelho de processamento de informação, de acordo com (1) ou (2), em que a informação relacionada à região é incluída no arquivo como a informação para cada uma das subfiguras.

[00514] (4) O aparelho de processamento de informação, de acordo com (3), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), a informação de arranjo para cada uma das regiões da figura inclui a informação sinalizada na Caixa de Empacotamento Região a Região, e a informação relacionada à região é armazenada na Caixa da Informação do Esquema no arquivo ISOBMFF que é diferente da Caixa de Empacotamento Região a Região ou na Caixa que é diferente da Caixa de Empacotamento Região a Região e que fica localizada em uma camada abaixo da Caixa da Informação do Esquema.

103 / 116

[00515] (5) O aparelho de processamento de informação, de acordo com (3), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada na Caixa da Informação de Cobertura que indica uma região de exibição de uma trilha em uma superfície esférica.

[00516] (6) O aparelho de processamento de informação, de acordo com qualquer um de (1) a (5), em que a informação relacionada à região varia dinamicamente em um fluxo contínuo.

[00517] (7) O aparelho de processamento de informação, de acordo com (6), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada em uma mensagem da informação de Intensificação Complementar.

[00518] (8) O aparelho de processamento de informação, de acordo com (6), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada em metadados temporizados.

[00519] (9) O aparelho de processamento de informação, de acordo com (6), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada na Entrada do Grupo de Amostra.

104 / 116

[00520] (10) Um método de processamento de informação, que inclui: gerar um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra de uma figura correspondente a uma subfigura armazenada como a informação diferente da informação de arranjo para cada uma das regiões da figura e incluindo adicionalmente os dados codificados da imagem resultantes da codificação da subfigura.

[00521] (11) Um aparelho de processamento de informação, que inclui: uma seção de aquisição de arquivo configurada para adquirir um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra de uma figura correspondente a uma subfigura armazenada como a informação diferente da informação de arranjo para cada uma das regiões da figura e incluindo adicionalmente os dados codificados da imagem resultantes da codificação da subfigura; e uma seção de processamento de imagem configurada para selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo adquirido pela seção de aquisição de arquivo.

[00522] (12) O aparelho de processamento de informação, de acordo com (11), em que a figura inclui um vídeo onidirecional.

[00523] (13) O aparelho de processamento de informação, de acordo com (11) ou (12), em que a informação relacionada à região é incluída no arquivo como a informação para cada uma das subfiguras.

[00524] (14) O aparelho de processamento de informação, de acordo com (13), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada na Caixa da

105 / 116 Informação do Esquema no arquivo ISOBMFF ou na Caixa em uma camada abaixo da Caixa da Informação do Esquema.

[00525] (15) O aparelho de processamento de informação, de acordo com (13), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada na Caixa da Informação de Cobertura que indica uma região de exibição de uma trilha em uma superfície esférica.

[00526] (16) O aparelho de processamento de informação, de acordo com qualquer um de (11) a (15), em que a informação relacionada à região varia dinamicamente em um fluxo contínuo.

[00527] (17) O aparelho de processamento de informação, de acordo com (16), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada em uma mensagem da informação de Intensificação Complementar.

[00528] (18) O aparelho de processamento de informação, de acordo com (16), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação relacionada à região é armazenada em metadados Temporizados.

[00529] (19) O aparelho de processamento de informação, de acordo com (16), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e

106 / 116 a informação relacionada à região é armazenada na Entrada do Grupo de Amostra.

[00530] (20) Um método de processamento de informação, que inclui: adquirir um arquivo que inclui a informação relacionada à região relacionada a uma região na íntegra de uma figura correspondente a uma subfigura armazenada como a informação diferente da informação de arranjo para cada uma das regiões da figura e incluindo adicionalmente os dados codificados da imagem resultantes da codificação da subfigura; e selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo adquirido.

[00531] (21) Um aparelho de processamento de informação, que inclui: uma seção de geração de arquivo configurada para gerar um arquivo que armazena, em cada trilha, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura.

[00532] (22) O aparelho de processamento de informação, de acordo com (21), em que a figura inclui um vídeo onidirecional.

[00533] (23) O aparelho de processamento de informação, de acordo com (21) ou (22), em que a informação estéreo é incluída no arquivo como a informação para cada uma das subfiguras.

[00534] (24) O aparelho de processamento de informação, de acordo com (23), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação estéreo é armazenada na Caixa da Informação do

107 / 116 Esquema no arquivo ISOBMFF ou na Caixa em uma camada abaixo da Caixa da Informação do Esquema.

[00535] (25) O aparelho de processamento de informação, de acordo com qualquer um de (21) a (24), em que o arquivo inclui adicionalmente a informação relacionada a um tamanho de exibição da subfigura.

[00536] (26) O aparelho de processamento de informação, de acordo com qualquer um de (21) a (25), em que o arquivo inclui adicionalmente a informação subestéreo que inclui a informação relacionada à exibição estéreo de cada uma das subfiguras.

[00537] (27) O aparelho de processamento de informação, de acordo com qualquer um de (21) a (26), em que o arquivo inclui adicionalmente a informação de visualização que indica um tipo de visualização da subfigura.

[00538] (28) O aparelho de processamento de informação, de acordo com (27), em que a informação de visualização inclui a informação para cada uma das regiões incluídas na subfigura.

[00539] (29) O aparelho de processamento de informação, de acordo com (28), em que o arquivo inclui adicionalmente a informação que indica se a informação de visualização está presente em cada uma das regiões.

[00540] (30) Um método de processamento de informação, que inclui: gerar um arquivo que armazena, em cada trilha, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura.

108 / 116

[00541] (31) Um aparelho de processamento de informação, que inclui: uma seção de aquisição de arquivo configurada para adquirir um arquivo que armazena, em cada trilha, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura; e uma seção de processamento de imagem configurada para selecionar um fluxo contínuo dos dados codificados da imagem com base na informação estéreo incluída no arquivo adquirido pela seção de aquisição de arquivo.

[00542] (32) O aparelho de processamento de informação, de acordo com (31), em que a figura inclui um vídeo onidirecional.

[00543] (33) O aparelho de processamento de informação, de acordo com (31) ou (32), em que a informação estéreo é incluída no arquivo como a informação para cada uma das subfiguras.

[00544] (34) O aparelho de processamento de informação, de acordo com (33), em que o arquivo inclui um arquivo ISOBMFF (Formato de Arquivo de Mídia Base da Organização Internacional para Padronização), e a informação estéreo é armazenada na Caixa da Informação do Esquema no arquivo ISOBMFF ou na Caixa em uma camada abaixo da Caixa da Informação do Esquema.

[00545] (35) O aparelho de processamento de informação, de acordo com qualquer um de (31) a (34), em que o arquivo inclui adicionalmente a informação relacionada a um tamanho de exibição da subfigura.

[00546] (36) O aparelho de processamento de informação, de acordo

109 / 116 com qualquer um de (31) a (35), em que o arquivo inclui adicionalmente a informação subestéreo que inclui a informação relacionada à exibição estéreo de cada uma das subfiguras.

[00547] (37) O aparelho de processamento de informação, de acordo com qualquer um de (31) a (36), em que o arquivo inclui adicionalmente a informação de visualização que indica um tipo de visualização da subfigura.

[00548] (38) O aparelho de processamento de informação, de acordo com (37), em que a informação de visualização inclui a informação para cada uma das regiões incluídas na subfigura.

[00549] (39) O aparelho de processamento de informação, de acordo com (38), em que o arquivo inclui adicionalmente a informação que indica se a informação de visualização está presente em cada uma das regiões.

[00550] (40) Um método de processamento de informação, que inclui: adquirir um arquivo que armazena, em cada trilha, os dados de imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo que inclui a informação relacionada à exibição estéreo da íntegra da figura; e selecionar um fluxo contínuo dos dados codificados da imagem com base na informação estéreo incluída no arquivo adquirido.

[00551] (41) Um aparelho de processamento de informação, que inclui: uma seção de geração de arquivo configurada para gerar um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à

110 / 116 região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[00552] (42) O aparelho de processamento de informação, de acordo com (41), em que a figura inclui um vídeo onidirecional.

[00553] (43) O aparelho de processamento de informação, de acordo com (41) ou (42), em que a informação relacionada à região é incluída no arquivo de controle como a informação para cada uma das subfiguras.

[00554] (44) O aparelho de processamento de informação, de acordo com (43), em que o arquivo de controle inclui um arquivo MPD (Descrição de Apresentação de Mídia), os dados codificados da imagem para cada uma das subfiguras são gerenciados para cada conjunto de adaptação, a informação de arranjo para cada uma das regiões da figura é armazenada em um descritor de empacotamento região a região, e a informação relacionada à região é definida em Propriedade Complementar ou em Propriedade Essencial no arquivo MPD.

[00555] (45) O aparelho de processamento de informação, de acordo com (43), em que o arquivo de controle inclui um arquivo MPD (Descrição de Apresentação de Mídia), os dados codificados da imagem para cada uma das subfiguras são gerenciados para cada conjunto de adaptação, a informação de arranjo para cada uma das regiões da figura é armazenada em um descritor de empacotamento região a região, e

111 / 116 a informação relacionada à região é definida na descrição de cobertura do Conteúdo no arquivo MPD.

[00556] (46) Um método de processamento de informação, que inclui: gerar um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[00557] (51) Um aparelho de processamento de informação, que inclui: uma seção de aquisição de arquivo configurada para adquirir um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem; e uma seção de processamento de imagem configurada para selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido pela seção de aquisição de arquivo.

[00558] (52) O aparelho de processamento de informação, de acordo com (51), em que a figura inclui um vídeo onidirecional.

[00559] (53) O aparelho de processamento de informação, de acordo com (51) ou (52), em que a informação relacionada à região é incluída no arquivo de

112 / 116 controle como a informação para cada uma das subfiguras.

[00560] (54) O aparelho de processamento de informação, de acordo com (53), em que o arquivo de controle inclui um arquivo MPD (Descrição de Apresentação de Mídia), os dados codificados da imagem para cada uma das subfiguras são gerenciados para cada conjunto de adaptação, a informação de arranjo para cada uma das regiões da figura é armazenada em um descritor de empacotamento região a região, e a informação relacionada à região é definida em Propriedade Complementar ou em Propriedade Essencial no arquivo MPD.

[00561] (55) O aparelho de processamento de informação, de acordo com (53), em que o arquivo de controle inclui um arquivo MPD (Descrição de Apresentação de Mídia), os dados codificados da imagem para cada uma das subfiguras são gerenciados para cada conjunto de adaptação, a informação de arranjo para cada uma das regiões da figura é armazenada em um descritor de empacotamento região a região, e a informação relacionada à região é definida na descrição de cobertura do Conteúdo no arquivo MPD.

[00562] (56) Um método de processamento de informação, que inclui: adquirir um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem; e

113 / 116 selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido.

[00563] (61) Um aparelho de processamento de informação, que inclui: uma seção de geração de arquivo configurada para gerar um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[00564] (62) O aparelho de processamento de informação, de acordo com (61), em que a figura inclui um vídeo onidirecional.

[00565] (63) O aparelho de processamento de informação, de acordo com (61) ou (62), em que o arquivo de controle inclui adicionalmente a informação de visualização que indica um tipo de visualização da subfigura.

[00566] (64) O aparelho de processamento de informação, de acordo com (63), em que a informação de visualização inclui a informação para cada uma das regiões incluídas na subfigura.

[00567] (65) O aparelho de processamento de informação, de acordo com (63) ou (64), em que o arquivo de controle inclui adicionalmente a informação que indica se a informação de visualização está presente em cada uma das regiões.

[00568] (66) O aparelho de processamento de informação, de acordo com qualquer um de (63) a (65), em que o arquivo de controle inclui adicionalmente a informação que

114 / 116 indica se o conjunto de adaptação é exibível em estéreo.

[00569] (67) Um método de processamento de informação, que inclui: gerar um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

[00570] (71) Um aparelho de processamento de informação, que inclui: uma seção de aquisição de arquivo configurada para adquirir um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem; e uma seção de processamento de imagem configurada para selecionar um fluxo contínuo dos dados codificados da imagem com base na informação estéreo incluída no arquivo de controle adquirido pela seção de aquisição de arquivo.

[00571] (72) O aparelho de processamento de informação, de acordo com (71), em que a figura inclui um vídeo onidirecional.

[00572] (73) O aparelho de processamento de informação, de acordo com (71) ou (72), em que o arquivo de controle inclui adicionalmente a informação de visualização que indica um tipo de visualização da subfigura.

[00573] (74) O aparelho de processamento de informação, de acordo com (73), em que

115 / 116 a informação de visualização inclui a informação para cada uma das regiões incluídas na subfigura.

[00574] (75) O aparelho de processamento de informação, de acordo com (73) ou (74), em que o arquivo de controle inclui adicionalmente a informação que indica se a informação de visualização está presente em cada uma das regiões.

[00575] (76) O aparelho de processamento de informação, de acordo com qualquer um de (73) a (75), em que o arquivo de controle inclui adicionalmente a informação que indica se o conjunto de adaptação é exibível em estéreo.

[00576] (77) Um método de processamento de informação, que inclui: adquirir um arquivo de controle que gerencia, para cada conjunto de adaptação, os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação estéreo relacionada à exibição estéreo do conjunto de adaptação, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem; e selecionar um fluxo contínuo dos dados codificados da imagem com base na informação estéreo incluída no arquivo de controle adquirido. Lista dos Sinais de Referência

[00577] 100 Aparelho de geração de arquivo, 101 Seção de controle, 102 Memória, 103 Seção de geração de arquivo, 111 Seção de entrada de dados, 112 Seção de codificação e geração de dados, 113 Seção de geração do arquivo MPD, 114 Seção de armazenamento, 115 Seção de carregamento, 121 Seção de pré-processo, 122 Seção de codificação, 123 Seção de geração do arquivo de segmento, 200 Aparelho cliente, 201 Seção de controle, 202 Memória, 203 Seção de processamento de reprodução, 211 Seção de medição, 212 Seção de aquisição do arquivo MPD, 213 Seção de processamento do

116 / 116 arquivo MPD, 214 Seção de aquisição do arquivo de segmento, 215 Seção de controle de exibição, 216 Seção de análise e decodificação de dados, 217 Seção de exibição, 221 Seção de processamento do arquivo de segmento, 222 Seção de decodificação, 223 Seção de geração da informação de exibição, 900 Computador

Claims

REIVINDICAÇÕES

1. Aparelho de processamento de informação, caracterizado pelo fato de que compreende: uma seção de geração de arquivo configurada para gerar um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

2. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a íntegra da figura inclui um vídeo onidirecional.

3. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a informação relacionada à região é incluída no arquivo de controle como a informação para cada uma das subfiguras.

4. Aparelho de processamento de informação de acordo com a reivindicação 3, caracterizado pelo fato de que o arquivo de controle inclui um arquivo MPD (Descrição de Apresentação de Mídia), os dados codificados da imagem para cada uma das subfiguras são gerenciados para cada conjunto de adaptação, a informação de arranjo para cada uma das regiões da figura é armazenada em um descritor de empacotamento região a região, e a informação relacionada à região é definida em Propriedade Complementar ou em Propriedade Essencial no arquivo MPD.

5. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação estéreo que inclui a informação relacionada à exibição estéreo de um conjunto de adaptação.

6. Aparelho de processamento de informação de acordo com a reivindicação 5, caracterizado pelo fato de que a íntegra da figura inclui um vídeo onidirecional.

7. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação de visualização que indica um tipo de visualização da subfigura.

8. Aparelho de processamento de informação de acordo com a reivindicação 7, caracterizado pelo fato de que a informação de visualização inclui a informação para cada uma das regiões incluídas na subfigura.

9. Aparelho de processamento de informação de acordo com a reivindicação 8, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação que indica se a informação de visualização está presente para cada uma das regiões.

10. Aparelho de processamento de informação de acordo com a reivindicação 7, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação que indica se um conjunto de adaptação é exibível em estéreo.

11. Método de processamento de informação, caracterizado pelo fato de que compreende: gerar um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem.

12. Aparelho de processamento de informação, caracterizado pelo fato de que compreende: uma seção de aquisição de arquivo configurada para adquirir um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem; e uma seção de processamento de imagem configurada para selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido pela seção de aquisição de arquivo.

13. Aparelho de processamento de informação de acordo com a reivindicação 12, caracterizado pelo fato de que a íntegra da figura inclui um vídeo onidirecional.

14. Aparelho de processamento de informação de acordo com a reivindicação 12, caracterizado pelo fato de que a informação relacionada à região é incluída no arquivo de controle como a informação para cada uma das subfiguras.

15. Aparelho de processamento de informação de acordo com a reivindicação 14, caracterizado pelo fato de que o arquivo de controle inclui um arquivo MPD (Descrição de Apresentação de Mídia),

os dados codificados da imagem para cada uma das subfiguras são gerenciados para cada conjunto de adaptação, a informação de arranjo para cada uma das regiões da figura é armazenada em um descritor de empacotamento região a região, e a informação relacionada à região é definida em Propriedade Complementar ou em Propriedade Essencial no arquivo MPD.

16. Aparelho de processamento de informação de acordo com a reivindicação 12, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação estéreo que inclui a informação relacionada à exibição estéreo de um conjunto de adaptação.

17. Aparelho de processamento de informação de acordo com a reivindicação 16, caracterizado pelo fato de que a íntegra da figura inclui um vídeo onidirecional.

18. Aparelho de processamento de informação de acordo com a reivindicação 12, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação de visualização que indica um tipo de visualização da subfigura.

19. Aparelho de processamento de informação de acordo com qualquer uma da reivindicação 18, caracterizado pelo fato de que o arquivo de controle inclui adicionalmente a informação que indica se um conjunto de adaptação é exibível em estéreo.

20. Método de processamento de informação, caracterizado pelo fato de que compreende: adquirir um arquivo de controle que gerencia os dados codificados da imagem para cada uma de uma pluralidade de subfiguras nas quais a íntegra de uma figura é dividida e que é, então, codificada e incluindo a informação relacionada à região relacionada a uma região na íntegra da figura correspondente à subfigura como a informação diferente da informação de arranjo para cada uma das regiões da figura, o arquivo de controle sendo usado para controlar a distribuição dos dados codificados da imagem; e selecionar um fluxo contínuo dos dados codificados da imagem com base na informação relacionada à região incluída no arquivo de controle adquirido.

caixa de filme caixa de trilha

Petição 870200083126, de 03/07/2020, pág. 133/207 caixa de cabeçalho da trilha caixa de grupo da trilha caixa de composição de subfigura uso para agrupamento das trilhas de subfigura caixa de região da subfigura informação de divisão da subfigura caixa de empacotamento região a região informação de empacotamento região a região relacionada à íntegra da figura caixa de vídeo estéreo informação estereoscópica relacionada à íntegra da figura 1/74 caixa de mídia caixa de informação de mídia caixa da tabela de amostra caixa de descrição de amostra entrada de amostra restrita tipo de entrada da amostra caixa de informação do esquema restrito caixa de informação do esquema caixa de vídeo onidirecional projetado armazenar metadados relacionados ao vídeo onidirecional caixa de vídeo estéreo informação estereoscópica relacionada às subfiguras caixa amostra para grupo caixa de descrição do grupo de amostra

Petição 870200083126, de 03/07/2020, pág. 134/207 caixa de filme caixa de trilha caixa do cabeçalho da trilha caixa da mídia caixa da informação da mídia caixa da tabela da amostra caixa da descrição da amostra entrada da amostra restrita 2/74 tipo da entrada da amostra caixa da informação do esquema restrito caixa da informação do esquema caixa do vídeo onidirecional projetado armazenar metadados relacionados ao vídeo onidirecional caixa de empacotamento região a região informação de empacotamento região a região relacionada à íntegra da figura caixa de vídeo estéreo informação estereoscópica relacionada à íntegra da figura caixa amostra para grupo caixa da descrição do grupo de amostra

Petição 870200083126, de 03/07/2020, pág. 137/207 posição horizontal, na íntegra da figura, da subfigura armazenada na trilha posição vertical, na íntegra da figura, da subfigura armazenada na trilha 5/74 largura da subfigura armazenada na trilha altura da subfigura armazenada na trilha largura da íntegra da figura altura da íntegra da figura indicador que indica se o mesmo empacotamento região a região é ou

Petição 870200083126, de 03/07/2020, pág. 140/207 não aplicado na visualização esquerda e na visualização direita no caso em que a figura é estereoscópica 0: empacotamentos monoscópicos ou diferentes são aplicados na visualização esquerda e na visualização direita 1: mesmo empacotamento é aplicado na visualização esquerda e na visualização direita número de regiões empacotadas largura da figura projetada 8/74 altura da figura projetada largura da figura empacotada altura da figura empacotada 0: nenhuma banda de segurança está presente na região empacotada 1: banda de segurança está presente na região empacotada formato da região ritmada 0: retângulo outros: reservado informação da banda de segurança relacionada à periferia da região

Petição 870200083126, de 03/07/2020, pág. 142/207 largura da região projetada correspondente à origem da aplicação do empacotamento região a região altura da região projetada correspondente à origem da aplicação do empacotamento região a região posição vertical da região projetada correspondente à origem da aplicação do empacotamento região a região posição horizontal da região projetada correspondente à origem da aplicação do empacotamento região a região 10/74 indica rotação ou espelhamento de região empacotada largura da região empacotada rearranjada pelo empacotamento região a região altura da região empacotada rearranjada pelo empacotamento região a região posição vertical da região empacotada rearranjada pelo empacotamento região a região posição horizontal da região empacotada rearranjada pelo empacotamento região a região

Petição 870200083126, de 03/07/2020, pág. 143/207 seção de seção de inserção geração do de dados arquivo MPD seção de codificação e geração de dados 11/74 seção de seção de geração seção de seção de seção de codificação do arquivo do carregamento pré-processo gravação segmento seção de controle memória

Petição 870200083126, de 03/07/2020, pág. 144/207 seção de controle de exibição seção de medição seção de análise e decodificação de dados seção de geração seção de seção de aquisição seção de seção da aquisição seção de processamento da informação de decodificação do arquivo de segmento processamento do arquivo MPD do arquivo de segmento exibição do arquivo MPD 12/74 seção de exibição seção de controle memória

Petição 870200083126, de 03/07/2020, pág. 145/207 informação da região de exibição relacionada à região de exibição na figura projetada esquerda frente direita topo esquerda frente direita 13/74 direita trás frente esq- uerda base topo trás base topo trás base projeção em mapa cúbico figura projetada dividir figura projetada subfiguras em subfiguras início do processamento de carregamento adquirir imagem e metadados gerar, como informação para cada subfigura, arquivo ISOBMFF que inclui a informação da região de exibição relacionada à região de exibição na figura projetada gravar arquivo ISOBMFF carregar arquivo ISOBMFF fim início do processamento de reprodução de conteúdo adquirir, como informação para cada subfigura, o arquivo ISOBMFF que inclui a informação da região de exibição relacionada à região de exibição na figura projetada adquirir posição do ponto de visualização do usuário medir banda de transmissão selecionar trilha da subfigura correspondente ao campo de visualização do cliente com base na informação da região de exibição relacionada à região de exibição na figura projetada selecionar dados codificados relacionados à trilha selecionada decodificar reproduzir fim

Petição 870200083126, de 03/07/2020, pág. 149/207 largura da figura projetada altura da figura projetada largura da região na figura projetada à qual a figura na trilha corresponde 17/74 altura da região na figura projetada à qual a figura na trilha corresponde coordenada vertical da região na figura projetada à qual a figura na trilha corresponde coordenada horizontal da região na figura projetada à qual a figura na trilha corresponde direita topo subfiguras trás frente esquerda base direita topo figura projetada frente trás esquerda base

Petição 870200083126, de 03/07/2020, pág. 151/207 esquerda direita esquerda frente direita 19/74 frente base trás topo base topo trás figura projetada dividir figura projetada subfiguras em subfiguras número de regiões na figura projetada

Petição 870200083126, de 03/07/2020, pág. 155/207 indicador que indica se sinaliza somente a região de exibição na figura projetada ou não 23/74

0: sinaliza informação de empacotamento região a região 1: sinaliza região de exibição na figura projetada

Petição 870200083126, de 03/07/2020, pág. 157/207 largura da região na figura projetada à qual a figura na trilha corresponde altura da região na figura projetada à qual a figura na 25/74 trilha corresponde coordenada vertical da região na figura projetada à qual a figura na trilha corresponde coordenada horizontal da região na figura projetada à qual a figura na trilha corresponde

Petição 870200083126, de 03/07/2020, pág. 161/207 tipo de sinal da informação da região de exibição 0: sinalizar informação da região de exibição da superfície esférica 1: sinalizar região de exibição na figura projetada 29/74 sinalizar região de exibição da superfície esférica na trilha sinalizar região de exibição na figura projetada na trilha campos em Strcut de Cobertura do Conteúdo 2D são similares aos campos na Caixa de Informação de Cobertura 2D na figura 8 descritor para indicador = 1, aplicação persistente da SEI precedente na ordem da saída é cancelada Petição 870200083126, de 03/07/2020, pág. 163/207 para indicador = 0, informação da cobertura 2D é sinalizada para indicador = 0, informação SEI é aplicada apenas na figura que inclui SEI. Para indicador = 1, aplicação da SEI é persistente até que nova sequência de vídeo codificada seja iniciada ou fim do fluxo contínuo seja alcançado.

preenchido com 0 largura da figura projetada 31/74 altura da figura projetada número de regiões na figura projetada largura da região na figura projetada à qual o fluxo contínuo corresponde.

altura da região na figura projetada à qual o fluxo contínuo corresponde.

coordenada vertical da região na figura projetada à qual o fluxo contínuo corresponde.

coordenada horizontal da região na figura projetada à qual o fluxo contínuo corresponde.

Petição 870200083126, de 03/07/2020, pág. 166/207 amostra [1] amostra [2] amostra [3] amostra [4] amostra [5] amostra [6] amostra [7] 34/74 amostra [8]

nenhum grupo do grupo XXXX início do processamento de carregamento adquirir imagem e metadados gerar arquivo do segmento gerar, como informação para cada subfigura, arquivo MPD que inclui informação da região de exibição relacionada à região de exibição na figura projetada gravar arquivo MPD e arquivo de segmento carregar arquivo MPD e arquivo de segmento fim início do processamento de reprodução do conteúdo adquirir, como informação para cada subfigura, arquivo MPD que inclui informação da região de exibição relacionada à região da exibição na figura projetada adquirir posição do ponto de visualização do usuário medir banda de transmissão selecionar conjunto de adaptação que referencia subfigura correspondente ao campo de visualização do cliente, com base na informação da região de exibição relacionada à região de exibição na figura projetada selecionar representação adquirir arquivo de segmento extrair dados codificados decodificar reproduzir fim

Petição 870200083126, de 03/07/2020, pág. 170/207 valor do atributo tipo de dados descrição largura da figura projetada altura da figura projetada largura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde 38/74 altura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada vertical da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada horizontal da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde valor do elemento e do atributo tipo de dados descrição

Petição 870200083126, de 03/07/2020, pág. 171/207 elemento do contêiner largura da figura projetada altura da figura projetada elemento que indica informação da região relacionada à região na figura projetada pluralidade de sinais pode ser provida largura da região na figura projetada à 39/74 qual a figura referenciada pelo conjunto de adaptação corresponde altura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada vertical da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada horizontal da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde valor do atributo tipo de dados descrição indica tipo de empacotamento do

Petição 870200083126, de 03/07/2020, pág. 173/207 empacotamento região a região 0: empacotamento da região retangular outros: reservado largura da figura projetada altura da figura projetada largura da região na figura projetada à qual a figura referenciada pelo 41/74 conjunto de adaptação corresponde altura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada vertical da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada horizontal da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde

Petição 870200083126, de 03/07/2020, pág. 174/207 valor do atributo tipo de dados descrição indica tipo de empacotamento do empacotamento região a região 0: empacotamento da região retangular outros: reservado elemento de contêiner largura da figura projetada 42/74 altura da figura projetada elemento que indica informação da região relacionada à região na figura projetada largura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde altura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada vertical da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada horizontal da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde valor do atributo tipo de dados descrição elemento do contêiner

Petição 870200083126, de 03/07/2020, pág. 175/207 indica se a região de exibição é definida na superfície esférica ou na figura projetada 0: na superfície esférica 1: na figura projetada elemento de contêiner na informação da região de exibição da superfície esférica presente somente quando cc@2D_coverage_flag = 0 indica formato da região da superfície esférica 0: região confinada por 4 grandes círculos 1: região confinada por dois círculos de azimute e dois ângulos de elevação outros: reservado 43/74 indicador que indica se atributo view_idc está presente ou não 0: atributo view_idc não está presente 1: atributo view_idc está presente indica visualização comum a todas as regiões 0: visualização monoscópica 1: visualização esquerda 2: visualização direita 3: visualização estereoscópica este atributo está inevitavelmente presente quando cc@view idc_presence_flag = 0 este atributo é inibido de estar presente quando cc@view_idc_presence_flag = 1 elemento que indica informação da região relacionada à região na figura projetada pluralidade de sinais pode ser provida indica diferentes visualizações para respectivas regiões 0: visualização monoscópica 1: visualização esquerda 2: visualização direita 3: visualização estereoscópica este atributo é inibido de estar presente quando cc@view_idc_presence_flag = 0 este atributo está inevitavelmente presente quando cc@view_idc_presence_flag = 1

Petição 870200083126, de 03/07/2020, pág. 176/207 ângulo de azimute do centro da região de exibição da superfície esférica ângulo de elevação do centro da região de exibição da superfície esférica ângulo de inclinação do centro da região de exibição da superfície esférica faixa de azimute da região de exibição da superfície esférica faixa de elevação da região de exibição da superfície esférica elemento de contêiner na informação da região de exibição na figura projetada presente somente quando cc@2D_coverage_flag = 1 largura da figura projetada altura da figura projetada elemento que indica informação da região relacionada à região na 44/74 figura projetada pluralidade de sinais pode ser provida largura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde altura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada vertical da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada horizontal da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde

Petição 870200083126, de 03/07/2020, pág. 180/207 esq- esq- frente frente frente frente esq- esq- frente uerda uerda frente direita frente uerda uerda 48/74 base trás trás base topo topo base trás trás base topo topo visualização esquerda visualização direita figura projetada dividir figura projetada subfiguras (lado a lado) em subfiguras (lado a lado)

Petição 870200083126, de 03/07/2020, pág. 181/207 esq- esq- esq- uerda frente frente direita direita esq- frente direita uerda uerda frente direita uerda 49/74 trás base topo trás base topo trás trás base topo base topo visualização esquerda visualização direita figura projetada dividir figura projetada subfiguras (lado a lado) em subfiguras

Petição 870200083126, de 03/07/2020, pág. 182/207 esq- esq- esq- esq- frente direita frente direita frente direita frente direita uerda uerda uerda uerda 50/74 trás trás base trás topo trás base base topo topo topo base visualização esquerda visualização direita figura projetada dividir figura projetada subfiguras (lado a lado) em subfiguras (mono)

início do processamento de carregamento adquirir imagem e metadados gerar, como informação para cada subfigura, arquivo ISOBMFF que inclui informação estereoscópica relacionada à íntegra da figura gravar arquivo ISOBMFF carregar arquivo ISOBMFF fim iniciar processamento de reprodução do conteúdo adquirir, como informação para cada subfigura, arquivo ISOBMFF que inclui informação estereoscópica relacionada à íntegra da figura adquirir posição do ponto de visualização do usuário medir banda de transmissão cliente realiza reprodução estereoscópica? não sim definir trilhas da subfigura monoscópica definir trilhas da subfigura para serem candidatas à seleção estereoscopicamente exibíveis para serem candidatas à seleção selecionar trilha da subfigura de acordo com o campo da visualização do cliente extrair dados codificados a partir da trilha selecionada decodificar reproduzir fim

0: pretende-se que o conteúdo seja exibido somente por exibição estereoscópica (single_view_allowed&1)

Petição 870200083126, de 03/07/2020, pág. 186/207 = 1: é permitido que conteúdo seja exibido na visualização direita na exibição monoscópica (single_view_allowed&2) = 2: é permitido que conteúdo seja exibido na visualização esquerda na exibição monoscópica 54/74

1: método do empacotamento de quadro se conforma com SEI do arranjo de empacotamento de quadro de ISO/IEC 14496-10 2: método de empacotamento de quadro se conforma com anexo L de ISO/IEC 13818-2 3: método de empacotamento de quadro se conforma com quadro / serviço compatível e serviço misto 2D/3D de ISO/IEC 23000-11 comprimento em bytes de stereo_indication_type método de empacotamento de quadro de acordo com stereo_scheme

Petição 870200083126, de 03/07/2020, pág. 187/207 esqu- esqu- frente direita frente direita erda erda trás trás base base topo topo 55/74 renderização esquerda frente direita renderização usando altura e largura sinalizadas do cabeçalho da trilha trás base topo altura do cabeçalho da trilha largura do cabeçalho da trilha

Petição 870200083126, de 03/07/2020, pág. 189/207 57/74

Indica altura e largura de pixel relativas.

Durante a renderização, largura do pixel é multiplicada por vSpace/hSpace para exibição

Petição 870200083126, de 03/07/2020, pág. 190/207 esqu- esqu- erda frente direita erda frente direita base trás trás base topo topo 58/74 renderização esquerda frente direita sinalizar hSpace = 1 e vSpace = 2 renderização com largura de pixel dobrada base trás topo

Petição 870200083126, de 03/07/2020, pág. 193/207 0: figura na trilha é monoscópica ou inclui visualização L e visualização R, mas não é estereoscopicamente exibível 61/74

1: figura na trilha pode ser estereoscopicamente exibida na região parcial 2: figura na trilha pode ser estereoscopicamente exibida através da íntegra da região outros: reservado

Petição 870200083126, de 03/07/2020, pág. 194/207 esqu- esqu- frente frente direita direita esqu- esqu- erda erda frente direita frente direita erda erda base trás trás base topo topo base base trás topo topo trás visualização esquerda visualização direita 62/74 figura projetada dividir figura projetada subfiguras (lado a lado) em subfiguras (lado a lado)

esqu- frente frente direita esqu- frente esqu- frente direita erda esqu- direita direita erda erda erda base trás base trás topo topo base base trás trás topo topo visualização esquerda visualização direita figura projetada dividir figura projetada subfiguras (lado a lado) em subfiguras

Petição 870200083126, de 03/07/2020, pág. 197/207 indica se view_idc separado está presente ou não em cada região 0: view_idc separado não está presente em cada região 1: view_idc separado está presente em cada região indica visualização comum a todas as regiões 0: visualização monoscópica 1: visualização esquerda 2: visualização direita 65/74

3: visualização estereoscópica indica visualizações diferentes para respectivas regiões. 0: visualização monoscópica 1: visualização esquerda 2: visualização direita 3: visualização estereoscópica no caso em que este campo não estiver presente, default_view_idc indica visualização diferente para cada região visualização esquerda visualização direita

Petição 870200083126, de 03/07/2020, pág. 198/207 esqu- esqu- erda frente direita frente direita erda base trás base trás topo topo 66/74 dividir figura projetada dividir figura projetada em subfiguras em subfiguras esqu- esqu- frente direita frente direita esqu- esqu- erda erda frente direita frente direita erda erda trás trás base base topo base topo trás topo base trás topo iniciar processamento de carregamento adquirir imagem e metadados gerar arquivo de segmento gerar, como informação para cada subfigura, arquivo MPD que inclui informação estereoscópica relacionada à íntegra do pixel gravar arquivo MPD e arquivo de segmento carregar arquivo MPD e arquivo de segmento fim iniciar processamento de reprodução de conteúdo adquirir, como informação para cada subfigura, arquivo MPD que inclui informação estereoscópica relacionada à íntegra da figura adquirir a posição do ponto de visualização do usuário medir a banda de transmissão cliente realiza reprodução estereoscópica? não sim definir conjuntos de adaptação que referenciam definir conjuntos de adaptação que subfiguras estereoscopicamente exibíveis para referenciam subfiguras monoscópicas serem candidatas à seleção para serem candidatas à seleção selecionar conjunto de adaptação de acordo com o campo de visualização do cliente selecionar representação adquirir arquivo de segmento extrair dados codificados decodificar reproduzir fim tipo de dados descrição

Petição 870200083126, de 03/07/2020, pág. 201/207 valor de atributo elemento do contêiner indica se conjuntos de adaptação são estereoscopicamente exibíveis 0: figura referenciada pelos conjuntos de adaptação não é monoscopicamente ou estereoscopicamente exibível 1: figura referenciada pelos conjuntos de adaptação é estereoscopicamente exibível em região parcial 2: figura referenciada pelos conjuntos de adaptação é estereoscopicamente exibível através da íntegra da região indica se view_idc separado está presente ou não 69/74 em cada região 0: view_idc separado não está presente em cada região 1: view_idc separado está presente em cada região indica visualização comum a todas as regiões 0: visualização monoscópica 1: visualização esquerda 2: visualização direita 3: visualização estereoscópica este atributo está inevitavelmente presente quando twoDCoverage@view_idc_presence_flag = 0 este atributo é inibido de estar presente quando twoDCoverage@view_idc_presence_flag = 1 largura da figura projetada altura da figura projetada elemento que indica informação da região relacionada à região na figura projetada pluralidade de sinais pode ser provida

Petição 870200083126, de 03/07/2020, pág. 202/207 indica visualizações diferentes para respectivas regiões 0: visualização monoscópica 1: visualização esquerda 2: visualização direita 3: visualização estereoscópica este atributo é inibido de estar presente quando twoDCoverage@view_idc_presence_flag = 0 este atributo está inevitavelmente presente quando twoDCoverage@view_idc_presence_flag = 1 70/74 largura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde altura da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada vertical da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde coordenada horizontal da região na figura projetada à qual a figura referenciada pelo conjunto de adaptação corresponde

Petição 870200083126, de 03/07/2020, pág. 204/207 interface I/O 72/74 seção de seção de seção de seção de entrada armazenamento comunicação unidade saída mídia removível