BR112020012494A2 - dispositivo de processamento de informação, método de processamento de informação, e, programa. - Google Patents

dispositivo de processamento de informação, método de processamento de informação, e, programa. Download PDF

Info

Publication number
BR112020012494A2
BR112020012494A2 BR112020012494-0A BR112020012494A BR112020012494A2 BR 112020012494 A2 BR112020012494 A2 BR 112020012494A2 BR 112020012494 A BR112020012494 A BR 112020012494A BR 112020012494 A2 BR112020012494 A2 BR 112020012494A2
Authority
BR
Brazil
Prior art keywords
file
audio data
audio
metadata
priority
Prior art date
Application number
BR112020012494-0A
Other languages
English (en)
Inventor
Mitsuru Katsumata
Mitsuhiro Hirabayashi
Toshiya Hamada
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112020012494A2 publication Critical patent/BR112020012494A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

[Problema] Habilitar uma prioridade a ser definida para cada peça dos dados de áudio do objeto adquiridos. [Solução] É provido um dispositivo de processamento de informação provido com uma unidade de processamento que define uma prioridade para cada peça dos dados de áudio do objeto adquiridos, determina, a partir de uma ou duas ou mais peças de dados de áudio do objeto, os dados de áudio do objeto que serão incluídos em um arquivo de segmento gerado, com base em prioridade, e gera, como informação de prioridade, uma nova prioridade a ser definida para o arquivo de segmento gerado, com base em prioridade.

Description

1 / 65 DISPOSITIVO DE PROCESSAMENTO DE INFORMAÇÃO, MÉTODO DE PROCESSAMENTO DE INFORMAÇÃO, E, MÍDIA DE
ARMAZENAMENTO Campo Técnico
[001] A presente descrição se refere a um dispositivo de processamento de informação, a um método de processamento de informação, e a um programa. Fundamentos da técnica
[002] Nos últimos anos, a tendência dominante de serviços de transmissão contínua na Internet tem sido um Vídeo Over The Top (OTT-V). Transmissão Contínua Adaptativa em fase Dinâmica do Grupo de Especialistas em Imagem em Movimento sobre HTTP (MPEG-DASH) começou a ser propagado como uma tecnologia básica do OTT-V (por exemplo, veja Documento Não Patente 1).
[003] Na distribuição de conteúdo por áudio realizada pelo uso do MPEG-DASH, um servidor de distribuição prepara os dados de áudio para cada objeto (os dados são referidos como “dados de áudio do objeto”), e um cliente solicita um grupo de dados de áudio do objeto ideal dependendo de uma situação do caminho de transmissão e similares, de acordo com o que, uma distribuição por transmissão contínua adaptativa é implementada. Lista de Citação Documento Não Patente
[004] Documento Não Patente 1: MPEG-DASH (Transmissão Contínua Adaptativa Dinâmica sobre HTTP) (URL: http://standards.iso.org/ittf/PubliclyAvailableStandards/index.html) Sumário da Invenção Problemas Que Serão Resolvidos pela Invenção
[005] Entretanto, no padrão MPEG-DASH descrito no Documento Não Patente 1, não era possível definir uma prioridade em unidades de dados
2 / 65 de áudio do objeto. Portanto, havia um problema em que o cliente precisa adquirir um arquivo de áudio uma vez, em outras palavras, adquirir a íntegra de um arquivo que inclui dados que devem ser desnecessários originalmente e, então, analisar sintaticamente os metadados de áudio do objeto do arquivo de áudio, e a largura de banda não pode ser usada efetivamente e, também, o cliente tem excesso de processamento.
[006] Assim, a presente descrição foi feita em vista dos problemas supradescritos, e um objetivo da presente descrição é prover inéditos e melhores dispositivo de processamento de informação, método de processamento de informação e programa capazes de definir uma prioridade para cada um dos dados de áudio do objeto adquiridos. Soluções Para os Problemas
[007] De acordo com a presente descrição, um dispositivo de processamento de informação é provido que inclui uma unidade de processamento que define uma prioridade para cada um dos dados de áudio do objeto adquiridos, determina os dados de áudio do objeto que serão incluídos em um arquivo de segmento gerado, a partir de uma ou mais peças de dados de áudio do objeto com base em prioridade, e gera uma nova prioridade a ser definida para o arquivo de segmento gerado, como informação de prioridade, com base em prioridade.
[008] Além do mais, de acordo com a presente descrição, um método de processamento de informação executado por um computador é provido, que inclui realizar o processamento de informação nos dados de fluxo contínuo cuja prioridade foi definida para cada um dos dados de áudio do objeto adquiridos.
[009] Além do mais, de acordo com a presente descrição, um programa é provido para fazer com que um computador implemente o processamento de informação nos dados de fluxo contínuo cuja prioridade foi definida para cada um dos dados de áudio do objeto adquiridos.
3 / 65 Efeitos da Invenção
[0010] Da forma supradescrita, de acordo com a presente descrição, é possível definir uma prioridade para cada um dos dados de áudio do objeto adquiridos.
[0011] Note que o efeito supradescrito não é necessariamente limitado, e qualquer um dos efeitos descritos na presente especificação ou outros efeitos que podem ser compreendidos a partir da presente especificação podem ser exibidos, além do, ou no lugar do efeito supradescrito. Breve Descrição dos Desenhos
[0012] A figura 1 é um diagrama que ilustra os fundamentos da presente descrição.
[0013] A figura 2 é um diagrama que ilustra os fundamentos da presente descrição.
[0014] A figura 3 é um diagrama que ilustra os fundamentos da presente descrição.
[0015] A figura 4 é um diagrama que ilustra os fundamentos da presente descrição.
[0016] A figura 5 é um diagrama que ilustra os fundamentos da presente descrição.
[0017] A figura 6 é um diagrama que ilustra um exemplo de configuração do sistema de um sistema de processamento de informação de acordo com a presente modalidade.
[0018] A figura 7 é um diagrama de blocos que ilustra um exemplo de configuração funcional de um servidor 100 de acordo com a presente modalidade.
[0019] A figura 8 é um diagrama de blocos que ilustra um exemplo de configuração funcional de um cliente 200 de acordo com a presente modalidade.
[0020] A figura 9 é um diagrama que ilustra um exemplo de geração
4 / 65 do arquivo de áudio com base em prioridade.
[0021] A figura 10 é um diagrama que ilustra um exemplo de geração do arquivo de áudio com base na prioridade.
[0022] A figura 11 é um diagrama que ilustra um exemplo de geração do arquivo de áudio com base na prioridade.
[0023] A figura 12 é um diagrama que ilustra um exemplo de geração do arquivo de áudio com base na prioridade.
[0024] A figura 13 é um diagrama que ilustra um exemplo de sinalização da informação de prioridade em um caso em que a prioridade não muda durante o tempo.
[0025] A figura 14 é um diagrama que ilustra uma configuração de arquivo em um caso em que a prioridade muda durante o tempo.
[0026] A figura 15 é um diagrama que ilustra o ISOBMFF de um arquivo de áudio em Áudio 3D MPEG-H.
[0027] A figura 16 é um diagrama para explicar uma estrutura de Caixa do ISOBMFF.
[0028] A figura 17 é um diagrama que ilustra o ISOBMFF (Exemplo 1, método RAW) de um arquivo de metadados em Áudio 3D MPEG-H.
[0029] A figura 18 é um diagrama que ilustra o ISOBMFF (Exemplo 1, método MHAS) do arquivo de metadados em Áudio 3D MPEG-H.
[0030] A figura 19 é um diagrama que ilustra o ISOBMFF (Exemplo 2, método RAW) do arquivo de metadados em Áudio 3D MPEG-H.
[0031] A figura 20 é um diagrama que ilustra o ISOBMFF (Exemplo 2, método MHAS) do arquivo de metadados em Áudio 3D MPEG-H.
[0032] A figura 21 é um diagrama que ilustra o ISOBMFF de um arquivo de áudio em Áudio 3D AAC.
[0033] A figura 22 é um diagrama que ilustra o ISOBMFF (Exemplo 3) de um arquivo de metadados em Áudio 3D AAC.
[0034] A figura 23 é um diagrama que ilustra o ISOBMFF (Exemplo
5 / 65 4) do arquivo de metadados em Áudio 3D AAC.
[0035] A figura 24 é um diagrama para explicar um exemplo de associação entre os arquivos de áudio e um arquivo de metadados.
[0036] A figura 25 é um diagrama que ilustra um exemplo (Exemplo 1) da associação entre os arquivos de áudio e o arquivo de metadados.
[0037] A figura 26 é um diagrama que ilustra um exemplo (Exemplo 2) da associação entre os arquivos de áudio e o arquivo de metadados.
[0038] A figura 27 é um diagrama que ilustra um exemplo (Exemplo 3) da associação entre os arquivos de áudio e o arquivo de metadados.
[0039] A figura 28 é um diagrama que ilustra um exemplo (Exemplo 4) da associação entre os arquivos de áudio e o arquivo de metadados.
[0040] A figura 29 é um diagrama que ilustra um exemplo (Exemplo 5) da associação entre os arquivos de áudio e o arquivo de metadados.
[0041] A figura 30 é um diagrama que ilustra um exemplo de sinalização (Exemplo 1) em um caso em que uma taxa de bit não muda durante o tempo.
[0042] A figura 31 é um diagrama que ilustra um exemplo de sinalização (Exemplo 2) no caso em que a taxa de bit não muda durante o tempo.
[0043] A figura 32 é um diagrama que ilustra um exemplo de sinalização (Exemplo 3) no caso em que a taxa de bit não muda durante o tempo.
[0044] A figura 33 é um diagrama que ilustra um exemplo de sinalização (Exemplo 4) no caso em que a taxa de bit não muda durante o tempo.
[0045] A figura 34 é um diagrama para explicar um exemplo de sinalização em um caso em que a taxa de bit muda durante o tempo.
[0046] A figura 35 é um diagrama que ilustra um exemplo de sinalização (Exemplo 5) no caso em que a taxa de bit muda durante o tempo.
6 / 65
[0047] A figura 36 é um diagrama que ilustra um exemplo de sinalização (Exemplo 6) no caso em que a taxa de bit muda durante o tempo.
[0048] A figura 37 é um diagrama que ilustra um exemplo de sinalização (Exemplo 7) no caso em que a taxa de bit muda durante o tempo.
[0049] A figura 38 é um diagrama que ilustra um exemplo de sinalização (Exemplo 8) no caso em que a taxa de bit muda durante o tempo.
[0050] A figura 39 é um diagrama que ilustra um exemplo de sinalização da informação de descrição.
[0051] A figura 40 é um fluxograma que ilustra um exemplo de processamento até que o cliente 200 adquira um arquivo de áudio usado para reproduzir o conteúdo de áudio no caso em que a prioridade não muda durante o tempo.
[0052] A figura 41 é um diagrama para explicar o exemplo de processamento até que o cliente 200 adquira um arquivo de áudio usado para reproduzir o conteúdo de áudio no caso em que a prioridade não muda durante o tempo.
[0053] A figura 42 é um fluxograma que ilustra um exemplo de processamento até que o cliente 200 adquira o arquivo de áudio usado para reproduzir o conteúdo de áudio no caso em que a prioridade muda durante o tempo.
[0054] A figura 43 é um diagrama para explicar o exemplo de processamento até que o cliente 200 adquira o arquivo de áudio usado para reproduzir o conteúdo de áudio no caso em que a prioridade muda durante o tempo.
[0055] A figura 44 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um dispositivo de processamento de informação 900 que incorpora o servidor 100 ou o cliente 200.
[0056] A figura 45 é um diagrama que ilustra uma estrutura de 3da_meta_data().
7 / 65
[0057] A figura 46 é um diagrama que ilustra uma estrutura de 3da_meta_data() armazenada em um DSE.
[0058] A figura 47 é um diagrama que ilustra uma estrutura do DSE.
[0059] A figura 48 é um diagrama que ilustra uma estrutura de 3da_ancillary_data armazenada em data_stream_byte no DSE. Modo para Realizar a Invenção
[0060] As modalidades preferidas da presente descrição serão descritas com detalhes a seguir em relação aos desenhos anexos. Note que, na presente especificação e nos desenhos, os componentes que têm, substancialmente, a mesma configuração funcional são denotados pelos mesmos sinais de referência, e explicações redundantes serão omitidas.
[0061] Note que, a descrição será feita a seguir ordem.
[0062] 1. Fundamentos
2. Exemplo de configuração
3. Exemplo de geração de arquivo com base em prioridade
4. Exemplo de sinalização da informação de prioridade
5. Exemplo de sinalização da informação da taxa de bit
6. Exemplo de sinalização da informação de descrição
7. Exemplo de processamento do cliente 200
8. Exemplo de configuração de hardware <1. Fundamentos>
[0063] Primeiro, os fundamentos da presente descrição serão descritos.
[0064] Áudio 3D MPEG-H e Áudio 3D AAC são padrões que podem tratar os dados de áudio do objeto que são dados de áudio gerados para cada objeto. O conteúdo de áudio inclui uma pluralidade de peças de dados de áudio do objeto que são dados da forma de onda de uma fonte de som, e os metadados do objeto que incluem a informação em relação a uma posição de um objeto, uma propagação de um som, vários efeitos, ou similares.
8 / 65
[0065] Por exemplo, da forma ilustrada na figura 1, os metadados do objeto e uma pluralidade de peças de dados de áudio do objeto (na figura 1, os dados de áudio do objeto 1 aos dados de áudio do objeto n são ilustrados) são providos para um cliente por um servidor ou similares. Mediante a recepção dos metadados do objeto e dos dados de áudio do objeto, o cliente que funciona como um renderizador de objeto realiza renderização com base na informação do ambiente de reprodução (por exemplo, posições ou o número de alto-falantes, e similares), e provê os dados da forma de onda para o ambiente de reprodução, tais como os alto-falantes, desse modo, implementando a reprodução do conteúdo de áudio.
[0066] Aqui, em Áudio 3D MPEG-H e Áudio 3D AAC, não é sempre necessário que todos os dados de áudio do objeto sejam renderizados. Para isto, podem ser considerados métodos, por exemplo, em que o servidor não provê para o cliente os próprios dados de áudio do objeto que não devem ser renderizados, ou exclui os dados de áudio do objeto que não devem ser renderizados a partir dos metadados do objeto.
[0067] Além do mais, nestes padrões, uma pluralidade de peças de dados de áudio do objeto pode ser reproduzida em taxas de bits diferentes umas das outras. Por exemplo, da forma ilustrada em 2A da figura 2, considera-se que o conteúdo de áudio inclui os metadados do objeto e os dados de áudio do objeto 1 até os dados de áudio do objeto 3 para os quais dados em alta taxa de bit e dados em baixa taxa de bit são respectivamente preparados. Neste caso, as taxas de bits dos dados de áudio do objeto a ser reproduzido podem ser livremente combinadas. Por exemplo, da forma ilustrada em 2B, os dados de áudio do objeto 1 e os dados de áudio do objeto 2 podem ser reproduzidos em uma alta taxa de bit, e os dados de áudio do objeto 3 podem ser reproduzidos em uma baixa taxa de bit.
[0068] Em um caso em que o conteúdo de áudio for provido, os dados de áudio do objeto são armazenados em um arquivo de áudio e transmitidos
9 / 65 para o cliente. Aqui, um exemplo específico será descrito em relação à figura
3. Da forma ilustrada em 3A da figura 3, em um caso em que houver os dados de áudio do objeto 1 até os dados de áudio do objeto 3 e os metadados do objeto correspondentes a estes dados, uma pluralidade de combinações pode ser considerada como o modo de armazenamento dos mesmos no arquivo de áudio, da forma ilustrada em 3B-1 a 3B-3.
[0069] Mais especificamente, da forma ilustrada em 3B-1, todos os dados podem ser armazenados em um arquivo de áudio, ou, da forma ilustrada em 3B-3, um dos dados de áudio do objeto e dos metadados do objeto correspondentes aos mesmos podem ser armazenados em um arquivo de áudio. Além do mais, da forma ilustrada em 3B-2, uma ou mais peças de dados de áudio do objeto e os metadados do objeto correspondentes às mesmas podem ser respectivamente armazenados no arquivo de áudio.
[0070] A propósito, em um caso em que o conteúdo de áudio for provido em MPEG-DASH, os arquivos de áudio com taxas de bits diferentes umas das outras são gerados, e o cliente pode selecionar um arquivo de áudio desejado a partir destes arquivos de áudio.
[0071] Por exemplo, considera-se que os dados de áudio do objeto 1 até os dados de áudio do objeto 3 com taxas de bits de 64 kbps e 32 kbps são respectivamente gerados, da forma ilustrada na figura 4. Neste caso, há 23 combinações de arquivos de áudio que podem ser adquiridos pelo cliente. Há combinações com a mesma taxa de bit total, por exemplo, uma combinação de um arquivo 1-1, um arquivo 2-1, e um arquivo 3-2 (160 kbps no total) e uma combinação do arquivo 1-1, um arquivo 2-2, e um arquivo 3-1 (160 kbps no total).
[0072] Entretanto, o cliente não pode determinar qual combinação é mais apropriada apenas pela informação em relação à taxa de bit total. Assim, pode ser considerado definir uma prioridade como a informação que indica quais dados de áudio do objeto devem ser reproduzidos com qualidade de som
10 / 65 superior (em outras palavras, taxa de bit superior), de forma que o cliente possa determinar uma combinação mais apropriada.
[0073] Como um dos metadados do objeto que podem ser usados como a informação de prioridade, “Prioridade” em Áudio 3D MPEG-H e similares pode ser mencionada. Entretanto, Prioridade compreende dados armazenados nos metadados do objeto e, assim, em um caso em que a prioridade for aplicada em MPEG-DASH, o cliente adquire o arquivo de áudio uma vez, e adquire Prioridade a partir dos metadados do objeto, desse modo, determinando a taxa de bit do arquivo de áudio. Em outras palavras, o cliente precisa adquirir dados desnecessários.
[0074] Assim, em vista das circunstâncias expostas, o divulgador da presente descrição criou uma tecnologia de acordo com a presente descrição. A presente descrição habilita a definição de uma prioridade para cada um dos dados de áudio do objeto adquiridos, e a eficiente aquisição, e pode implementar a distribuição e a reprodução de conteúdo de áudio apropriado com base em prioridade.
[0075] Além do mais, em MPEG-DASH, o cliente determina um arquivo de áudio a ser adquirido basicamente com base na taxa de bit do arquivo de áudio. Portanto, em uma situação em que não há informação de prioridade supradescrita, por exemplo, em um caso em que quatro tipos de arquivos de áudio forem gerados pela combinação das taxas de bits dos dados de áudio do objeto 1 e dos dados de áudio do objeto 2, da forma ilustrada na figura 5, já que as taxas de bits de um arquivo 2 e um arquivo 3 são, ambas, 96 kbps, o cliente não pode determinar qual arquivo de áudio é mais apropriado apenas pela informação em relação à taxa de bit e, além do mais, um provedor de conteúdo não pode prover uma combinação dos dados de áudio do objeto pretendidos e sua taxa de bit para o cliente.
[0076] Por outro lado, a presente descrição pode prover para o cliente a informação da taxa de bit em unidades de dados de áudio do objeto
11 / 65 armazenados no arquivo de áudio. Em decorrência disto, o cliente pode determinar qual arquivo de áudio, o arquivo 2 ou o arquivo 3, é mais apropriado, também, pela consideração da informação de prioridade supradescrita.
[0077] Além do mais, a presente descrição pode prover para o cliente a informação de descrição dos dados de áudio do objeto. Em decorrência disto, um usuário que opera o cliente pode fazer com que os dados de áudio do objeto desejados sejam reproduzidos em uma alta taxa de bit.
[0078] A seguir, uma modalidade da presente descrição será descrita com mais detalhes. <2. Exemplo de configuração>
[0079] Na descrição exposta, foram descritos os fundamentos da presente descrição. Subsequentemente, em relação às figuras 6 a 8, será descrito um exemplo de configuração de um sistema de processamento de informação de acordo com a modalidade da presente descrição. (2-1. Exemplo de configuração do sistema)
[0080] Primeiro, em relação à figura 6, será descrito um exemplo de configuração de sistema do sistema de processamento de informação de acordo com a presente modalidade.
[0081] Da forma ilustrada na figura 6, o sistema de processamento de informação de acordo com a presente modalidade inclui um servidor 100 e um cliente 200. Então, o servidor 100 e o cliente 200 são conectados um no outro por meio da Internet 300.
[0082] O servidor 100 é um dispositivo de processamento de informação (dispositivo de transmissão) que distribui (em fluxo contínuo) os dados de áudio do objeto usados para o conteúdo de áudio para o cliente 200 com base em MPEG-DASH. Mais especificamente, o servidor 100 adquire os dados de áudio usados para o conteúdo de áudio para cada objeto, e gera os dados de fluxo contínuo pela codificação dos dados em unidades do objeto.
12 / 65 Então, o servidor 100 gera um arquivo de áudio pela conversão dos dados de fluxo contínuo em um arquivo para cada unidade de tempo de cerca de diversos segundos até 10 segundos chamada de um segmento, ou para todos os conteúdos.
[0083] Note que o objeto é uma fonte de som, e os dados de áudio de cada objeto são adquiridos por um microfone ou similares anexados no objeto. O objeto pode ser um objeto fixo, tal como um suporte de microfone, ou um objeto móvel, tal como uma pessoa.
[0084] Além do mais, o servidor 100 codifica os metadados do objeto que incluem a informação de posição e similares de cada objeto. O servidor 100 gera um arquivo de metadados pela conversão dos dados codificados dos metadados do objeto em um arquivo em unidades do segmento.
[0085] Além do mais, o servidor 100 gera um arquivo de Descrição de Apresentação de Mídia (MPD) (informação de controle) para gerenciar o arquivo de áudio.
[0086] Então, o servidor 100 transmite os supradescritos arquivo de áudio, arquivo de metadados, arquivo MPD ou similares para o cliente 200 em resposta a uma solicitação proveniente do cliente 200.
[0087] O cliente 200 é um dispositivo de processamento de informação (dispositivo de recepção) que reproduz o conteúdo de áudio. Mais especificamente, o cliente 200 adquire o arquivo MPD a partir do servidor 100, e adquire o arquivo de metadados e o arquivo de áudio a partir do servidor 100 com base no arquivo MPD. Então, o cliente 200 decodifica, sintetiza, e transmite o arquivo de áudio adquirido a partir do servidor 100, desse modo, implementando a reprodução do conteúdo de áudio.
[0088] No exposto, foi descrito o exemplo de configuração do sistema de processamento de informação de acordo com a presente modalidade. Note que a configuração supradescrita em relação à figura 6 é meramente um exemplo, e a configuração do sistema de processamento de informação de
13 / 65 acordo com a presente modalidade não é limitada a um exemplo como este. Por exemplo, algumas funções do servidor 100 podem ser providas no cliente 200 ou um outro dispositivo externo. Por exemplo, o software que provê algumas funções do servidor 100 (por exemplo, uma aplicação WEB que usa uma Interface de Programação de Aplicação predeterminada (API) ou similares) pode ser executado no cliente 200. Além do mais, inversamente, algumas funções do cliente 200 podem ser providas no servidor 100 ou um outro dispositivo externo. A configuração do sistema de processamento de informação de acordo com a presente modalidade pode ser modificada de forma flexível dependendo das especificações e das operações. (2-2. Exemplo de configuração funcional do servidor 100)
[0089] Na descrição exposta, foi descrito o exemplo de configuração de sistema do sistema de processamento de informação de acordo com a presente modalidade. Subsequentemente, em relação à figura 7, um exemplo de configuração funcional do servidor 100 será descrito.
[0090] Da forma ilustrada na figura 7, o servidor 100 inclui uma unidade de processamento 110, uma unidade de controle 120, uma unidade de comunicação 130, e uma unidade de armazenamento 140.
[0091] A unidade de processamento 110 tem uma configuração funcional para realizar o processamento relacionado à provisão de conteúdo de áudio. Da forma ilustrada na figura 7, a unidade de processamento 110 inclui uma unidade de aquisição de dados 111, uma unidade de processamento de codificação 112, uma unidade de geração do arquivo de segmento 113, e uma unidade de geração do arquivo MPD 114.
[0092] A unidade de aquisição de dados 111 tem uma configuração funcional para aquisição dos dados de áudio usados para o conteúdo de áudio para cada objeto (em outras palavras, a aquisição dos dados de áudio do objeto). A unidade de aquisição de dados 111 pode adquirir os dados de áudio do objeto a partir do servidor 100, ou pode adquirir os dados de áudio do
14 / 65 objeto a partir de um dispositivo externo conectado no servidor 100. Além do mais, a unidade de aquisição de dados 111 pode definir uma prioridade para cada um dos dados de áudio do objeto obtidos, ou pode adquirir os dados de áudio do objeto para os quais uma prioridade é definida em antecipação. A unidade de aquisição de dados 111 provê os dados de áudio do objeto adquiridos para a unidade de processamento de codificação 112.
[0093] A unidade de processamento de codificação 112 tem uma configuração funcional para gerar os dados de fluxo contínuo pela codificação dos dados de áudio do objeto providos a partir da unidade de aquisição de dados 111 para cada objeto. Além do mais, a unidade de processamento de codificação 112 codifica os metadados do objeto que incluem a informação de posição do objeto e similares de cada objeto inserido a partir do exterior. A unidade de processamento de codificação 112 provê os dados de fluxo contínuo de cada objeto e os dados codificados dos metadados do objeto para a unidade de geração do arquivo de segmento 113.
[0094] A unidade de geração do arquivo de segmento 113 tem uma configuração funcional para gerar um arquivo de segmento que são dados em uma unidade que podem ser distribuídos como conteúdo de áudio. Mais especificamente, a unidade de geração do arquivo de segmento 113 gera um arquivo de áudio pela conversão dos dados de fluxo contínuo de cada objeto providos a partir da unidade de processamento de codificação 112 em um arquivo em unidades do segmento. Há vários modos para a geração de um arquivo de áudio. Por exemplo, a unidade de geração do arquivo de segmento 113 gera um arquivo de áudio pelo armazenamento de um ou mais dados de áudio do objeto em um arquivo de áudio com base em prioridade de cada um dos dados de áudio do objeto. Além do mais, a unidade de geração do arquivo de segmento 113 também pode definir a informação de prioridade para cada arquivo. Os detalhes da geração do arquivo de áudio com base na prioridade serão descritos a seguir.
15 / 65
[0095] Além do mais, a unidade de geração do arquivo de segmento 113 também pode gerar um arquivo de metadados que armazena apenas os metadados do objeto pela conversão dos dados codificados, que são providos a partir da unidade de processamento de codificação 112, dos metadados do objeto, em um arquivo em unidades do segmento. Os conteúdos do arquivo de metadados e um caso em que o arquivo de metadados é gerado serão descritos a seguir.
[0096] A unidade de geração do arquivo MPD 114 tem uma configuração funcional para gerar um arquivo MPD. Na presente modalidade, a unidade de geração do arquivo MPD 114 gera um arquivo MPD que inclui a informação de prioridade, a informação da taxa de bit ou a informação de descrição. Os detalhes dos conteúdos do arquivo MPD serão descritos a seguir.
[0097] A unidade de controle 120 tem uma configuração funcional para controlar de forma abrangente a íntegra do processamento realizado pelo servidor 100. Por exemplo, a unidade de controle 120 pode controlar o início e o fim de cada componente com base na informação de solicitação ou similares do cliente 200 recebida por meio da unidade de comunicação 130. Note que, o conteúdo de controle da unidade de controle 120 não é particularmente limitado. Por exemplo, a unidade de controle 120 pode controlar o processamento no geral realizado em um computador de propósito geral, um PC, um PC tablet ou similares.
[0098] A unidade de comunicação 130 tem uma configuração funcional para realizar vários tipos de comunicação com o cliente 200 (também funciona como uma unidade de transmissão). Por exemplo, a unidade de comunicação 130 recebe a informação de solicitação a partir do cliente 200 e transmite um arquivo MPD, um arquivo de metadados, um arquivo de áudio ou similares para o cliente 200 como uma resposta à informação de solicitação. Note que o conteúdo da comunicação da unidade
16 / 65 de comunicação 130 não é limitado aos mesmos.
[0099] A unidade de armazenamento 140 tem uma configuração funcional para o armazenamento de vários tipos de informação. Por exemplo, a unidade de armazenamento 140 armazena os dados de áudio do objeto, os arquivos de áudio, os metadados do objeto, os arquivos de metadados, os arquivos MPD ou similares, e armazena os programas, os parâmetros ou similares usados por cada configuração funcional do servidor 100. Note que a informação armazenada na unidade de armazenamento 140 não é limitada aos mesmos.
[00100] No exposto, o exemplo de configuração funcional do servidor 100 foi descrito. Note que, a configuração funcional exposta descrita em relação à figura 7 é meramente um exemplo, e a configuração funcional do servidor 100 não é limitada a um exemplo como este. Por exemplo, o servidor 100 não necessariamente precisa incluir todas as configurações funcionais ilustradas na figura 7. Além do mais, a configuração funcional do servidor 100 pode ser modificada de forma flexível, dependendo das especificações e das operações. (2-3. Exemplo de configuração funcional do cliente 200)
[00101] Na descrição exposta, o exemplo de configuração funcional do servidor 100 foi descrito. Subsequentemente, em relação à figura 8, um exemplo de configuração funcional do cliente 200 será descrito.
[00102] Da forma ilustrada na figura 8, o cliente 200 inclui uma unidade de processamento 210, uma unidade de controle 220, uma unidade de comunicação 230, e uma unidade de armazenamento 240.
[00103] A unidade de processamento 210 tem uma configuração funcional para realizar o processamento relacionado à reprodução do conteúdo de áudio. Da forma ilustrada na figura 8, a unidade de processamento 210 inclui uma unidade de aquisição do arquivo MPD 211, uma unidade de processamento do arquivo MPD 212, uma unidade de seleção
17 / 65 do arquivo de segmento 213, uma unidade de aquisição do arquivo de segmento 214, uma unidade de processamento de decodificação 215, e uma unidade de processamento de síntese 216.
[00104] A unidade de aquisição do arquivo MPD 211 tem uma configuração funcional para aquisição de um arquivo MPD a partir do servidor 100 antes da reprodução do conteúdo de áudio. Mais especificamente, a unidade de aquisição do arquivo MPD 211 gera a informação de solicitação para o arquivo MPD com base em uma operação de usuário ou similares, e provê a informação de solicitação para o servidor 100 por meio da unidade de comunicação 230, desse modo, adquirindo o arquivo MPD a partir do servidor 100. A unidade de aquisição do arquivo MPD 211 provê o arquivo MPD adquirido para a unidade de processamento do arquivo MPD 212.
[00105] A unidade de processamento do arquivo MPD 212 tem uma configuração funcional para realizar o processamento relacionado ao arquivo MPD provido a partir da unidade de aquisição do arquivo MPD 211. Mais especificamente, a unidade de processamento do arquivo MPD 212 analisa o arquivo MPD para reconhecer a informação (por exemplo, URL ou similares) necessária para aquisição de um arquivo de áudio ou um arquivo de metadados correspondente ao mesmo, ou para reconhecer uma prioridade, uma taxa de bit ou similares de cada um dos dados de áudio do objeto (ou arquivo de áudio). A unidade de processamento do arquivo MPD 212 provê estas peças de informação para a unidade de seleção do arquivo de segmento
213.
[00106] A unidade de seleção do arquivo de segmento 213 tem uma configuração funcional para selecionar um arquivo de segmento a ser adquirido. Mais especificamente, a unidade de seleção do arquivo de segmento 213 seleciona um arquivo de áudio ou um arquivo de metadados a serem adquiridos com base em vários tipos supradescritos de informação
18 / 65 providos a partir da unidade de processamento do arquivo MPD 212. Por exemplo, a unidade de seleção do arquivo de segmento 213 seleciona o arquivo de áudio a ser adquirido de forma que um arquivo de áudio com uma prioridade superior tenha uma taxa de bit superior. Neste momento, a unidade de seleção do arquivo de segmento 213 também considera uma banda de transmissão disponível e seleciona, por exemplo, um arquivo de áudio com a mais alta taxa de bit na banda de transmissão disponível.
[00107] Note que o método de seleção de um arquivo a ser adquirido não é limitado ao exposto. Por exemplo, a unidade de seleção do arquivo de segmento 213 pode selecionar um arquivo de áudio desejado pelo usuário como um alvo de aquisição com base em uma entrada do usuário. A unidade de seleção do arquivo de segmento 213 provê a informação em relação ao arquivo a ser adquirido para a unidade de aquisição do arquivo de segmento
214.
[00108] A unidade de aquisição do arquivo de segmento 214 tem uma configuração funcional para aquisição de um arquivo de segmento. Mais especificamente, a unidade de aquisição do arquivo de segmento 214 gera a informação de solicitação para um arquivo de áudio ou um arquivo de metadados com base em vários tipos de informação providos a partir da unidade de seleção do arquivo de segmento 213, e provê a informação de solicitação para o servidor 100 por meio da unidade de comunicação 230, desse modo, adquirindo estes arquivos a partir do servidor 100. A unidade de aquisição do arquivo de segmento 214 provê estes arquivos adquiridos para a unidade de processamento de decodificação 215.
[00109] A unidade de processamento de decodificação 215 tem uma configuração funcional para decodificação dos dados incluídos no arquivo de áudio ou no arquivo de metadados providos a partir da unidade de aquisição do arquivo de segmento 214. A unidade de processamento de decodificação 215 provê os dados de áudio do objeto e similares obtidos pelo processamento
19 / 65 de decodificação para a unidade de processamento de síntese 216.
[00110] A unidade de processamento de síntese 216 tem uma configuração funcional para sintetizar e transmitir uma pluralidade de peças de dados de áudio do objeto providas a partir da unidade de processamento de decodificação 215. A unidade de processamento de síntese 216 provê dados sintetizados para a unidade de controle 220.
[00111] A unidade de controle 220 tem uma configuração funcional para controlar de forma abrangente a íntegra do processamento realizado pelo cliente 200. Por exemplo, a unidade de controle 220 controla uma unidade de saída (não ilustrada), tais como um visor ou um alto-falante, e transmite os dados sintetizados providos pela unidade de processamento de síntese 216, desse modo, provendo o conteúdo de áudio para o usuário. Além do mais, a unidade de controle 220 controla vários tipos de processamento com base em uma entrada realizada pelo usuário que usa uma unidade de entrada (não ilustrada), tais como um mouse e um teclado. Note que o conteúdo de controle da unidade de controle 220 não é particularmente limitado. Por exemplo, a unidade de controle 220 pode controlar o processamento no geral realizado em um computador de propósito geral, um PC, um PC tipo tablet ou similares.
[00112] A unidade de comunicação 230 tem uma configuração funcional para realizar vários tipos de comunicação com o servidor 100 (também funciona como uma unidade de recepção). Por exemplo, a unidade de comunicação 230 transmite a informação de solicitação para o servidor 100 com base em uma entrada de usuário ou similares, ou recebe um arquivo MPD, um arquivo de metadados, um arquivo de áudio ou similares a partir do servidor 100 como uma resposta à informação de solicitação. Note que o conteúdo da comunicação da unidade de comunicação 230 não é limitado aos mesmos.
[00113] A unidade de armazenamento 240 tem uma configuração
20 / 65 funcional para armazenamento de vários tipos de informação. Por exemplo, a unidade de armazenamento 240 armazena os dados de áudio do objeto, os arquivos de áudio, os metadados do objeto, os arquivos de metadados, os arquivos MPD ou similares providos a partir do servidor 100, e armazena os programas, os parâmetros ou similares usados por cada configuração funcional do cliente 200. Note que a informação armazenada na unidade de armazenamento 240 não é limitada aos mesmos.
[00114] No exposto, o exemplo de configuração funcional do cliente 200 foi descrito. Note que a configuração funcional exposta descrita em relação à figura 8 é meramente um exemplo, e a configuração funcional do cliente 200 não é limitada a um exemplo como este. Por exemplo, o cliente 200 não precisa necessariamente incluir todas as configurações funcionais ilustradas na figura 8. Além do mais, a configuração funcional do cliente 200 pode ser modificada de forma flexível dependendo das especificações e das operações. <3. Exemplo de geração do arquivo de áudio com base em prioridade>
[00115] Na descrição exposta, o exemplo de configuração funcional do cliente 200 foi descrito. Subsequentemente, um exemplo de geração do arquivo de áudio com base na prioridade será descrito.
[00116] Da forma supradescrita, a unidade de geração do arquivo de segmento 113 do servidor 100 gera um arquivo de áudio pela combinação de um ou mais dados de áudio do objeto e armazenamento dos mesmos em um arquivo de áudio pelo uso da informação de prioridade para cada um dos dados de áudio do objeto. Além do mais, a unidade de geração do arquivo de segmento 113 também pode definir a informação de prioridade para cada arquivo.
[00117] Aqui, em relação às figuras 9 a 12, o exemplo de geração do arquivo de áudio com base na prioridade será descrito. Por exemplo, da forma ilustrada em 9A da figura 9, considera-se que há os dados de áudio do objeto
21 / 65 1 aos dados de áudio do objeto 4, e as prioridades são definidas em antecipação para estes dados. Mais especificamente, a prioridade dos dados de áudio do objeto 1 é 3, as prioridades dos dados de áudio do objeto 2 e dos dados de áudio do objeto 3 são 2, e a prioridade dos dados de áudio do objeto 4 é 1 (Note que quanto mais alto o valor, mais alta a prioridade).
[00118] Neste caso, a unidade de geração do arquivo de segmento 113 pode combinar os dados de áudio do objeto com prioridades mais próximas (uma diferença de prioridade é menor do que ou igual a um valor predeterminado) e armazenar os mesmos em um arquivo de áudio. Por exemplo, da forma ilustrada em 9B, a unidade de geração do arquivo de segmento 113 pode combinar os dados de áudio do objeto 1, que são os primeiros dados em uma série de dados, com os dados de áudio do objeto 2 e os dados de áudio do objeto 3, cada qual com a prioridade 2 que é mais próxima da prioridade 3 dos dados de áudio do objeto 1 (por exemplo, a diferença de prioridade é menor do que ou igual a 1), e armazenar os mesmos em um arquivo de áudio. Então, a unidade de geração do arquivo de segmento 113 pode armazenar os dados de áudio do objeto restantes 4 em um outro arquivo de áudio.
[00119] Então, a unidade de geração do arquivo de segmento 113 pode definir a prioridade mais alta entre as prioridades dos dados de áudio do objeto armazenadas em um arquivo de áudio como uma prioridade de um arquivo de áudio. Por exemplo, da forma ilustrada em 9B, a unidade de geração do arquivo de segmento 113 pode definir a prioridade mais alta 3 dentre as prioridades dos dados de áudio do objeto 1 aos dados de áudio do objeto 3 como uma prioridade do arquivo de áudio no qual estes dados estão armazenados. Note que o método de definição da prioridade do arquivo de áudio não é limitado a este. Por exemplo, a unidade de geração do arquivo de segmento 113 pode definir a prioridade com o maior número de dados com a mesma prioridade dentre as prioridades dos dados de áudio do objeto
22 / 65 armazenados em um arquivo de áudio, como uma prioridade do arquivo de áudio. Além do mais, a unidade de geração do arquivo de segmento 113 pode definir um valor médio das prioridades dos dados de áudio do objeto armazenados em um arquivo de áudio, como uma prioridade do arquivo de áudio.
[00120] Além do mais, em um caso em que nenhuma prioridade for definida para os dados de áudio do objeto 1 aos dados de áudio do objeto 4 ou em um caso em que todas as prioridades forem iguais, da forma ilustrada em 10A da figura 10, a unidade de geração do arquivo de segmento 113 pode armazenar todos os dados de áudio do objeto no mesmo arquivo de áudio, da forma ilustrada em 10B. Então, a unidade de geração do arquivo de segmento 113 não precisa definir a prioridade do arquivo de áudio, ou pode definir a mesma prioridade definida para cada um dos dados de áudio do objeto como uma prioridade do arquivo de áudio.
[00121] Além do mais, em um caso em que as prioridades dos dados de áudio do objeto 1 aos dados de áudio do objeto 4 forem diferentes umas das outras, da forma ilustrada em 11A da figura 11, a unidade de geração do arquivo de segmento 113 pode armazenar os dados de áudio do objeto, respectivamente, em diferentes arquivos de áudio, da forma ilustrada em 11B. Então, a unidade de geração do arquivo de segmento 113 pode definir o mesmo valor como a prioridade de cada um dos dados de áudio do objeto como uma prioridade de cada arquivo de áudio.
[00122] Além do mais, considera-se que as prioridades dos dados de áudio do objeto 1 aos dados de áudio do objeto 3 são 2 e a prioridade dos dados de áudio do objeto 4 é 1, da forma ilustrada em 12A da figura 12. Neste caso, da forma ilustrada em 12B, a unidade de geração do arquivo de segmento 113 pode armazenar os dados de áudio do objeto 1 aos dados de áudio do objeto 3 com a mesma prioridade em um arquivo de áudio, e armazena os dados de áudio do objeto 4 com uma prioridade diferente em um
23 / 65 outro arquivo de áudio. Também em 12B, o mesmo valor da prioridade de cada um dos dados de áudio do objeto é definido como uma prioridade de cada arquivo de áudio.
[00123] Aqui, em MPEG-DASH, o cliente 200 realiza o controle da aquisição em unidades do arquivo de áudio. Portanto, da forma ilustrada em 9B da figura 9, 10B da figura 10, e 12B da figura 12, a unidade de geração do arquivo de segmento 113 armazena uma pluralidade de peças de dados de áudio do objeto em um arquivo de áudio, de acordo com o que, um criador de conteúdo pode controlar a combinação dos dados de áudio do objeto e sua taxa de bit. Em outras palavras, o criador de conteúdo pode prover conteúdo de áudio com a combinação dos dados de áudio do objeto pretendidos e a taxa de bit. Por outro lado, para o usuário, um grau de liberdade da aquisição dos dados de áudio do objeto diminui.
[00124] Por outro lado, em um caso em que um dos dados de áudio do objeto for armazenado em um arquivo de áudio, da forma ilustrada em 11B da figura 11, o usuário pode adquirir apenas os dados de áudio do objeto desejados, de forma que o grau de liberdade de aquisição dos dados de áudio do objeto aumente. Por outro lado, fica difícil para que o criador de conteúdo impeça que o conteúdo de áudio seja reproduzido com uma combinação não pretendida dos dados de áudio do objeto e da taxa de bit. Pelo exposto, o criador de conteúdo pode ajustar o grau de liberdade da aquisição dos dados de áudio do objeto pelo usuário, dependendo do modo de armazenamento dos dados de áudio do objeto no arquivo de áudio.
[00125] Note que o método de geração do arquivo de áudio com base na prioridade ou o método de definição da prioridade do arquivo de áudio não são limitados ao exposto, e pode ser mudado conforme apropriado. <4. Exemplo de sinalização da informação de prioridade>
[00126] Na descrição exposta, o exemplo de geração do arquivo de áudio com base na prioridade foi descrito. Subsequentemente, um exemplo de
24 / 65 sinalização da informação de prioridade será descrito. (4-1. Exemplo de sinalização no caso em que a prioridade não muda durante o tempo)
[00127] Primeiro, um exemplo de sinalização será descrito em um caso em que a prioridade não muda durante o tempo.
[00128] As prioridades de arquivos de áudio com taxas de bits diferentes que armazenam os mesmos dados de áudio do objeto iguais umas às outras. Portanto, a sinalização por AdaptationSet do arquivo MPD é apropriada. Mais especificamente, a presente descrição usa SupplementalProperty para definir inovadoramente o schemeIdUri que indica a informação de prioridade, e a unidade de geração do arquivo MPD 114 do servidor 100 armazena a informação de prioridade em um valor.
[00129] Aqui, em relação à figura 13, o exemplo de sinalização da informação de prioridade será descrito. Da forma ilustrada em 13A da figura 13, é considerado um caso em que há variações da taxa de bit de um arquivo de áudio que armazena os dados de áudio do objeto 1 e os dados de áudio do objeto 2, e variações da taxa de bit de um arquivo de áudio que armazena os dados de áudio do objeto 3 (na figura, os dados de áudio do objeto são descritos como “obj” por conveniência). Então, considera-se que a prioridade do arquivo de áudio que armazena os dados de áudio do objeto 1 e os dados de áudio do objeto 2 é 2, e a prioridade do arquivo de áudio que armazena os dados de áudio do objeto 3 é 1.
[00130] Neste caso, a unidade de geração do arquivo MPD 114 gera um arquivo MPD, da forma ilustrada em 13B. Mais especificamente, em preselectionComponents de Preselection, AdaptationSet é enumerado incluindo os dados de áudio do objeto que serão reproduzidos simultaneamente no conteúdo de áudio. O primeiro AdaptationSet é AdaptationSet (AdaptationSet cujo id é o1) do arquivo de áudio que armazena os dados de áudio do objeto 1 e os dados de áudio do objeto 2. A unidade de
25 / 65 geração do arquivo MPD 114 define SupplementalProperty que indica que a prioridade é 2 no AdaptationSet.
[00131] O segundo AdaptationSet é AdaptationSet (AdaptationSet cujo id é o2) do arquivo de áudio que armazena os dados de áudio do objeto 3. A unidade de geração do arquivo MPD 114 define SupplementalProperty que indica que a prioridade é 1 no AdaptationSet. Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode compreender a prioridade de cada arquivo de áudio com base no arquivo MPD.
[00132] Note que o exposto é meramente um exemplo, e o método de sinalização não é limitado ao exposto. Por exemplo, em vez de este SupplementalProperty ser usado, objectAcquisitionPriority pode ser adicionado como um Atributo de AdaptationSet. Mais especificamente, a unidade de geração do arquivo MPD 114 do servidor 100 pode descrever “<AdaptationSet id = “o1” objectAcquisitionPriority = “2”>” e “<AdaptationSet id = “o2” objectAcquisitionPriority = ”1”>” no arquivo MPD sem usar SupplementalProperty. (4-2. Exemplo de sinalização no caso em que a prioridade muda durante o tempo)
[00133] Na descrição exposta, o exemplo de sinalização foi descrito no caso em que a prioridade não muda durante o tempo. Subsequentemente, um exemplo de sinalização será descrito em um caso em que a prioridade muda durante o tempo.
[00134] No caso em que a prioridade muda durante o tempo, os metadados do objeto mudam durante o tempo. Portanto, se descrição for feita em uma área de MovieBox do arquivo MPD ou ISOBMFF, isto não é apropriado a partir de um ponto de vista de uma carga de processamento do servidor e um excesso de processamento no cliente aumenta. Assim, a unidade de geração do arquivo de segmento 113 do servidor 100 gera um arquivo de metadados que armazena apenas os metadados do objeto
26 / 65 correspondentes a cada um dos dados de áudio do objeto.
[00135] Por exemplo, da forma ilustrada na figura 14, é considerado um caso em que há um arquivo de áudio 1 que armazena os dados de áudio do objeto 1, os dados de áudio do objeto 2, e os correspondentes metadados do objeto 1+2, e um arquivo de áudio 2 que armazena os dados de áudio do objeto 3 e os correspondentes metadados do objeto 3. Neste caso, a unidade de geração do arquivo de segmento 113 gera um arquivo de metadados pela conversão dos metadados do objeto 1+2+3 obtidos pela integração dos metadados do objeto 1+2 e dos metadados do objeto 3 em um arquivo. Note que o arquivo de metadados é considerado como um arquivo que armazena apenas os metadados do objeto, mas não é limitado ao mesmo, e o arquivo de metadados pode armazenar outros dados conforme apropriado.
[00136] Aqui, já que o tamanho de arquivo do arquivo de metadados é menor do que o tamanho de arquivo do arquivo de áudio no qual os dados de áudio do objeto são armazenados, o cliente 200 adquire o arquivo de metadados antes da aquisição do arquivo de áudio, desse modo, sendo capaz de realizar apropriadamente o controle da aquisição do arquivo de áudio com base na informação de prioridade dos metadados do objeto 1+2+3 armazenados no arquivo.
[00137] Já que um método de armazenamento do arquivo de metadados no ISOBMFF e tratamento em MPEG-DASH não são definidos, os mesmos são inovadoramente definidos na presente descrição. A seguir, serão dadas as descrições do Formato de Arquivo de Mídia Base ISO (ISOBMFF) de arquivos de metadados em Áudio 3D MPEG-H e Áudio 3D AAC, e um método de associação entre os metadados do objeto armazenados no arquivo de metadados e os dados de áudio do objeto. (4-2-1. ISOBMFF de Áudio 3D MPEG-H)
[00138] Antes de descrever o ISOBMFF do arquivo de metadados no Áudio 3D MPEG-H, um formato de arquivo existente será descrito primeiro.
27 / 65 O Áudio 3D MPEG-H especifica um método de armazenamento dos dados de áudio do objeto e dos metadados do objeto em um arquivo de áudio. Por exemplo, da forma ilustrada em 15A da figura 15, é considerado um caso em que há o arquivo de áudio 1 que armazena os dados de áudio do objeto 1, os dados de áudio do objeto 2, e os metadados do objeto 1+2, e o arquivo de áudio 2 que armazena os dados de áudio do objeto 3 e os metadados do objeto
3.
[00139] Neste caso, o ISOBMFF de cada um do arquivo de áudio 1 e do arquivo de áudio 2 é como 15B. Mais especificamente, em cada arquivo de áudio, a Configuração do objeto incluído na amostra é descrita em MHADecoderConfigurationRecord de MHAConfigurationBox(‘mhaC’) incluído em SampleEntry de MovieBox(‘moov’). Além do mais, em MHAMultiStreamBox(‘maeM’) incluído em SampleEntry, o streamID é descrito para identificar exclusivamente cada arquivo de áudio em um caso em que o conteúdo de áudio for provido por uma pluralidade de arquivos de áudio. Cada um dos dados de amostra incluídos em MediaDataBox(‘mdat’) inclui os dados de áudio do objeto (Fluxo Contínuo Elementar (ES)) e os metadados do objeto para cada tempo.
[00140] Note que uma estrutura de Caixa do ISOBMFF descrita em relação à figura 15 e a seguir é omitida conforme apropriado. Mais especificamente, o MovieBox ilustrado em 15B da figura 15 inclui vários componentes, tais como uma Caixa Track, da forma ilustrada na figura 16. Então, SampleEntry é incluído em uma Caixa de Descrição de Amostra na estrutura da Caixa. (4-2-1-1. ISOBMFF (Exemplo 1) do arquivo de metadados em Áudio 3D MPEG-H)
[00141] Na descrição exposta, o ISOBMFF do arquivo de áudio em Áudio 3D MPEG-H foi descrito. Subsequentemente, em relação à figura 17, uma descrição será dada do ISOBMFF (Exemplo 1) do arquivo de metadados
28 / 65 em Áudio 3D MPEG-H. Mais especificamente, uma descrição será dada do ISOBMFF do arquivo de metadados em Áudio 3D MPEG-H, que armazena os metadados do objeto 1+2+3 correspondentes aos dados de áudio do objeto 1 aos dados de áudio do objeto 3 ilustrados em 15A da figura 15. Além do mais, em Áudio 3D MPEG-H, há dois tipos de métodos de armazenamento, um método RAW e um método MHAS, e o método RAW será descrito primeiro a seguir.
[00142] Aqui, a presente descrição define inovadoramente MHAMetadataSampleEntry(‘mham’). Da forma ilustrada em 17A e 17B da figura 17, num_reference_streamID e reference_streamID são descritos em SampleEntry como a informação em relação ao arquivo de áudio correspondente ao arquivo de metadados. Mais especificamente, num_reference_streamID indica o número de arquivos de áudio aos quais o arquivo de metadados corresponde, e reference_streamID indica o streamID do arquivo de áudio ao qual o arquivo de metadados corresponde.
[00143] Além do mais, SampleEntry inclui MHAMetadataConfigurationBox(‘mhmC’) para indicar os conteúdos de cada um dos metadados do objeto. O MHAMetadataConfigurationBox(‘mhmC’) inclui o mesmo MHADecoderConfigurationRecord do arquivo de áudio ilustrado em 15B da figura 15. Entretanto, em MHADecoderConfigurationRecord do arquivo de metadados, é possível indicar que apenas os metadados do objeto estão incluídos pela remoção da Configuração relacionada ao Fluxo Contínuo Elementar.
[00144] Na amostra de MediaDataBox(‘mdat’), os metadados do objeto são armazenados correspondendo ao arquivo de áudio indicado por cada streamID. Em outras palavras, a unidade de geração do arquivo de segmento 113 do servidor 100 armazena os metadados do objeto armazenados em cada arquivo de áudio na amostra no arquivo de metadados. Neste momento, o tamanho que indica o tamanho de dados de cada um dos
29 / 65 metadados do objeto é adicionado no cabeçalho de cada um dos metadados do objeto.
[00145] Note que, no presente exemplo, num_reference_streamID, reference_streamID, e similares são indicados em SampleEntry na estrutura da Caixa do ISOBMFF, mas esta não é uma limitação. Por exemplo, num_reference_streamID, reference_streamID, e similares podem ser indicados na Caixa de Descrição de Amostra, no Grupo de Amostra ou na Caixa de Informação de Subamostra.
[00146] Subsequentemente, em relação à figura 18, uma descrição será dada do ISOBMFF do método MHAS. Da forma ilustrada na figura 18, no método MHAS, MHAMetadataSampleEntry(‘mhmm’) é usado. Além do mais, no método MHAS, MHAMetadataConfigurationBox pode ser armazenado como MHAConfigurationBox na amostra e, assim, não precisa ser armazenado em SampleEntry (na figura, é ilustrado um exemplo no qual MHAMetadataConfigurationBox é armazenado em SampleEntry). Outros pontos são iguais àqueles do método RAW supradescrito e, assim, a descrição dos mesmos será omitida. (4-2-1-2. ISOBMFF (Exemplo 2) do arquivo de metadados em Áudio 3D MPEG-H)
[00147] Subsequentemente, em relação à figura 19, uma descrição será dada do método RAW do ISOBMFF (Exemplo 2) do arquivo de metadados em Áudio 3D MPEG-H.
[00148] No exemplo, os metadados do objeto 1+2+3, em que os metadados do objeto 1+2 armazenados no arquivo de áudio 1 e os metadados do objeto 3 armazenados no arquivo de áudio 2 ilustrados em 15A da figura 15 são integrados, são armazenados na amostra. Em outras palavras, a unidade de processamento de codificação 112 do servidor 100 gera os metadados do objeto 1+2+3 pela integração dos metadados do objeto 1+2 e dos metadados do objeto 3, e a unidade de geração do arquivo de segmento
30 / 65 113 armazena os metadados do objeto 1+2+3 na amostra durante a criação do arquivo de metadados.
[00149] No exemplo, o número de objetos dos metadados do objeto armazenados na amostra é indicado para cada streamID. Mais especificamente, da forma ilustrada em 19A da figura 19, é indicado que o número de objetos (object_num) dos metadados do objeto correspondentes ao arquivo de áudio 1 cujo streamID (reference_streamID) é 1 é dois. Em outras palavras, é indicado que o arquivo de áudio 1 cujo streamID é 1 armazena os dados de áudio do objeto 1 e os dados de áudio do objeto 2. Além do mais, é indicado que o número de objetos (object_num) dos metadados do objeto correspondentes ao arquivo de áudio 2 cujo streamID (reference_streamID) é 2 é um. Em outras palavras, é indicado que o arquivo de áudio 2 cujo streamID é 2 armazena os dados de áudio do objeto 3 que seguem os dados de áudio do objeto 2.
[00150] Outros itens que incluem o MHAMetadataConfigurationBox ilustrado em 19A e 19B da figura 19 são iguais àqueles descritos em relação à figura 17 e, assim, a descrição dos mesmos será omitida. Note que, no presente exemplo, reference_streamID e similares são indicados em SampleEntry na estrutura da Caixa do ISOBMFF, mas isto não é uma limitação. Por exemplo, o reference_streamID e similares podem ser indicados na Caixa de Descrição de Amostra, no Grupo de Amostra ou na Caixa de Informação de Subamostra.
[00151] A figura 20 é um diagrama que ilustra o ISOBMFF do método MHAS no presente exemplo. O mesmo é igual àquele descrito em relação à figura 18, exceto em que o número de objetos (object_num) dos metadados do objeto é indicado e, assim, a descrição do mesmo será omitida. (4-2-2. ISOBMFF de Áudio 3D AAC)
[00152] Na descrição exposta, o ISOBMFF de Áudio 3D MPEG-H foi descrito. Subsequentemente, uma descrição será dada do ISOBMFF de Áudio
31 / 65 3D AAC.
[00153] Antes de descrever o ISOBMFF do arquivo de metadados em Áudio 3D AAC, um formato de arquivo existente será descrito primeiro. Em Áudio 3D AAC, um método de realização da sinalização de uma pluralidade de arquivos de áudio não é definido, e é, assim, inovadoramente definido na presente descrição.
[00154] Mais especificamente, da forma ilustrada em 21A e 21B da figura 21, para SampleEntry, AAC3DAudioSampleEntry(‘a3a2’) que indica que a pluralidade de arquivos de áudio é usada (em um caso em que um arquivo for usado, SampleEntry(‘a3a1’) é usado). Além do mais, como a informação para realizar a sinalização da pluralidade de arquivos de áudio, MHAMultiStreamBox(‘maeM’) é usado similarmente ao caso do Áudio 3D MPEG-H. Em decorrência disto, é possível indicar um relacionamento entre os arquivos de áudio pelo uso do streamID similarmente ao case do Áudio 3D MPEG-H.
[00155] Além do mais, um relacionamento entre Tracks é indicado por uma referência à trilha. Mais especificamente, a conexão uma trilha principal (na figura 21, file1 que inclui os dados de áudio do objeto 1 e os dados de áudio do objeto 2) com uma trilha auxiliar (na figura 21, file2 que inclui os dados de áudio do objeto 3) é indicada pela referência à trilha (‘maux’) da trilha principal. Além do mais, a conexão da trilha auxiliar na trilha principal é indicada pela referência à trilha (‘mbas’) da trilha auxiliar.
[00156] Note que a estrutura da Caixa do ISOBMFF descrito em relação à figura 21 também é omitida, conforme apropriado. Mais especificamente, o MovieBox ilustrado em 21A e 21B da figura 21 inclui vários componentes, tal como a Caixa Track, da forma ilustrada na figura 16. Então, SampleEntry é incluído na Caixa de Descrição de Amostra na estrutura da Caixa (entretanto, a Entrada de Amostra não é (‘mham’) ilustrada na figura 16, mas (‘a3a2’)).
32 / 65 (4-2-2-1. ISOBMFF (Exemplo 3) do arquivo de metadados em Áudio 3D AAC)
[00157] Na descrição exposta, o ISOBMFF do arquivo de áudio em Áudio 3D AAC foi descrito. Subsequentemente, em relação à figura 22, uma descrição será dada do ISOBMFF (Exemplo 3) do arquivo de metadados em Áudio 3D AAC. Em outras palavras, uma descrição será dada do ISOBMFF do arquivo de metadados em Áudio 3D AAC, que armazena os metadados do objeto 1+2+3 correspondentes aos dados de áudio do objeto 1 aos dados de áudio do objeto 3 ilustrados em 15A da figura 15.
[00158] Na presente descrição, o A3AMetadataSampleEntry(‘a3am’) é inovadoramente definido indicando que o arquivo é um arquivo de metadados em Áudio 3D AAC. Da forma ilustrada em 22A e 22B da figura 22, num_reference_streamID e reference_streamID são descritos em SampleEntry como a informação em relação ao arquivo de áudio correspondente ao arquivo de metadados. Mais especificamente, o num_reference_streamID indica o número de arquivos de áudio aos quais o arquivo de metadados corresponde, e reference_streamID indica o streamID do arquivo de áudio aos quais o arquivo de metadados corresponde. Note que, em Áudio 3D AAC, a Configuração dos metadados do objeto é armazenada na amostra de MediaDataBox(‘mdat’) e, assim, a sinalização não é realizada em SampleEntry.
[00159] Na amostra de MediaDataBox(‘mdat’), os metadados do objeto são armazenados correspondendo ao arquivo de áudio indicado por cada streamID. Em outras palavras, a unidade de geração do arquivo de segmento 113 do servidor 100 armazena os metadados do objeto armazenados em cada arquivo de áudio na amostra no arquivo de metadados. Neste momento, o tamanho que indica o tamanho de dados de cada um dos metadados do objeto é adicionado ao cabeçalho de cada um dos metadados do objeto.
33 / 65
[00160] Aqui, em relação à estrutura da amostra, 3da_meta_data() do Áudio 3D AAC pode ser usado, ou 3da_meta_data(), que é armazenado em um DSE e é usado no Fluxo Contínuo Elementar de Áudio 3D AAC, pode ser usado. Note que a estrutura de 3da_meta_data() é da forma ilustrada na figura 45, a estrutura de 3da_meta_data() armazenada no DSE é da forma ilustrada na figura 46, e a estrutura do DSE é da forma ilustrada na figura 47. Note que a estrutura de 3da_ancillary_data armazenada em data_stream_byte no DSE ilustrado na figura 47 é da forma ilustrada na figura 48. Entretanto, em um caso em que o tamanho de 3da_meta_data() for maior do que o tamanho máximo de data_stream_byte do DSE, 3da_meta_data() é dividido e armazenado em uma pluralidade de DSEs.
[00161] Note que a estrutura da Caixa do ISOBMFF descrito em relação à figura 22 e a seguir também é omitida conforme apropriado. Mais especificamente, o MovieBox ilustrado na 22A da figura 22 inclui vários componentes, tal como a Caixa Track, da forma ilustrada na figura 16. Então, o SampleEntry é incluído na Caixa de Descrição de Amostra na estrutura da Caixa (entretanto, SampleEntry não é (‘mham’) ilustrado na figura 16, mas (‘a3am’)).
[00162] Além do mais, no presente exemplo, num_reference_streamID, reference_streamID, e similares são indicados em SampleEntry na estrutura da Caixa do ISOBMFF, mas isto não é uma limitação. Por exemplo, num_reference_streamID, reference_streamID, e similares podem ser indicados na Caixa de Descrição de Amostra, no Grupo de Amostra ou na Caixa de Informação de Subamostra. (4-2-2-2. ISOBMFF (Exemplo 4) do arquivo de metadados em Áudio 3D AAC)
[00163] Subsequentemente, em relação à figura 23, uma descrição será dada do ISOBMFF (Exemplo 4) do arquivo de metadados em Áudio 3D AAC.
34 / 65
[00164] No exemplo, os metadados do objeto 1+2+3, em que os metadados do objeto 1+2 armazenados no arquivo de áudio 1 e os metadados do objeto 3 armazenados no arquivo de áudio 2 ilustrados em 15A da figura 15 são integrados, são armazenados na amostra. Em outras palavras, a unidade de processamento de codificação 112 gera os metadados do objeto 1+2+3 pela integração dos metadados do objeto 1+2 e dos metadados do objeto 3, e a unidade de geração do arquivo de segmento 113 armazena os metadados do objeto 1+2+3 na amostra durante a criação do arquivo de metadados.
[00165] No exemplo, o número de objetos dos metadados do objeto armazenados na amostra é indicado para cada streamID. Mais especificamente, da forma ilustrada em 23A da figura 23, é indicado que o número de objetos (object_num) dos metadados do objeto correspondentes ao arquivo de áudio 1 cujo streamID (reference_streamID) é 1 é dois. Em outras palavras, é indicado que o arquivo de áudio 1 cujo streamID é 1 armazena os dados de áudio do objeto 1 e os dados de áudio do objeto 2. Além do mais, é indicado que o número de objetos (object_num) dos metadados do objeto correspondentes ao arquivo de áudio 2 cujo streamID (reference_streamID) é 2 é um. Em outras palavras, é indicado que o arquivo de áudio 2 cujo streamID é 2 armazena os dados de áudio do objeto 3 que seguem os dados de áudio do objeto 2.
[00166] Aqui, em relação à estrutura da amostra, 3da_meta_data() de Áudio 3D AAC pode ser usado, ou 3da_meta_data() que é armazenado em um DSE e é usado no Fluxo Contínuo Elementar de Áudio 3D AAC pode ser usado.
[00167] Outros itens ilustrados em 23A e 23B da figura 23 são iguais àqueles descritos em relação à figura 22 e, assim, a descrição dos mesmos será omitida. Note que, no presente exemplo, reference_streamID e similares são indicados em SampleEntry na estrutura da Caixa do ISOBMFF, mas isto
35 / 65 não é uma limitação. Por exemplo, reference_streamID e similares podem ser indicados na Caixa de Descrição de Amostra, no Grupo de Amostra ou na Caixa de Informação de Subamostra. (4-2-3. Exemplo de associação entre o arquivo de áudio e o arquivo de metadados)
[00168] Subsequentemente, uma descrição será dada de um exemplo de associação entre os arquivos de áudio e um arquivo de metadados. A presente descrição implementa a associação entre os arquivos de áudio e o arquivo de metadados pelo uso de um arquivo MPD. Aqui, na definição em relação ao arquivo MPD, um método de sinalização do arquivo de áudio é definido, mas um método de sinalização do arquivo de metadados não é definido. Assim, na presente descrição, o método de sinalização do arquivo de metadados no arquivo MPD é definido.
[00169] Por exemplo, da forma ilustrada na figura 24, é considerado um caso em que há variações da taxa de bit de um arquivo de áudio que armazena os dados de áudio do objeto 1 e os dados de áudio do objeto 2, variações da taxa de bit de um arquivo de áudio que armazena os dados de áudio do objeto 3, e um arquivo de metadados correspondente a estes arquivos de áudio. (4-2-3-1. Exemplo (Exemplo 1) de associação entre os arquivos de áudio e o arquivo de metadados)
[00170] Este exemplo é um método de facilitação da aquisição de um arquivo de metadados pela adição de uma Propriedade a um elemento de Pré- seleção. O exemplo será descrito com detalhes em relação à figura 25.
[00171] Da forma ilustrada na figura 25, o AdaptationSet que inclui os dados de áudio do objeto usados para reprodução é indicado em preselectionComponents pela Pré-seleção no arquivo MPD, de acordo com o que, a reprodução do conteúdo de áudio é implementada. Como exposto, já que a reprodução é realizada com a Pré-seleção como um ponto de partida, a
36 / 65 presente descrição realiza a sinalização de AdaptationSet do arquivo de metadados em Pré-seleção para facilitar a aquisição do arquivo de metadados.
[00172] Mais especificamente, a presente descrição adiciona “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio:object MetadataFile” value=“**””. Aqui, o valor indica o id de AdaptationSet que inclui o arquivo de metadados. Por exemplo, a unidade de processamento do arquivo MPD 212 do cliente 200 que adquiriu o arquivo MPD na figura 25 pode reconhecer a partir de SupplementalProperty incluído em Pré-seleção que o id de AdaptationSet que inclui o arquivo de metadados é “m1” (número de referência 10 na figura).
[00173] Então, para a associação entre os arquivos de áudio e o arquivo de metadados, associationId da Representação existente é usado. Mais especificamente, a unidade de processamento do arquivo MPD 212 do cliente 200 pode reconhecer que os arquivos de áudio aos quais o arquivo de metadados corresponde com base neste associationId são “o1-1”, “o1-2”, “o2- 1”, “o2-2” (número de referência 11 na figura).
[00174] Entretanto, no método do exemplo, é necessário que o cliente 200 confirme o streamID do arquivo de metadados para confirmar uma correspondência entre o streamID incluído no arquivo de metadados e o streamID de cada arquivo de áudio e, então, adquira adicionalmente cada arquivo de áudio e confirme uma parte de MovieBox(‘moov’) do arquivo de áudio. Em outras palavras, o cliente 200 adquire os arquivos de áudio desnecessários não usados para a reprodução.
[00175] Além do mais, os metadados do objeto têm os mesmos conteúdos, independente da taxa de bit, se os objetos forem iguais uns aos outros. Isto é, os metadados do objeto correspondentes aos arquivos de áudio incluídos no mesmo AdaptationSet são iguais uns aos outros. Portanto, exige- se apenas que a associação realizada com associationId seja realizada não em unidades de Representação, mas em unidades de AdaptationSet. Em outras
37 / 65 palavras, há desperdício, também, na descrição em relação à associação entre os arquivos de áudio e o arquivo de metadados. (4-2-3-2. Exemplo (Exemplo 2) de associação entre os arquivos de áudio e o arquivo de metadados)
[00176] Neste exemplo, um método de indicação do streamID do arquivo de áudio é adicionado no Exemplo 1 supradescrito. Mais especificamente, da forma ilustrada na figura 26, no AdaptationSet que inclui cada arquivo de áudio, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio:objectMetadataStreamID” value=“**”” (número de referência 12 na figura) é adicionado. O valor indica o streamID do arquivo de áudio.
[00177] Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode confirmar a correspondência entre o streamID incluído no arquivo de metadados e o streamID de cada arquivo de áudio, no arquivo MPD. Em outras palavras, o cliente 200 não precisa adquirir um arquivo de áudio desnecessário não usado para a reprodução. Note que outros conteúdos que incluem a associação entre os arquivos de áudio e o arquivo de metadados são iguais àqueles do arquivo MPD ilustrado na figura 25 e, assim, a descrição do mesmo será omitida. (4-2-3-3. Exemplo (Exemplo 3) de associação entre os arquivos de áudio e o arquivo de metadados)
[00178] Neste exemplo, o desperdício da associação entre os arquivos de áudio e o arquivo de metadados é omitido do Exemplo 2 supradescrito. Torna-se possível que o associationId para realizar a associação entre o AdaptationSet que inclui o arquivo de metadados e o AdaptationSet que inclui cada arquivo de áudio seja definido como um atributo de AdaptationSet. Mais especificamente, da forma ilustrada na figura 27, o associationId (número de referência 13 na figura) que indica o AdaptationSet do arquivo de áudio pode ser definido como um atributo de AdaptationSet que inclui o arquivo de
38 / 65 metadados. Em decorrência disto, o desperdício da descrição em relação à associação entre os arquivos de áudio e o arquivo de metadados é reduzido. Note que outros conteúdos são iguais àqueles do arquivo MPD ilustrado na figura 26 e, assim, a descrição do mesmo será omitida. (4-2-3-4. Exemplo (Exemplo 4) da associação entre os arquivos de áudio e o arquivo de metadados)
[00179] Este exemplo é um método de realização da sinalização de AdaptationSet e similares do arquivo de metadados em Pré-seleção. Mais especificamente, da forma ilustrada na figura 28, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio:objectMetadataFileAndStreamI D” value=“metadataASid,num_streamID,streamID1,audioASid1,streamID2 ,audioASid2,...streamIDk,audioASidk”” (número de referência 14 na figura) é adicionado.
[00180] Em relação ao valor, metadataASid indica o id de AdaptationSet que inclui o arquivo de metadados, e num_streamID indica o número de arquivos de áudio aos quais o arquivo de metadados corresponde (em outras palavras, o mesmo é igual a num_reference_streamID no ISOBMFF). Então, streamIDk indica o streamID do arquivo de áudio ao qual o arquivo de metadados corresponde, e o audioASidk indica o id de AdaptationSet que inclui o arquivo de áudio do streamID. (4-2-3-5. Exemplo (Exemplo 5) da associação entre os arquivos de áudio e o arquivo de metadados)
[00181] Neste exemplo, é realizada a sinalização de num_streamID, streamIDk, e audioASidk no Exemplo 4 com AdaptationSet do arquivo de metadados. Mais especificamente, da forma ilustrada na figura 29, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio:object MetadataStreamID” value= “num_streamID,streamIDk,audioASidk”” (número de referência 15 na figura) é adicionado em AdaptationSet do arquivo de metadados. Note que outros conteúdos são iguais àqueles do
39 / 65 arquivo MPD ilustrado na figura 28 e, assim, a descrição dos mesmos será omitida. <5. Exemplo de sinalização da informação da taxa de bit>
[00182] Na descrição exposta, o exemplo de sinalização da informação de prioridade foi descrito. Subsequentemente, um exemplo de sinalização da informação da taxa de bit será descrito. Mais especificamente, será descrito um exemplo de um método de indicação da informação da taxa de bit de cada um dos dados de áudio do objeto por um arquivo MPD para um caso em que uma pluralidade de peças de dados de áudio do objeto for armazenada em um arquivo de áudio. (5-1. Exemplo de sinalização no caso em que a taxa de bit não muda durante o tempo)
[00183] Primeiro, um exemplo de sinalização será descrito em um caso em que a taxa de bit não muda durante o tempo. (5-1-1. Exemplo de sinalização (Exemplo 1) no caso em que a taxa de bit não muda durante o tempo)
[00184] Este exemplo é um exemplo de sinalização da informação da taxa de bit que pode ser usada apenas em um caso em que as taxas de bits da pluralidade de peças de dados de áudio do objeto armazenadas no arquivo de áudio forem iguais umas às outras.
[00185] Por exemplo, da forma ilustrada em 30A da figura 30, é considerado um caso em que os dados de áudio do objeto 1 aos dados de áudio do objeto 3 com as taxas de bits (64 kbps) umas iguais às outras são armazenados em um arquivo de áudio. Neste caso, a unidade de geração do arquivo MPD 114 do servidor 100 gera um arquivo MPD, da forma ilustrada em 30B.
[00186] Mais especificamente, “SupplementalProperty schemeIdUri=“ urn:mpeg:DASH:objectAudio:objectNumber” value=“**”” (número de referência 16 na figura) é adicionado em Representação do arquivo MPD. O
40 / 65 valor indica o número de peças de dados de áudio do objeto armazenadas no arquivo de áudio. Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode calcular um valor obtido pela divisão a taxa de bit (“bitrate=“192.000”” na figura) da íntegra do arquivo de áudio pelo número de peças de dados de áudio do objeto, como uma taxa de bit de cada um dos dados de áudio do objeto. Note que os conteúdos do arquivo MPD descritos em relação à figura 30 e a seguir são omitidos conforme apropriado. (5-1-2. Exemplo de sinalização (Exemplo 2) no caso em que a taxa de bit não muda durante o tempo)
[00187] Este exemplo é um exemplo de sinalização da informação da taxa de bit que pode ser usada até mesmo em um caso em que as taxas de bits da pluralidade de peças de dados de áudio do objeto armazenadas em um arquivo de áudio forem diferentes umas das outras.
[00188] Por exemplo, da forma ilustrada em 31A da figura 31, é considerado um caso em que os dados de áudio do objeto 1 e os dados de áudio do objeto 2, cada qual com uma taxa de bit de 64 kbps, e os dados de áudio do objeto 3 com uma taxa de bit de 32 kbps são armazenados em um arquivo de áudio. Neste caso, a unidade de geração do arquivo MPD 114 do servidor 100 gera um arquivo MPD, da forma ilustrada em 31B.
[00189] Mais especificamente, “SupplementalProperty schemeIdUri= “urn:mpeg:DASH:objectAudio:objectBitrate” value=“bitrate1, bitrate2,...bitratek”” (número de referência 17 na figura) é adicionado em Representação do arquivo MPD. O valor indica a taxa de bit de cada um dos dados de áudio do objeto armazenados no arquivo de áudio na ordem de armazenamento dos dados de áudio do objeto. Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode reconhecer a taxa de bit de cada um dos dados de áudio do objeto. (5-1-3. Exemplo de sinalização (Exemplo 3) no caso em que a taxa de bit não
41 / 65 muda durante o tempo)
[00190] Este exemplo é um exemplo de sinalização da informação da taxa de bit que pode ser usada até mesmo em um caso em que as taxas de bits da pluralidade de peças de dados de áudio do objeto armazenadas em um arquivo de áudio forem diferentes umas das outras.
[00191] Por exemplo, da forma ilustrada em 31A da figura 31, é considerado um caso em que os dados de áudio do objeto 1 e os dados de áudio do objeto 2, cada qual com uma taxa de bit de 64 kbps, e os dados de áudio do objeto 3 com uma taxa de bit de 32 kbps são armazenados em um arquivo de áudio. Neste caso, a unidade de geração do arquivo MPD 114 do servidor 100 pode gerar um arquivo MPD, da forma ilustrada na figura 32.
[00192] Mais especificamente, “SupplementalProperty schemeIdUri=“ urn:mpeg:DASH:objectAudio:objectBitrateRatio” value=“ratio1, ratio2, ...ratiok”” (número de referência 18 na figura) é adicionado em Representação do arquivo MPD. O valor indica a razão da taxa de bit de cada um dos dados de áudio do objeto armazenados no arquivo de áudio na ordem de armazenamento dos dados de áudio do objeto. No exemplo da figura 32, o valor indica que a razão da taxa de bit de dos dados de áudio do objeto 1 pelos dados de áudio do objeto 3 é “2 : 2 : 1”.
[00193] Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode calcular a taxa de bit de cada um dos dados de áudio do objeto pelo uso da razão entre a taxa de bit (“bitrate=“160.000”” na figura) da íntegra do arquivo de áudio e a taxa de bit de cada um dos dados de áudio do objeto. Mais especificamente, a unidade de processamento do arquivo MPD 212 pode reconhecer que a taxa de bit dos dados de áudio do objeto 1 armazenados primeiro é 2/5 da taxa de bit da íntegra do arquivo de áudio (160 kbps), e calcular a taxa de bit dos dados de áudio do objeto 1 como 64 kbps. As taxas de bits dos dados de áudio do objeto 2 e dos dados de áudio do objeto 3 podem ser calculadas em um método similar.
42 / 65 (5-1-4. Exemplo de sinalização (Exemplo 4) no caso em que a taxa de bit não muda durante o tempo)
[00194] Este exemplo é um exemplo de sinalização da informação da taxa de bit que combina o Exemplo 1 e o Exemplo 2 supradescritos.
[00195] Por exemplo, da forma ilustrada em 31A da figura 31, é considerado um caso em que os dados de áudio do objeto 1 e os dados de áudio do objeto 2, cada qual com uma taxa de bit de 64 kbps, e os dados de áudio do objeto 3 com uma taxa de bit de 32 kbps são armazenados em um arquivo de áudio. Neste caso, a unidade de geração do arquivo MPD 114 do servidor 100 pode gerar um arquivo MPD, da forma ilustrada na figura 33.
[00196] Mais especificamente, “SupplementalProperty schemeIdUri=“ urn:mpeg:DASH:objectAudio:objectNumberBitrate” value=“number, bitrate1, bitrate2,...bitratek”” (número de referência 19 na figura) é adicionado em Representação do arquivo MPD. O número no valor indica o número de peças de dados de áudio do objeto armazenadas no arquivo de áudio, e bitratek indica a taxa de bit de cada um dos dados de áudio do objeto na ordem de armazenamento dos dados de áudio do objeto.
[00197] No exemplo, mesmo se a unidade de geração do arquivo MPD 114 do servidor 100 omitir, conforme apropriado, o número ou o bitratek supradescritos, a unidade de processamento do arquivo MPD 212 do cliente 200 pode calcular apropriadamente a taxa de bit de cada um dos dados de áudio do objeto.
[00198] Note que, em vez destes Exemplo 1 e Exemplo 2 supradescritos serem combinados, o Exemplo 1 e o Exemplo 3 podem ser combinados. Em outras palavras, a informação sobre o número de peças de dados de áudio do objeto armazenadas no arquivo de áudio, e a informação na qual a razão da taxa de bit de cada um dos dados de áudio do objeto é indicada na ordem de armazenamento dos dados de áudio do objeto pode ser indicada no arquivo MPD.
43 / 65 (5-2. Exemplo de sinalização no caso em que a taxa de bit muda durante o tempo)
[00199] Subsequentemente, um exemplo de sinalização será descrito em um caso em que a taxa de bit muda durante o tempo. Aqui, um exemplo de sinalização será descrito em um caso em que a taxa de bit muda durante o tempo dependendo da prioridade.
[00200] Por exemplo, da forma ilustrada na figura 34, é considerado um caso em que os dados de áudio do objeto 1 aos dados de áudio do objeto 3 são armazenados em um arquivo de áudio. Então, no tempo t1, a prioridade dos dados de áudio do objeto 1 é 3 e a taxa de bit dos mesmos é 64 kbps, a prioridade dos dados de áudio do objeto 2 é 2 e a taxa de bit dos mesmos é 64 kbps, e a prioridade dos dados de áudio do objeto 3 é 1 e a taxa de bit dos mesmos é 32 kbps. Então, no subsequente tempo t2, considera-se que a prioridade dos dados de áudio do objeto 2 muda para 1 e a taxa de bit dos mesmos muda para 32 kbps, e a prioridade dos dados de áudio do objeto 3 muda para 2 e a taxa de bit dos mesmos muda para 64 kbps. (5-2-1. Exemplo de sinalização (Exemplo 5) no caso em que a taxa de bit muda durante o tempo)
[00201] Este exemplo é um exemplo de sinalização que indica apenas que a taxa de bit dos dados de áudio do objeto armazenados no arquivo de áudio muda durante o tempo.
[00202] Mais especificamente, da forma ilustrada na figura 35, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio: objectDynamicBitrate”” (número de referência 20 na figura) é adicionado em Representação do arquivo MPD. Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode reconhecer que a taxa de bit dos dados de áudio do objeto muda durante o tempo, e o uso para qualquer propósito é possível. Note que os conteúdos do arquivo MPD descritos em relação à figura 35 e a seguir são omitidos conforme apropriado.
44 / 65 (5-2-2. Exemplo de sinalização (Exemplo 6) no caso em que a taxa de bit muda durante o tempo)
[00203] Este exemplo é um exemplo de sinalização que indica que a taxa de bit dos dados de áudio do objeto muda durante o tempo pela indicação que a taxa de bit dos dados de áudio do objeto armazenados no arquivo de áudio é determinada dependendo da prioridade.
[00204] Mais especificamente, da forma ilustrada na figura 36, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio: objectBitratePriority” value=“bitrate1,bitreta2,...bitratek”” (número de referência 21 na figura) é adicionado em Representação do arquivo MPD. O valor indica a taxa de bit dos dados de áudio do objeto arranjados na ordem de prioridade descendente. Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode reconhecer a taxa de bit de cada um dos dados de áudio do objeto. (5-2-3. Exemplo de sinalização (Exemplo 7) no caso em que a taxa de bit muda durante o tempo)
[00205] Este exemplo é um exemplo de sinalização que indica que a taxa de bit dos dados de áudio do objeto muda durante o tempo pela indicação que a razão da taxa de bit dos dados de áudio do objeto armazenados no arquivo de áudio é determinada dependendo da prioridade.
[00206] Mais especificamente, da forma ilustrada na figura 37, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio: objectBitrateRatioPriority” value=“ratio1,ratio2,...ratiok”” (número de referência 22 na figura) é adicionado em Representação do arquivo MPD. O valor indica a razão da taxa de bit dos dados de áudio do objeto arranjados na ordem de prioridade descendente.
[00207] Em decorrência disto, a unidade de processamento do arquivo MPD 212 do cliente 200 pode calcular a taxa de bit de cada um dos dados de áudio do objeto pelo uso da razão entre a taxa de bit (“bitrate=“160.000”” na
45 / 65 figura) da íntegra do arquivo de áudio e a taxa de bit de cada um dos dados de áudio do objeto. (5-2-4. Exemplo de sinalização (Exemplo 8) no caso em que a taxa de bit muda durante o tempo)
[00208] Este exemplo é um exemplo de sinalização que pode comutar entre um método de indicação da taxa de bit na ordem de armazenamento no arquivo de áudio e um método de indicação da taxa de bit na ordem de prioridade descendente.
[00209] Mais especificamente, da forma ilustrada na figura 38, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio: objectBitrate” value=“flag, bitrate1,bitrate2,...bitratek”” (número de referência 23 na figura) é adicionado em Representação do arquivo MPD. O indicador no valor indica se as taxas de bits são arranjadas na ordem de armazenamento no arquivo de áudio ou na ordem de prioridade descendente. Por exemplo, o fato de que o indicador é 0 indica que as taxas de bits são arranjadas na ordem de armazenamento no arquivo de áudio, e o fato de que o indicador é 1 indica que as taxas de bits são arranjadas na ordem de prioridade descendente. Além do mais, bitratek no valor indica a taxa de bit de cada um dos dados de áudio do objeto.
[00210] Note que a taxa de bit de cada um dos dados de áudio do objeto não é indicada por bitratek no valor, mas a razão da taxa de bit de cada um dos dados de áudio do objeto pode ser indicada por ratiok. Além do mais, mesmo se as prioridades dos dados de áudio do objeto incluídos no arquivo de áudio forem iguais umas às outras, um arquivo de áudio que inclui os dados de áudio do objeto com taxas de bits diferentes pode ser criado, e a sinalização supradescrita pode ser realizada. Neste caso, o cliente 200 pode selecionar um arquivo de áudio desejado pelo usuário. <6. Exemplo de sinalização da informação de descrição>
[00211] Na descrição exposta, o exemplo de sinalização da informação
46 / 65 da taxa de bit foi descrito. Subsequentemente, um exemplo de sinalização da informação de descrição será descrito.
[00212] Aqui, a informação de descrição é a informação que indica os conteúdos (ou tipo, classificação, categoria ou similares) dos dados de áudio do objeto armazenados no arquivo de áudio. Por exemplo, da forma ilustrada em 39A da figura 39, considera-se que os dados de áudio do objeto 1 aos dados de áudio do objeto 3 são armazenados em um arquivo de áudio, e os conteúdos dos mesmos são um vocal principal, um coral, e uma banda, respectivamente. Neste caso, a unidade de geração do arquivo MPD 114 do servidor 100 gera um arquivo MPD, da forma ilustrada em 39B.
[00213] Mais especificamente, “SupplementalProperty schemeIdUri=“urn:mpeg:DASH:objectAudio:objectDescription” value=“description1, description2,...descriptionk”” (número de referência 24 na figura) é adicionado em Representação do arquivo MPD. O valor indica a informação de descrição dos dados de áudio do objeto na ordem de armazenamento dos dados de áudio do objeto. Por exemplo, ““main vocal,chorus,band”” é armazenado no valor, da forma ilustrada em 39B.
[00214] Em decorrência disto, o usuário que opera o cliente 200 pode reconhecer os conteúdos dos respectivos dados de áudio do objeto e, assim, pode selecionar facilmente um arquivo de áudio desejado. Note que os conteúdos do arquivo MPD ilustrados em 39B da figura 39 são omitidos conforme apropriado. <7. Exemplo de processamento do cliente 200>
[00215] Na descrição exposta, o exemplo de sinalização da informação de descrição foi descrito. Subsequentemente, um exemplo de processamento do cliente 200 será descrito. (7-1. Exemplo de processamento do cliente 200 no caso em que a prioridade não muda durante o tempo)
[00216] Primeiro, em relação à figura 40, uma descrição será dada de
47 / 65 um exemplo de processamento do cliente 200 no caso em que a prioridade não muda durante o tempo. A figura 40 é um fluxograma que ilustra um exemplo de processamento até que o cliente 200 adquira um arquivo de áudio usado para reproduzir o conteúdo de áudio no caso em que a prioridade não muda durante o tempo.
[00217] Na etapa S1000, a unidade de processamento do arquivo MPD 212 do cliente 200 adquire, a partir de um arquivo MPD, a informação da taxa de bit dos dados de áudio do objeto armazenados em cada arquivo de áudio de AdaptationSet do arquivo MPD (ou calcula a informação da taxa de bit com base na informação do arquivo MPD). Na etapa S1004, a unidade de processamento do arquivo MPD 212 adquire a informação de prioridade a partir de objectAcquisitionPriority de SupplementalProperty de AdaptationSet.
[00218] Na etapa S1008, a unidade de seleção do arquivo de segmento 213 transmite uma combinação de arquivos de áudio em que a taxa de bit mais baixa dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade superior é maior do que ou igual à mais alta taxa de bit dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade inferior. Em outras palavras, a unidade de seleção do arquivo de segmento 213 transmite uma combinação na qual os dados de áudio do objeto de um arquivo de áudio com uma prioridade superior têm uma taxa de bit superior. Então, a unidade de seleção do arquivo de segmento 213 arranja os arquivos de áudio de saída na ordem descendente da taxa de bit total.
[00219] Aqui, um exemplo específico será descrito em relação à figura
41. Da forma ilustrada por 41A da figura 41, é considerado um caso em que há um arquivo de áudio 1-1 a um arquivo de áudio 1-3 que são variações da taxa de bit do arquivo de áudio 1 que armazena os dados de áudio do objeto 1 aos dados de áudio do objeto 3, e um arquivo de áudio 2-1 e um arquivo de
48 / 65 áudio 2-2 que são variações da taxa de bit do arquivo de áudio 2 que armazena os dados de áudio do objeto 4. Então, considera-se que a prioridade do arquivo de áudio 1 é 2, e a prioridade do arquivo de áudio 2 é 1.
[00220] Neste caso, na etapa S1008, as combinações de arquivos de áudio, em que a taxa de bit mais baixa dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade superior é maior do que ou igual à mais alta taxa de bit dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade inferior, são uma combinação 1 a uma combinação 4 ilustradas em 41B.
[00221] Então, na etapa S1012, a unidade de seleção do arquivo de segmento 213 determina uma banda de transmissão disponível. Na etapa S1016, a unidade de seleção do arquivo de segmento 213 seleciona uma combinação que pode ser transmitida na mais alta taxa de bit com base na banda de transmissão disponível das combinações transmitidas na etapa S1008, e a unidade de aquisição do arquivo de segmento 214 adquire os arquivos de áudio da combinação a partir do servidor 100.
[00222] Posteriormente, em um caso em que houver dados de segmento no próximo tempo (etapa S1020/Não), o processamento da etapa S1012 e da etapa S1016 é continuamente realizado. Em um caso em que não houver dados de segmento no próximo tempo (etapa S1020/Sim), em outras palavras, em um caso em que os dados de segmento forem adquiridos até o fim do conteúdo, uma série de etapas de processamento em relação à aquisição do arquivo de áudio termina. Os dados de segmento adquiridos na etapa S1016 são sujeitos ao processamento de decodificação, ao processamento de síntese, e similares dos dados de áudio do objeto pela unidade de processamento de decodificação 215 e pela unidade de processamento de síntese 216, de acordo com o que, o conteúdo de áudio é provido para o usuário. (7-2. Exemplo de processamento do cliente 200 no caso em que a prioridade
49 / 65 muda durante o tempo)
[00223] Subsequentemente, em relação à figura 42, uma descrição será dada de um exemplo de processamento do cliente 200 no caso em que a prioridade muda durante o tempo. A figura 42 é um fluxograma que ilustra um exemplo de processamento até que o cliente 200 adquira o arquivo de áudio usado para reproduzir o conteúdo de áudio no caso em que a prioridade muda durante o tempo.
[00224] Na etapa S1100, a unidade de processamento do arquivo MPD 212 do cliente 200 adquire, a partir de um arquivo MPD, a informação da taxa de bit dos dados de áudio do objeto armazenados em cada arquivo de áudio de AdaptationSet do arquivo MPD (ou calcula a informação da taxa de bit com base na informação do arquivo MPD). Na etapa S1104, a unidade de seleção do arquivo de segmento 213 adquire, a partir de um arquivo de metadados, as prioridades de todos os dados de áudio do objeto necessários para a reprodução no próximo tempo de reprodução.
[00225] Na etapa S1108, a unidade de seleção do arquivo de segmento 213 transmite uma combinação de arquivos de áudio em que a taxa de bit mais baixa dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade superior é maior do que ou igual à mais alta taxa de bit dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade inferior. Em outras palavras, a unidade de seleção do arquivo de segmento 213 transmite uma combinação na qual os dados de áudio do objeto de um arquivo de áudio com uma prioridade superior têm uma taxa de bit superior. Então, a unidade de seleção do arquivo de segmento 213 arranja os arquivos de áudio de saída na ordem descendente da taxa de bit total.
[00226] Aqui, um exemplo específico será descrito em relação à figura
43. Da forma ilustrada em 43A da figura 43, é considerado um caso em que há um arquivo de áudio 1-1 a um arquivo de áudio 1-3 que são variações da
50 / 65 taxa de bit do arquivo de áudio 1 que armazena os dados de áudio do objeto 1 aos dados de áudio do objeto 3, e um arquivo de áudio 2-1 e um arquivo de áudio 2-2 que são variações da taxa de bit do arquivo de áudio 2 que armazena os dados de áudio do objeto 4. Então, considera-se que a prioridade dos dados de áudio do objeto 1 é 4, a prioridade dos dados de áudio do objeto 2 é 3, a prioridade dos dados de áudio do objeto 3 é 2, a prioridade dos dados de áudio do objeto 4 é 1, e estas prioridades mudam durante o tempo. Então, considera-se que as prioridades do arquivo de áudio 1 e do arquivo de áudio 2 mudam de acordo com as mudanças nas prioridades dos dados de áudio do objeto armazenados nos respectivos arquivos de áudio.
[00227] Neste caso, na etapa S1108, as combinações dos arquivos de áudio, em que a taxa de bit mais baixa dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade superior é maior do que ou igual à mais alta taxa de bit dos dados de áudio do objeto armazenados em um arquivo de áudio com uma prioridade inferior, são a combinação 1 até a combinação 4 ilustradas em 43B.
[00228] Então, na etapa S1112, a unidade de seleção do arquivo de segmento 213 determina uma banda de transmissão disponível. Na etapa S1116, a unidade de seleção do arquivo de segmento 213 seleciona uma combinação que pode ser transmitida na mais alta taxa de bit com base na banda de transmissão disponível a partir das combinações transmitidas na etapa S1108, e a unidade de aquisição do arquivo de segmento 214 adquire os arquivos de áudio da combinação a partir do servidor 100.
[00229] Posteriormente, em um caso em que houver dados de segmento no próximo tempo (etapa S1120/Não), o processamento das etapas S1104 a S1116 é continuamente realizado. Em outras palavras, já que a prioridade muda durante o tempo, a unidade de seleção do arquivo de segmento 213 adquire continuamente as prioridades de todos os dados de áudio do objeto necessários para a reprodução no próximo tempo de
51 / 65 reprodução do arquivo de metadados adquirido conforme necessário, desse modo, respondendo apropriadamente às mudanças nas prioridades. Em um caso em que não houver dados de segmento no próximo tempo (etapa S1120/Sim), em outras palavras, em um caso em que os dados de segmento forem adquiridos até o fim do conteúdo, uma série de etapas de processamento em relação à aquisição do arquivo de áudio termina. Os dados de segmento adquiridos na etapa S1116 são sujeitos ao processamento de decodificação, ao processamento de síntese, e similares dos dados de áudio do objeto pela unidade de processamento de decodificação 215 e pela unidade de processamento de síntese 216, de acordo com o que, o conteúdo de áudio é provido para o usuário.
[00230] Note que as etapas nos fluxogramas das figuras 40 e 42 não necessariamente precisam ser processadas em ordem cronológica na ordem descrita. Em outras palavras, as etapas nos fluxogramas podem ser processadas em uma ordem diferente da ordem descrita, ou podem ser processadas em paralelo. <8. Exemplo de configuração de hardware>
[00231] Na descrição exposta, o exemplo de processamento do cliente 200 foi descrito. Subsequentemente, em relação à figura 44, um exemplo de configuração de hardware será descrito do servidor 100 ou do cliente 200.
[00232] A figura 44 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um dispositivo de processamento de informação 900 que incorpora o servidor 100 ou o cliente 200. O dispositivo de processamento de informação 900 inclui uma unidade de processamento central (CPU) 901, uma memória exclusiva de leitura (ROM) 902, uma memória de acesso aleatório (RAM) 903, um barramento hospedeiro 904, uma ponte 905, um barramento externo 906, uma interface 907, um dispositivo de entrada 908, um dispositivo de saída 909, um dispositivo de armazenamento (HDD) 910, uma unidade 911, e um dispositivo de
52 / 65 comunicação 912.
[00233] A CPU 901 funciona como um dispositivo de processamento aritmético e um dispositivo de controle, e controla a operação geral no dispositivo de processamento de informação 900 de acordo com vários programas. Além do mais, a CPU 901 pode ser um microprocessador. A ROM 902 armazena programas, parâmetros de cálculo e similares que serão usados pela CPU 901. A RAM 903 armazena temporariamente os programas que serão usados na execução da CPU 901, os parâmetros e similares que mudam conforme apropriado na execução. As mesmas são conectadas umas nas outras pelo barramento hospedeiro 904 que inclui um barramento da CPU e similares. As funções da unidade de processamento 110 ou da unidade de controle 120 do servidor 100 ou da unidade de processamento 210 ou da unidade de controle 220 do cliente 200 são implementadas pela cooperação da CPU 901, da ROM 902, e da RAM 903.
[00234] O barramento hospedeiro 904 é conectado no barramento externo 906, tal como um barramento da interconexão/interface de componente periférico (PCI) por meio da ponte 905. Note que o barramento hospedeiro 904, a ponte 905, e o barramento externo 906 não precisam ser necessariamente configurados separadamente, e estas funções podem ser implementadas em um barramento.
[00235] O dispositivo de entrada 908 inclui meio de entrada para que um usuário insira a informação, tais como um mouse, um teclado, um painel sensível ao toque, um botão, um microfone, um comutador e uma alavanca, um circuito de controle de entrada que gera um sinal de entrada com base na entrada pelo usuário e transmite o sinal de entrada para a CPU 901, e similares. O usuário que usa o dispositivo de processamento de informação 900 opera o dispositivo de entrada 908, desse modo, sendo capaz de inserir vários dados e dar uma instrução para realizar a operação de processamento para cada dispositivo.
53 / 65
[00236] O dispositivo de saída 909 inclui, por exemplo, dispositivos de exibição, tais como um dispositivo de exibição de tubo de raios catódicos (CRT), um dispositivo da tela de cristal líquido (LCD), um dispositivo de diodo orgânico emissor de luz (OLED), e uma lâmpada. Além do mais, o dispositivo de saída 909 inclui dispositivos de saída de áudio, tais como um alto-falante e fones de ouvido. O dispositivo de saída 909 transmite o conteúdo reproduzido, por exemplo. Especificamente, o dispositivo de exibição exibe vários tipos de informação, tais como dados de vídeo reproduzidos como texto ou imagens. Por outro lado, o dispositivo de saída de áudio converte os dados de áudio reproduzidos ou similares em áudio e transmite os mesmos.
[00237] O dispositivo de armazenamento 910 é um dispositivo para armazenamento de dados. O dispositivo de armazenamento 910 pode incluir uma mídia de armazenamento, um dispositivo de gravação que grava os dados na mídia de armazenamento, um dispositivo de leitura que lê os dados a partir da mídia de armazenamento, um dispositivo de deleção que deleta os dados gravados na mídia de armazenamento, e similares. O dispositivo de armazenamento 910 inclui, por exemplo, uma unidade de disco rígido (HDD). O dispositivo de armazenamento 910 aciona um disco rígido e armazena os programas executados pela CPU 901 e vários dados. A função da unidade de armazenamento 140 do servidor 100 ou da unidade de armazenamento 240 do cliente 200 é implementada pelo dispositivo de armazenamento 910.
[00238] A unidade 911 é um leitor/gravador para a mídia de armazenamento, e é incorporada no dispositivo de processamento de informação 900 ou externamente anexada no mesmo. A unidade 911 lê a informação gravada em uma mídia de armazenamento removível 913, tais como um disco magnético, um disco óptico, um disco magneto-óptico montados, ou uma memória semicondutora, e transmite a informação para a RAM 903. Além do mais, a unidade 911 também pode gravar a informação
54 / 65 na mídia de armazenamento removível 913.
[00239] O dispositivo de comunicação 912 é, por exemplo, uma interface de comunicação que inclui um dispositivo de comunicação e similares para conectar na rede de comunicações 914. A função da unidade de comunicação 130 do servidor 100 ou da unidade de comunicação 230 do cliente 200 é implementada pelo dispositivo de comunicação 912.
[00240] No exposto, as modalidades preferidas da presente descrição foram descritas com detalhes em relação aos desenhos anexos; entretanto, o escopo técnico da presente descrição não é limitado a tais exemplos. É óbvio que os versados na técnica do campo técnico da presente descrição podem conceber vários exemplos de modificação ou exemplos de correção no escopo da ideia técnica descrita nas reivindicações, e entende-se que os exemplos de modificação ou os exemplos de correção também pertencem ao escopo técnico da presente descrição.
[00241] Além do mais, os efeitos descritos na presente especificação são meramente ilustrativos ou exemplares, e não restritivos. Isto é, a tecnologia de acordo com a presente descrição pode exibir outros efeitos óbvios aos versados na técnica da descrição da presente especificação, além dos, ou no lugar dos, efeitos supradescritos.
[00242] Note que as seguintes configurações também pertencem ao escopo técnico da presente descrição.
[00243] (1) Um dispositivo de transmissão, que inclui uma unidade de transmissão que transmite dados de fluxo contínuo cuja prioridade foi definida em unidades de dados de áudio do objeto.
[00244] (2) O dispositivo de transmissão, de acordo com (1), em que os dados de fluxo contínuo são dados definidos por Transmissão Contínua Adaptativa Dinâmica MPEG sobre HTTP (DASH).
[00245] (3) O dispositivo de transmissão, de acordo com (1) ou (2),
55 / 65 que inclui adicionalmente uma unidade de processamento que gera os dados de fluxo contínuo pela inclusão de uma ou mais peças de dados de áudio do objeto em um arquivo de áudio com base em prioridade.
[00246] (4) O dispositivo de transmissão, de acordo com (3), em que a unidade de processamento define uma outra prioridade em unidades do arquivo de áudio com base em prioridade.
[00247] (5) O dispositivo de transmissão, de acordo com (3) ou (4), em que a unidade de processamento inclui a informação em relação à prioridade em um arquivo MPD para os dados de fluxo contínuo ou em um arquivo de metadados que inclui os metadados do objeto correspondentes aos dados de áudio do objeto.
[00248] (6) O dispositivo de transmissão, de acordo com (5), em que em um caso em que a prioridade não muda durante o tempo, a unidade de processamento inclui a informação em relação à prioridade no arquivo MPD.
[00249] (7) O dispositivo de transmissão, de acordo com (6), em que a unidade de processamento inclui a informação em relação à prioridade em um conjunto de adaptação (AdaptationSet) do arquivo MPD.
[00250] (8) O dispositivo de transmissão, de acordo com (5), em que em um caso em que a prioridade muda durante o tempo, a unidade de processamento inclui a informação em relação à prioridade no arquivo de metadados.
[00251] (9) O dispositivo de transmissão, de acordo com (8), em que a unidade de processamento associa o arquivo de metadados com o arquivo de áudio pelo uso do arquivo MPD.
[00252] (10) O dispositivo de transmissão, de acordo com qualquer um de (5) a (9), em que
56 / 65 a unidade de processamento inclui a informação em relação a uma taxa de bit dos dados de áudio do objeto no arquivo MPD.
[00253] (11) O dispositivo de transmissão, de acordo com (10), em que a unidade de processamento inclui a informação em relação à taxa de bit no arquivo MPD para cada um dos dados de áudio do objeto.
[00254] (12) O dispositivo de transmissão, de acordo com (10), em que a unidade de processamento inclui a informação em relação à taxa de bit no arquivo MPD para cada uma das prioridades.
[00255] (13) O dispositivo de transmissão, de acordo com (11) ou (12), em que a unidade de processamento inclui, no arquivo MPD, um indicador que indica se a informação em relação à taxa de bit deve ser incluída no arquivo MPD para cada um dos dados de áudio do objeto ou deve ser incluída no arquivo MPD para cada uma das prioridades.
[00256] (14) O dispositivo de transmissão, de acordo com qualquer um de (5) a (13), em que a unidade de processamento inclui a informação de descrição dos dados de áudio do objeto no arquivo MPD.
[00257] (15) Um método de transmissão executado por um computador, que inclui transmitir os dados de fluxo contínuo cuja prioridade foi definida em unidades de dados de áudio do objeto.
[00258] (16) Um programa para fazer com que um computador implemente transmissão dos dados de fluxo contínuo cuja prioridade foi definida em unidades de dados de áudio do objeto.
[00259] (17) Um dispositivo de recepção que inclui uma unidade de recepção que recebe os dados de fluxo contínuo cuja prioridade foi definida em unidades de dados de áudio do
57 / 65 objeto.
[00260] (18) O dispositivo de recepção, de acordo com (17), em que os dados de fluxo contínuo são dados definidos por Transmissão Contínua Adaptativa Dinâmica MPEG sobre HTTP (DASH).
[00261] (19) O dispositivo de recepção, de acordo com (17) ou (18), que inclui adicionalmente uma unidade de processamento que realiza o processamento de recepção dos dados de fluxo contínuo com base na informação em relação à prioridade incluída em um arquivo MPD para os dados de fluxo contínuo ou em um arquivo de metadados que inclui os metadados do objeto correspondentes aos dados de áudio do objeto.
[00262] (20) O dispositivo de recepção, de acordo com (19), em que, em um caso em que a prioridade não muda durante o tempo, a unidade de processamento realiza o processamento de recepção dos dados de fluxo contínuo com base na informação em relação à prioridade incluída no arquivo MPD.
[00263] (21) O dispositivo de recepção, de acordo com (19), em que em um caso em que a prioridade muda durante o tempo, a unidade de processamento realiza o processamento de recepção dos dados de fluxo contínuo com base na informação em relação à prioridade incluída no arquivo de metadados.
[00264] (22) O dispositivo de recepção, de acordo com qualquer um de (19) a (21), em que a unidade de processamento realiza a seleção e o processamento de recepção dos dados de fluxo contínuo com base na informação em relação a uma taxa de bit dos dados de áudio do objeto incluídos no arquivo MPD.
[00265] (23) O dispositivo de recepção, de acordo com qualquer um de (19) a (22), em que
58 / 65 a unidade de processamento realiza a seleção e o processamento de recepção dos dados de fluxo contínuo com base na informação de descrição dos dados de áudio do objeto incluídos no arquivo MPD.
[00266] (24) Um método de recepção executado por um computador, que inclui receber os dados de fluxo contínuo cuja prioridade foi definida em unidades de dados de áudio do objeto.
[00267] (25) Um programa para fazer com que um computador implemente recepção dos dados de fluxo contínuo cuja prioridade foi definida em unidades de dados de áudio do objeto.
[00268] Note que as seguintes configurações também pertencem ao escopo técnico da presente descrição.
[00269] (1) Um dispositivo de processamento de informação que inclui uma unidade de processamento que gera um arquivo de áudio que inclui os dados de áudio do objeto e os metadados do objeto, e um arquivo de metadados que inclui os metadados do objeto sem incluir os dados de áudio do objeto.
[00270] (2) O dispositivo de processamento de informação, de acordo com (1), em que o arquivo de metadados inclui os metadados do objeto incluídos em cada um de uma pluralidade dos arquivos de áudio.
[00271] (3) O dispositivo de processamento de informação, de acordo com (1) ou (2), em que o arquivo de metadados inclui a informação em relação a uma prioridade definida em unidades dos dados de áudio do objeto.
[00272] (4) O dispositivo de processamento de informação, de acordo com qualquer um de (1) a (3), em que
59 / 65 o arquivo de metadados e o arquivo de áudio são arquivos definidos por MP4 (Formato de Arquivo de Mídia Base ISO - ISO/IEC Parte 12).
[00273] (5) O dispositivo de processamento de informação, de acordo com (4), em que a unidade de processamento, durante a geração do arquivo de metadados, inclui a informação usada para especificar o arquivo de áudio ao qual o arquivo de metadados corresponde em uma Caixa de Filme em MP4.
[00274] (6) O dispositivo de processamento de informação, de acordo com (5), em que a unidade de processamento inclui a informação usada para especificar o arquivo de áudio ao qual o arquivo de metadados corresponde em uma Caixa de Descrição de Amostra na Caixa de Filme.
[00275] (7) O dispositivo de processamento de informação, de acordo com (6), em que a unidade de processamento inclui a informação usada para especificar o arquivo de áudio ao qual o arquivo de metadados corresponde na Entrada de Amostra na Caixa de Descrição de Amostra.
[00276] (8) O dispositivo de processamento de informação, de acordo com qualquer um de (5) a (7), em que a informação usada para especificar o arquivo de áudio inclui streamID, e os metadados do objeto incluídos no arquivo de metadados são associados com o arquivo de áudio pelo streamID.
[00277] (9) O dispositivo de processamento de informação, de acordo com qualquer um de (1) a (8), em que os metadados do objeto e os dados de áudio do objeto são dados definidos por Áudio 3D MPEG-H ou Áudio 3D AAC.
[00278] (10) O dispositivo de processamento de informação, de acordo
60 / 65 com (9), em que em um caso em que os metadados do objeto e os dados de áudio do objeto forem dados especificados pelo Áudio 3D AAC, a unidade de processamento, durante a geração do arquivo de áudio, inclui a informação que indica a correspondência entre uma pluralidade de arquivos de áudio que incluem o arquivo de áudio na Caixa de Filme em MP4.
[00279] (11) Um método de processamento de informação executado por um computador, que inclui gerar um arquivo de áudio que inclui os dados de áudio do objeto e os metadados do objeto, e um arquivo de metadados que inclui os metadados do objeto sem incluir os dados de áudio do objeto.
[00280] (12) Um programa para fazer com que um computador implemente geração de um arquivo de áudio que inclui os dados de áudio do objeto e os metadados do objeto, e um arquivo de metadados que inclui os metadados do objeto sem incluir os dados de áudio do objeto.
[00281] (13) Um dispositivo de processamento de informação que inclui uma unidade de processamento que realiza o processamento de recepção em um arquivo de áudio que inclui os dados de áudio do objeto e os metadados do objeto, e um arquivo de metadados que inclui os metadados do objeto sem incluir os dados de áudio do objeto.
[00282] (14) O dispositivo de processamento de informação, de acordo com (13), em que o arquivo de metadados inclui os metadados do objeto incluídos em cada um de uma pluralidade dos arquivos de áudio.
[00283] (15) O dispositivo de processamento de informação, de acordo com (13) ou (14), em que
61 / 65 o arquivo de metadados inclui a informação em relação a uma prioridade definida em unidades dos dados de áudio do objeto.
[00284] (16) O dispositivo de processamento de informação, de acordo com qualquer um de (13) a (15), em que o arquivo de metadados e o arquivo de áudio são arquivos definidos por MP4 (Formato de Arquivo de Mídia Base ISO - ISO/IEC Parte 12).
[00285] (17) O dispositivo de processamento de informação, de acordo com (16), em que a unidade de processamento, durante a realização do processamento de recepção no arquivo de metadados, especifica o arquivo de áudio ao qual o arquivo de metadados corresponde pelo uso da informação incluída em uma Caixa de Filme em MP4.
[00286] (18) O dispositivo de processamento de informação, de acordo com (17), em que a unidade de processamento especifica o arquivo de áudio ao qual o arquivo de metadados corresponde pelo uso da informação incluída em uma Caixa de Descrição de Amostra na Caixa de Filme.
[00287] (19) O dispositivo de processamento de informação, de acordo com (18), em que a unidade de processamento especifica o arquivo de áudio ao qual o arquivo de metadados corresponde pelo uso da informação incluída na Entrada de Amostra na Caixa de Descrição de Amostra.
[00288] (20) O dispositivo de processamento de informação, de acordo com qualquer um de (17) a (19), em que os metadados do objeto incluídos no arquivo de metadados são associados com o arquivo de áudio por streamID.
[00289] (21) O dispositivo de processamento de informação, de acordo com qualquer um de (13) a (20), em que
62 / 65 os metadados do objeto e os dados de áudio do objeto são dados definidos por Áudio 3D MPEG-H ou Áudio 3D AAC.
[00290] (22) O dispositivo de processamento de informação, de acordo com (21), em que em um caso em que os metadados do objeto e os dados de áudio do objeto forem dados especificados pelo Áudio 3D AAC, a unidade de processamento, durante a realização do processamento de recepção no arquivo de áudio, reconhece a correspondência entre uma pluralidade de arquivos de áudio que incluem o arquivo de áudio pelo uso da informação incluída na Caixa de Filme em MP4.
[00291] (23) Um método de processamento de informação executado por um computador, que inclui realizar o processamento de recepção em um arquivo de áudio que inclui os dados de áudio do objeto e os metadados do objeto, e um arquivo de metadados que inclui os metadados do objeto sem incluir os dados de áudio do objeto.
[00292] (24) Um programa para fazer com que um computador implemente realização do processamento de recepção em um arquivo de áudio que inclui os dados de áudio do objeto e os metadados do objeto, e um arquivo de metadados que inclui os metadados do objeto sem incluir os dados de áudio do objeto.
[00293] Note que as seguintes configurações também pertencem ao escopo técnico da presente descrição.
[00294] (1) Um dispositivo de processamento de informação que inclui uma unidade de processamento que define uma prioridade para cada um dos dados de áudio do objeto adquiridos, determina os dados de áudio do objeto que serão incluídos em
63 / 65 um arquivo de segmento gerado, a partir de uma ou mais peças de dados de áudio do objeto com base em prioridade, e gera uma nova prioridade a ser definida para o arquivo de segmento gerado, como informação de prioridade, com base em prioridade.
[00295] (2) O dispositivo de processamento de informação, de acordo com (1), em que a unidade de processamento gera adicionalmente um arquivo de metadados que inclui os metadados do objeto codificados, correspondentes aos dados de áudio do objeto, e os metadados do objeto incluem a informação de prioridade.
[00296] (3) O dispositivo de processamento de informação, de acordo com (1), em que em um caso em que a informação de prioridade não mudar durante o tempo, a unidade de processamento gera adicionalmente um arquivo MPD para o arquivo de segmento, e inclui a informação de prioridade no arquivo MPD.
[00297] (4) O dispositivo de processamento de informação, de acordo com (3), em que a unidade de processamento inclui a informação de prioridade em um conjunto de adaptação (AdaptationSet) do arquivo MPD.
[00298] (5) O dispositivo de processamento de informação, de acordo com (2), em que em um caso em que a informação de prioridade mudar durante o tempo, a unidade de processamento gera adicionalmente um arquivo MPD para o arquivo de segmento e o arquivo de metadados.
[00299] (6) O dispositivo de processamento de informação, de acordo com (4) ou (5), em que a unidade de processamento inclui a informação em relação a uma taxa de bit dos dados de áudio do objeto no arquivo MPD, para cada um
64 / 65 dos dados de áudio do objeto.
[00300] (7) O dispositivo de processamento de informação, de acordo com (2), em que a unidade de processamento armazena a informação usada para especificar o arquivo de segmento na Caixa de Descrição de Amostra da Caixa de Filme do arquivo de metadados.
[00301] (8) O dispositivo de processamento de informação, de acordo com (7), em que a unidade de processamento armazena a informação usada para especificar o arquivo de segmento na Entrada de Amostra na Caixa de Descrição de Amostra.
[00302] (9) O dispositivo de processamento de informação, de acordo com (8), em que a informação usada para especificar o arquivo de segmento inclui streamID para identificar exclusivamente o arquivo de segmento.
[00303] (10) Um método de processamento de informação executado por um computador, que inclui realizar o processamento de informação nos dados de fluxo contínuo cuja prioridade foi definida para cada um dos dados de áudio do objeto adquiridos.
[00304] (11) Um programa para fazer com que um computador implemente realização do processamento de informação nos dados de fluxo contínuo cuja prioridade foi definida para cada um dos dados de áudio do objeto adquiridos. Lista dos Sinais de Referência
[00305] 100 Servidor 110 Unidade de processamento 111 Unidade de aquisição de dados
65 / 65
112 Unidade de processamento de codificação 113 Unidade de geração do arquivo de segmento 114 Unidade de geração do arquivo MPD 120 Unidade de controle 130 Unidade de comunicação 140 Unidade de armazenamento 200 Cliente 210 Unidade de processamento 211 Unidade de aquisição do arquivo MPD 212 Unidade de processamento do arquivo MPD 213 Unidade de seleção do arquivo de segmento 214 Unidade de aquisição do arquivo de segmento 215 Unidade de processamento de decodificação 216 Unidade de processamento de síntese 220 Unidade de controle 230 Unidade de comunicação 240 Unidade de armazenamento 300 Internet

Claims (11)

REIVINDICAÇÕES
1. Dispositivo de processamento de informação, caracterizado pelo fato de que compreende uma unidade de processamento que define uma prioridade para cada um dos dados de áudio do objeto adquiridos, determina os dados de áudio do objeto que serão incluídos em um arquivo de segmento gerado, a partir de uma ou mais peças de dados de áudio do objeto com base na prioridade, e gera uma nova prioridade a ser definida para o arquivo de segmento gerado, como informação de prioridade, com base na prioridade.
2. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento gera adicionalmente um arquivo de metadados que inclui os metadados do objeto codificados, correspondentes aos dados de áudio do objeto, e os metadados do objeto incluem a informação de prioridade.
3. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que em um caso em que a informação de prioridade não mudar durante o tempo, a unidade de processamento gera adicionalmente um arquivo MPD para o arquivo de segmento, e inclui a informação de prioridade no arquivo MPD.
4. Dispositivo de processamento de informação de acordo com a reivindicação 3, caracterizado pelo fato de que a unidade de processamento inclui a informação de prioridade em um conjunto de adaptação (AdaptationSet) do arquivo MPD.
5. Dispositivo de processamento de informação de acordo com a reivindicação 2, caracterizado pelo fato de que em um caso em que a informação de prioridade mudar durante o tempo, a unidade de processamento gera adicionalmente um arquivo MPD para o arquivo de segmento e o arquivo de metadados.
6. Dispositivo de processamento de informação de acordo com a reivindicação 4 ou 5, caracterizado pelo fato de que a unidade de processamento inclui a informação em relação a uma taxa de bit dos dados de áudio do objeto no arquivo MPD, para cada um dos dados de áudio do objeto.
7. Dispositivo de processamento de informação de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de processamento armazena a informação usada para especificar o arquivo de segmento na Caixa de Descrição de Amostra da Caixa de Filme do arquivo de metadados.
8. Dispositivo de processamento de informação de acordo com a reivindicação 7, caracterizado pelo fato de que a unidade de processamento armazena a informação usada para especificar o arquivo de segmento na Entrada de Amostra na Caixa de Descrição de Amostra.
9. Dispositivo de processamento de informação de acordo com a reivindicação 8, caracterizado pelo fato de que a informação usada para especificar o arquivo de segmento inclui streamID para identificar exclusivamente o arquivo de segmento.
10. Método de processamento de informação executado por um computador, caracterizado pelo fato de que compreende realizar o processamento de informação nos dados de fluxo contínuo cuja prioridade foi definida para cada um dos dados de áudio do objeto adquiridos.
11. Mídia de armazenamento, caracterizado pelo fato de que compreende instruções armazenadas em si que, quando executadas por um computador, fazem com que o computador realize processamento de informação em dados de fluxo contínuo cuja prioridade foi definida para cada um dos dados de áudio do objeto adquiridos.
Petição 870200076547, de 19/06/2020, pág. 79/196 conteúdo de áudio informação do ambiente de reprodução metadados de objeto (posição do alto-falante, número de alto-falantes)
dados do áudio do objeto 1 1/47 dados do áudio do objeto 2 cliente (renderizador exemplo do ambiente de do objeto) reprodução: 2ch, 5.1ch, 22.2ch dados do áudio do objeto 3 dados do áudio do objeto n
Petição 870200076547, de 19/06/2020, pág. 80/196 metadados de objeto metadados de objeto dados de áudio do objeto 1 dados de áudio do objeto 1 dados de áudio do objeto 1 2/47 alta taxa de dados baixa taxa de dados alta taxa de dados dados de áudio do objeto 2 dados de áudio do objeto 2 dados de áudio do objeto 2 alta taxa de dados baixa taxa de dados alta taxa de dados dados de áudio do objeto 3 dados de áudio do objeto 3 dados de áudio do objeto 3 alta taxa de dados baixa taxa de dados baixa taxa de dados
Petição 870200076547, de 19/06/2020, pág. 81/196 metadados metadados do metadados do metadados do objeto 1+2+3 objeto 1+2+3 objeto 1+2 do objeto 1 dados de áudio dados de áudio dados de áudio dados de áudio do objeto 1 do objeto 1 do objeto 1 do objeto 1 dados de áudio dados de áudio dados de áudio do objeto 2 do objeto 2 do objeto 2 metadados 3/47 do objeto 2 dados de áudio dados de áudio do objeto 3 do objeto 3 metadados dados de áudio do objeto 3 do objeto 2 dados de áudio do objeto 3 metadados do objeto 3 dados de áudio do objeto 3 arquivo 1-1 arquivo 2-1 arquivo 3-1
Petição 870200076547, de 19/06/2020, pág. 82/196 metadados metadados metadados do objeto 1 do objeto 2 do objeto 3 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 3 4/47 arquivo 1-2 arquivo 2-2 arquivo 3-2 metadados metadados metadados do objeto 1 do objeto 2 do objeto 3 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 3 arquivo 1 arquivo 2 metadados metadados
Petição 870200076547, de 19/06/2020, pág. 83/196 do objeto 1+2 do objeto 1+2 servidor dados de áudio do objeto 1 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 2 5/47 arquivo 3 arquivo 4 metadados metadados do objeto 1+2 do objeto 1+2 dados de áudio do objeto 1 dados de áudio do objeto 1 cliente dados de áudio do objeto 2 dados de áudio do objeto 2 servidor
Petição 870200076547, de 19/06/2020, pág. 84/196 unidade de processamento unidade de aquisição unidade de de dados geração do arquivo de segmento 6/47 unidade de unidade de processamento geração do de codificação arquivo MPD unidade de unidade unidade de comunicação de controle armazenamento cliente
Petição 870200076547, de 19/06/2020, pág. 85/196 unidade de processamento unidade de unidade de seleção unidade de aquisição do do arquivo de processamento arquivo MPD segmento de decodificação 7/47 unidade de unidade de aquisição unidade de processamento do arquivo de processamento do arquivo MPD segmento de síntese unidade de unidade unidade de comunicação de controle armazenamento
Petição 870200076547, de 19/06/2020, pág. 86/196 prioridade prioridade dados de áudio do objeto 1 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 2 8/47 dados de áudio do objeto 3 dados de áudio do objeto 3 dados de áudio do objeto 4 dados de áudio do objeto 4
Petição 870200076547, de 19/06/2020, pág. 87/196 prioridade dados de áudio do objeto 1 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 2 9/47 nenhum (todos iguais) dados de áudio do objeto 3 dados de áudio do objeto 3 dados de áudio do objeto 4 dados de áudio do objeto 4
Petição 870200076547, de 19/06/2020, pág. 88/196 prioridade prioridade dados de áudio do objeto 1 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 2 10/47 dados de áudio do objeto 3 dados de áudio do objeto 3 dados de áudio do objeto 4 dados de áudio do objeto 4
Petição 870200076547, de 19/06/2020, pág. 89/196 prioridade prioridade dados de áudio do objeto 1 dados de áudio do objeto 1 dados de áudio do objeto 2 dados de áudio do objeto 2 11/47 dados de áudio do objeto 3 dados de áudio do objeto 3 dados de áudio do objeto 4 dados de áudio do objeto 4 prioridade = 2 prioridade = 1
Petição 870200076547, de 19/06/2020, pág. 90/196 arquivo 1-1 arquivo 2-1 arquivo 1-2 arquivo 2-2 12/47
Petição 870200076547, de 19/06/2020, pág. 91/196 arquivo de dados de áudio 1 arquivo de dados de áudio 2 arquivo de metadados metadados do objeto 1+2+3 metadados do objeto 3 metadados do objeto 1+2+3 13/47 dados de áudio do objeto 1 dados de áudio do objeto 3 dados de áudio do objeto 2 arquivo1 arquivo2 arquivo de metadados metadados1+2 metadados3 metadados1+2+3
Petição 870200076547, de 19/06/2020, pág. 92/196 arquivo1 amostra 14/47 metadados1+2 arquivo2 amostra metadados3
Petição 870200076547, de 19/06/2020, pág. 93/196 caixa do tipo do arquivo caixa do filme caixa da trilha caixa da referência da trilha caixa da mídia caixa da informação da mídia 15/47 caixa da tabela de amostra caixa de descrição da amostra entrada de amostra grupo de amostra (caixa da descrição do grupo da amostra, caixa da amostra para grupo)
caixa da informação da subamostra caixa de dados da mídia metadados3 amostra tamanho metadados 1+2 tamanho arquivo de metadados trilha 1 metadados amostra
1+2+3 arquivo de metadados trilha 1
Petição 870200076547, de 19/06/2020, pág. 98/196 trilha 1: trilha principal (incluindo obj1 e obj2)
amostra referência de trilha metadados dados dados 1+2(DSE) de obj1 de obj2 20/47 trilha 2: trilha auxiliar (incluindo somente obj3)
amostra referência de trilha metadados dados 3(DSE) de obj3 metadados3 amostra tamanho metadados 1+2 tamanho arquivo de metadados trilha 1 metadado1+2+3 amostra arquivo de metadados trilha 1
Petição 870200076547, de 19/06/2020, pág. 101/196 arquivo 1-1 arquivo 2-1 arquivo de metadados metadados 23/47 arquivo 1-2 arquivo 2-2 prioridade 3 prioridade 2 prioridade 1 banda coral principal vocal início adquirir a informação da taxa de bit dos dados de áudio do objeto armazenada em cada arquivo de áudio de AdaptationSet adquirir informação de prioridade a partir de de objectAcquisitionPriority de SupplementalProperty de AdaptationSet transmitir combinações dos arquivos de áudio de forma que a mais baixa taxa de bits dos arquivos de áudio que têm prioridade mais alta ≥ taxa de bit mais alta dos arquivos de áudio com prioridade mais baixa, e arranjar as mesmas na ordem da taxa de bit total determinar banda de transmissão disponível selecionar e adquirir combinação da taxa de bit mais alta com base na banda de transmissão disponível
Não aquisição de todos os arquivos de áudio necessários para reprodução foi concluída?
Sim fim arquivo 1-1 arquivo 2-1 combinação 1
Petição 870200076547, de 19/06/2020, pág. 118/196 prioridade = 2 prioridade = 1 arquivo 1-1 arquivo 2-1 arquivo 1-1 arquivo 2-2 combinação 2 arquivo 1-2 arquivo 2-2 40/47 arquivo 1-2 arquivo 2-2 combinação 3 arquivo 1-3 arquivo 1-3 arquivo 2-2 combinação 4 início adquirir a informação da taxa de bit dos dados de áudio do objeto armazenada em cada arquivo de áudio de AdaptationSet adquirir, a partir do arquivo de metadados, as prioridades de todos os dados de áudio do objeto necessários para reprodução no próximo tempo de reprodução transmitir combinações dos arquivos de áudio de forma que a mais baixa taxa de bits dos arquivos de áudio que têm prioridade superior ≥ taxa de bit mais alta dos arquivos de áudio com prioridade mais baixa, e arranjar as mesmas na ordem da taxa de bit total determinar banda de transmissão disponível selecionar e adquirir combinação da taxa de bit mais alta com base na banda de transmissão disponível
Não aquisição de todos os arquivos de áudio necessários para reprodução foi concluída?
Sim fim arquivo 1-1 arquivo 2-1 combinação 1
Petição 870200076547, de 19/06/2020, pág. 120/196 arquivo 1-1 arquivo 2-1 arquivo 1-1 arquivo 2-2 combinação 2 arquivo 1-2 arquivo 2-2 42/47 arquivo 1-2 arquivo 2-2 combinação 3 arquivo 1-3 arquivo 1-3 arquivo 2-2 prioridade 4 prioridade 3 prioridade 2 prioridade 1 combinação 4 dispositivo de processamento de informação
Petição 870200076547, de 19/06/2020, pág. 121/196 ponte 43/47 dispositivo dispositivo de dispositivo dispositivo de de entrada armazenamento unidade de saída comunicação (HDD)
mídia de gravação removível sintaxe nº de bits mnemônico
Petição 870200076547, de 19/06/2020, pág. 123/196 45/47 nota 1: 3da_extension() deve diminuir a vairável num_bits_left no número de bits lidos a partir do fluxo contínuo de bits em 3da_extension(). O elemento 3da_extension() é reservado para uso futuro. nota 2: este byte_alignment deve ser relativo ao início do 3da_meta_data()
mnemônico nº de bits sintaxe mnemônico nº de bits sintaxe
BR112020012494-0A 2017-12-28 2018-10-23 dispositivo de processamento de informação, método de processamento de informação, e, programa. BR112020012494A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-253805 2017-12-28
JP2017253805 2017-12-28
PCT/JP2018/039286 WO2019130763A1 (ja) 2017-12-28 2018-10-23 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
BR112020012494A2 true BR112020012494A2 (pt) 2020-11-24

Family

ID=67063395

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112020012494-0A BR112020012494A2 (pt) 2017-12-28 2018-10-23 dispositivo de processamento de informação, método de processamento de informação, e, programa.

Country Status (9)

Country Link
US (1) US20200321015A1 (pt)
EP (1) EP3734594A4 (pt)
JP (2) JP7226335B2 (pt)
KR (1) KR20200101349A (pt)
CN (1) CN111512634A (pt)
BR (1) BR112020012494A2 (pt)
RU (1) RU2020120328A (pt)
TW (1) TW201939960A (pt)
WO (1) WO2019130763A1 (pt)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CN111510756A (zh) * 2019-01-30 2020-08-07 上海哔哩哔哩科技有限公司 音视频的切换方法、装置、计算机设备及可读存储介质
CN114731459A (zh) * 2019-11-20 2022-07-08 杜比国际公司 用于个性化音频内容的方法和设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526427B2 (en) * 2001-03-06 2009-04-28 Ati Technologies, Inc. System and method for reception, processing and transmission of digital audio stream
DE10339498B4 (de) * 2003-07-21 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiodateiformatumwandlung
US8204359B2 (en) * 2007-03-20 2012-06-19 At&T Intellectual Property I, L.P. Systems and methods of providing modified media content
US8396577B2 (en) * 2009-08-14 2013-03-12 Dts Llc System for creating audio objects for streaming
EP2525587B1 (en) * 2011-05-17 2017-07-05 Alcatel Lucent Method for streaming video content, node in a network for monitoring video content streaming
US9445136B2 (en) * 2011-09-21 2016-09-13 Qualcomm Incorporated Signaling characteristics of segments for network streaming of media data
US20130254611A1 (en) * 2012-03-23 2013-09-26 Qualcomm Incorporated Recovering data in multimedia file segments
JP5979483B2 (ja) 2012-06-25 2016-08-24 パナソニックＩｐマネジメント株式会社 コンテンツ再生装置、コンテンツ再生システム、及びコンテンツ再生方法
CN104025604A (zh) * 2012-07-02 2014-09-03 索尼公司 传输设备、传输方法、以及网络装置
WO2015107782A1 (ja) * 2014-01-14 2015-07-23 ソニー株式会社 情報処理装置、情報記録媒体、情報処理システム、および情報処理方法、並びにプログラム
US9564136B2 (en) 2014-03-06 2017-02-07 Dts, Inc. Post-encoding bitrate reduction of multiple object audio
CN106463148B (zh) * 2014-05-30 2019-10-01 索尼公司 信息处理装置和信息处理方法
JPWO2015182491A1 (ja) 2014-05-30 2017-04-20 ソニー株式会社 情報処理装置および情報処理方法
JP6432180B2 (ja) 2014-06-26 2018-12-05 ソニー株式会社 復号装置および方法、並びにプログラム
WO2016076569A1 (ko) * 2014-11-12 2016-05-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10269387B2 (en) * 2015-09-30 2019-04-23 Apple Inc. Audio authoring and compositing
EP3467823B1 (en) 2016-05-30 2024-08-21 Sony Group Corporation Video sound processing device, video sound processing method, and program

Also Published As

Publication number Publication date
RU2020120328A3 (pt) 2021-12-20
RU2020120328A (ru) 2021-12-20
TW201939960A (zh) 2019-10-01
JP7521625B2 (ja) 2024-07-24
WO2019130763A1 (ja) 2019-07-04
JP7226335B2 (ja) 2023-02-21
EP3734594A1 (en) 2020-11-04
US20200321015A1 (en) 2020-10-08
CN111512634A (zh) 2020-08-07
JPWO2019130763A1 (ja) 2020-12-17
JP2023053131A (ja) 2023-04-12
EP3734594A4 (en) 2020-11-11
KR20200101349A (ko) 2020-08-27

Similar Documents

Publication Publication Date Title
JP7424420B2 (ja) 情報処理装置および情報処理方法
CN104253999B (zh) 用于发送内容的设备和方法
JP7521625B2 (ja) 情報処理装置および情報処理方法
US20070006064A1 (en) Aspects of media content rendering
JP5652642B2 (ja) データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
KR101963753B1 (ko) 음악의 분절별 동영상 재생 방법 및 장치
JP2012168552A (ja) オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法
BRPI0922763B1 (pt) Aparelho de reprodução de conteúdo e meio de gravação de conteúdo
US11743520B2 (en) Information processing apparatus, information processing method, and program
BR102021003482A2 (pt) Pré-armazenamento em cache seletivo de fluxos de mídia
US11967153B2 (en) Information processing apparatus, reproduction processing apparatus, and information processing method
US20240089565A1 (en) Methods and systems for providing dynamically composed personalized media assets
AU2020352977B2 (en) Audio metadata smoothing
WO2021002338A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US20210243485A1 (en) Receiving apparatus, transmission apparatus, receiving method, transmission method, and program
EP3982638A1 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
JP2019121037A (ja) 情報処理装置、情報処理方法およびプログラム
BR112016030349B1 (pt) Aparelho e método de processamento de informação

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 5A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2745 DE 15-08-2023 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.