BR112020026728A2 - Dispositivo e método de processamento de informação, e, meio de armazenamento legível por computador - Google Patents

Dispositivo e método de processamento de informação, e, meio de armazenamento legível por computador Download PDF

Info

Publication number
BR112020026728A2
BR112020026728A2 BR112020026728-7A BR112020026728A BR112020026728A2 BR 112020026728 A2 BR112020026728 A2 BR 112020026728A2 BR 112020026728 A BR112020026728 A BR 112020026728A BR 112020026728 A2 BR112020026728 A2 BR 112020026728A2
Authority
BR
Brazil
Prior art keywords
space
position information
information
child
parent
Prior art date
Application number
BR112020026728-7A
Other languages
English (en)
Inventor
Mitsuyuki Hatanaka
Toru Chinen
Minoru Tsuji
Hiroyuki Honma
Yuki Yamamoto
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112020026728A2 publication Critical patent/BR112020026728A2/pt

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

dispositivo e método de processamento de informação, e, meio de armazenamento legível por computador. a presente tecnologia se refere a um dispositivo e a um método de processamento de informação, e a um programa que tornam possível reduzir a quantidade de codificação. este dispositivo de processamento de informação é provido com: uma unidade de aquisição que adquire a informação espacial em relação à posição e ao tamanho em um espaço pai de um espaço filho incluído no espaço pai, e a informação de posição do espaço intrafilho que indica a posição no espaço filho de um objeto incluído no espaço filho; e uma unidade de cálculo que, com base na informação espacial e na informação de posição do espaço intrafilho, calcula a informação de posição do espaço intrapai que indica a posição do objeto no espaço pai. a presente tecnologia é aplicável a um dispositivo de processamento de sinal.

Description

1 / 79 DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE INFORMAÇÃO, E, MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR Campo Técnico
[001] A presente tecnologia se refere a um dispositivo a um método de processamento de informação, e a um programa, e, mais particularmente, a um dispositivo e a um método de processamento de informação, e a um programa capazes de reduzir uma quantidade de código. Fundamentos da Invenção
[002] Um padrão de codificação do grupo de especialistas em imagem em movimento (MPEG)-H padronizado como um áudio tridimensional (3D) convencional para um ponto de visualização fixo é com base na ideia de que um objeto de áudio se move em um espaço ao redor da posição de um ouvinte como é uma origem (veja, por exemplo, o Documento Não Patente 1).
[003] Por outro lado, uma tecnologia em relação a um ponto de visualização livre no qual o ouvinte pode se mover livremente em um espaço, isto é, uma posição do ponto de visualização (posição de audição) do ouvinte pode ser livremente movida, também foi proposta. Lista de Citação Documento Não Patente
[004] Documento Não Patente 1: ISO/IEC 23008-3 Tecnologia da Informação – Codificação de Alta Eficiência e Distribuição de Mídia em Ambientes Heterogêneos - Parte 3: áudio 3D Sumário da Invenção Problemas a Serem Resolvidos pela Invenção
[005] Por exemplo, na reprodução de áudio para um ponto de visualização livre, em um caso em que uma posição de cada objeto existente em um espaço é transmitida, a codificação da informação de posição é realizada na íntegra de um espaço em que todos os objetos estão incluídos.
2 / 79 Isto é, a informação de posição dos objetos em um sistema de coordenadas que inclui a íntegra do espaço é codificada.
[006] Entretanto, há um viés em locais existentes dos objetos na íntegra do espaço, e os objetos podem ficar concentrados em uma região específica no espaço. Em um caso como este, quando a informação de posição dos objetos for normalizada e codificada para a íntegra do espaço, uma quantidade de informação (quantidade de código) para expressar até mesmo uma região em que o objeto não existe realmente é exigida. Em decorrência disto, uma quantidade de código transmitida aumenta.
[007] A presente tecnologia foi feita em vista de uma situação como esta, e torna possível reduzir uma quantidade de código. Soluções para os Problemas
[008] Um dispositivo de processamento de informação de acordo com um aspecto da presente tecnologia inclui: uma unidade de aquisição que adquire a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto sendo incluído no espaço filho; e uma unidade de cálculo que calcula a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho.
[009] Um método de processamento de informação ou um programa de acordo com um aspecto da presente tecnologia incluem: adquirir a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto sendo incluído no espaço filho; e calcular a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho.
3 / 79
[0010] Em um aspecto da presente tecnologia, a informação de espaço em relação a uma posição e um tamanho de um espaço filho, que é incluído em um espaço pai, no espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto, que é incluído no espaço filho, no espaço filho são adquiridas, e a informação de posição no espaço pai que indica uma posição do objeto no espaço pai é calculada com base na informação de espaço e na informação de posição no espaço filho. Efeitos da invenção
[0011] De acordo com um aspecto da presente tecnologia, uma quantidade de código pode ser reduzida.
[0012] Note que um efeito aqui descrito não é necessariamente limitado, e pode ser qualquer efeito descrito na presente descrição. Breve Descrição dos Desenhos
[0013] A figura 1 é um diagrama para descrever um espaço pai e um espaço filho.
[0014] A figura 2 é um diagrama para descrever um sistema de coordenadas do espaço pai e do espaço filho.
[0015] A figura 3 é um diagrama para descrever a quantização.
[0016] A figura 4 é um diagrama que ilustra um exemplo de um índice de divisão e o número de divisões.
[0017] A figura 5 é um diagrama que ilustra um exemplo de quantização da informação de posição no espaço filho.
[0018] A figura 6 é um diagrama para descrever uma diferença em um comprimento de bit usado.
[0019] A figura 7 é um diagrama que ilustra um exemplo de configuração de um codificador.
[0020] A figura 8 é um fluxograma para descrever o processamento de codificação.
[0021] A figura 9 é um diagrama que ilustra um exemplo de
4 / 79 configuração de um decodificador.
[0022] A figura 10 é um fluxograma para descrever o processamento de decodificação.
[0023] A figura 11 é um diagrama que ilustra um exemplo da informação de cabeçalho.
[0024] A figura 12 é um diagrama que ilustra um exemplo da informação de espaço filho.
[0025] A figura 13 é um diagrama que ilustra um exemplo de uma solicitação de transmissão da informação de posição quantizada inicial.
[0026] A figura 14 é um diagrama que ilustra um exemplo da informação de posição quantizada inicial.
[0027] A figura 15 é um diagrama que ilustra um exemplo de uma solicitação de transmissão da informação de bit adicional.
[0028] A figura 16 é um diagrama que ilustra um exemplo da informação de bit adicional.
[0029] A figura 17 é um diagrama que ilustra um exemplo de configuração de um sistema de reprodução de conteúdo.
[0030] A figura 18 é um diagrama que ilustra um exemplo de configuração de um codificador da informação de posição de coordenada absoluta.
[0031] A figura 19 é um diagrama que ilustra um exemplo de configuração de um servidor.
[0032] A figura 20 é um diagrama que ilustra um exemplo de configuração de um cliente.
[0033] A figura 21 é um fluxograma para descrever o processamento de codificação e o processamento de armazenamento de arquivo.
[0034] A figura 22 é um fluxograma para descrever o processamento de aquisição da informação de posição e o processamento de transmissão da informação de posição.
5 / 79
[0035] A figura 23 é um fluxograma para descrever o processamento de aquisição da informação de bit adicional e o processamento de transmissão da informação de bit adicional.
[0036] A figura 24 é um diagrama que ilustra um exemplo de um espaço filho.
[0037] A figura 25 é um diagrama que ilustra um exemplo de um espaço filho.
[0038] A figura 26 é um diagrama que ilustra um exemplo da informação de cabeçalho.
[0039] A figura 27 é um diagrama que ilustra um exemplo da informação de espaço filho.
[0040] A figura 28 é um diagrama para descrever a omissão de um quadro.
[0041] A figura 29 é um diagrama que ilustra um exemplo de uma solicitação de transmissão da informação de posição quantizada inicial.
[0042] A figura 30 é um diagrama que ilustra um exemplo da informação de posição quantizada inicial.
[0043] A figura 31 é um fluxograma para descrever o processamento de aquisição da informação de posição e o processamento de transmissão da informação de posição.
[0044] A figura 32 é um diagrama que ilustra um exemplo de configuração de um computador. Modo para Realizar a Invenção
[0045] A seguir, as modalidades nas quais a presente tecnologia é aplicada serão descritas em relação aos desenhos. <Primeira modalidade> <Relativo à Presente Tecnologia>
[0046] A presente tecnologia torna possível reduzir uma quantidade de código pela conversão da informação de posição de um objeto existente em
6 / 79 um espaço pré-determinado na informação de posição em um espaço filho menor do que o espaço e pela quantização da informação de posição convertida.
[0047] Em particular, a presente tecnologia tem os seguintes recursos T(1) a T(4). Recurso T(1)
[0048] Um espaço escalonado (espaço filho) que inclui uma faixa de existência de um objeto, que é um alvo a ser codificado, é formado a partir da íntegra de um espaço (espaço pai). Recurso T(2)
[0049] Depois que a conversão de escalonamento do espaço pai para o espaço filho for realizada, a codificação e a decodificação são realizadas, e a conversão de escalonamento inversa do espaço filho para o espaço pai é realizada na informação de posição do objeto do espaço filho decodificado para restaurar o objeto no espaço pai. Recurso T(3)
[0050] Uma pluralidade de espaços diferentes é arranjada como espaços filhos e um ouvinte recebe e reproduz seletivamente um espaço filho desejado. Recurso T(4)
[0051] Um lado da decodificação gera a informação de posição do objeto interpolada a partir de uma posição de reprodução atual para um quadro imediatamente antes de um destino de quadro de omissão com base na informação do quadro de omissão e na informação de interpolação transmitidas.
[0052] Note que a informação de posição do objeto, que é o alvo a ser codificado, na presente tecnologia, não é limitada à informação de posição que indica uma posição de um objeto de áudio, e pode ser qualquer informação de posição, tal como a informação de posição ou congêneres, que
7 / 79 indica uma posição de um objeto de vídeo em uma imagem ou em um espaço virtual. A seguir, um exemplo de codificação e de decodificação da informação de posição do objeto de áudio será descrito.
[0053] Então, a presente tecnologia será descrita a seguir com mais detalhes.
[0054] Primeiro, um caso em que há uma região de um grupo de objetos localmente concentrados em um espaço pai PA11, que é a íntegra de um espaço de um sistema de coordenadas absolutas tridimensionais, da forma ilustrada pela seta Q11 da figura 1, é considerado. Note que, na figura 1, cada círculo representa um objeto (objeto de áudio).
[0055] Aqui, o espaço pai PA11 é um espaço representado por coordenadas absolutas, e uma posição no espaço pai PA11 é representada pelas coordenadas absolutas. Em outras palavras, o espaço pai PA11 é um espaço de coordenadas do sistema de coordenadas absolutas. Note que o espaço pai pode ser um espaço de coordenadas de um outro sistema de coordenadas diferente do sistema de coordenadas absolutas, tais como, por exemplo, um sistema de coordenadas polar ou congêneres, mas uma descrição será continuada a seguir tomando um caso em que o espaço pai é o espaço de coordenadas do sistema de coordenadas absolutas como um exemplo.
[0056] Por exemplo, em um caso de expressão de uma posição do objeto no espaço pai PA11, é geral representar uma posição do objeto visualizada a partir de uma origem O do sistema de coordenadas absolutas tridimensionais no espaço pai PA11 por coordenadas absolutas tridimensionais.
[0057] Por outro lado, na presente tecnologia, um dispositivo em um lado da codificação, isto é, um codificador detecta uma situação de distribuição dos objetos no espaço pai PA11, e define um pequeno espaço que circunda um grupo de objetos localmente concentrados de acordo com um resultado da detecção como um espaço filho. Neste exemplo, um pequeno
8 / 79 espaço escalado no qual uma pluralidade de objetos é incluída, por exemplo, da forma ilustrada pela seta Q12, é um espaço filho CA11.
[0058] Aqui, o espaço filho CA11 incluído no espaço pai PA11 é um espaço representado por coordenadas absolutas, e, na presente tecnologia, uma posição no espaço filho CA11 é representada por coordenadas absolutas. Em outras palavras, o espaço filho CA11 é um espaço de coordenadas do sistema de coordenadas absolutas. Note que o espaço filho pode ser um espaço de coordenadas de um outro sistema de coordenadas diferente do sistema de coordenadas absolutas, tais como, por exemplo, um sistema de coordenadas polar ou congêneres, mas uma descrição será continuada a seguir tomando um caso em que o espaço filho é o espaço de coordenadas do sistema de coordenadas absolutas como um exemplo.
[0059] Na presente tecnologia, a posição do objeto no espaço pai PA11 não é expressada por coordenadas do sistema de coordenadas absolutas do espaço pai PA11, e é expressada pela informação de espaço filho em relação a uma posição e um tamanho do espaço filho CA11 no espaço pai PA11 e coordenadas da posição do objeto no sistema de coordenadas absolutas do espaço filho CA11.
[0060] Aqui, o sistema de coordenadas do espaço pai PA11 e o sistema de coordenadas do espaço filho CA11 serão descritos em relação à figura 2. Note que, na figura 2, as partes correspondentes àquelas na figura 1 serão denotadas pelos mesmos números de referência, e uma descrição das mesmas será apropriadamente omitida.
[0061] Por exemplo, da forma ilustrada pela seta Q21 na figura 2, o espaço pai PA11 é um espaço de coordenadas de um sistema de coordenadas absolutas que usa o centro de um cubo manuseado pelo grupo de especialistas em imagem em movimento (MPEG)-H como uma origem O e inclui um total de três eixos geométricos, um eixo geométrico x, um eixo geométrico y e um eixo geométrico z.
9 / 79
[0062] No espaço pai PA11, a fim de expressar uma posição em cada direção do eixo geométrico, um valor normalizado de 0 até 1 para expressar uma posição da origem O até um final e informação de sinal positivo e negativo são exigidos. Isto é, uma coordenada X, uma coordenada Y, e uma coordenada Z que indicam as posições em cada uma de uma direção do eixo geométrico X, uma direção do eixo geométrico y, e uma direção do eixo geométrico z são valores de -1 a 1, respectivamente.
[0063] A seguir, o sistema de coordenadas absolutas do espaço pai PA11 com a origem O como uma referência também será referido como um sistema de coordenadas XYZ, e as coordenadas que indicam uma posição no sistema de coordenadas XYZ serão referidas como (x, y, z).
[0064] Além do mais, no espaço pai PA11, por exemplo, um comprimento real (distância) de uma posição em que a coordenada X é 0 até uma posição em que a coordenada X é 1 é uma distância absoluta absoluteDistance do espaço pai PA11, da forma descrita posteriormente. Por exemplo, a distância absoluta absoluteDistance é descrita em unidades de metros.
[0065] Por outro lado, da forma ilustrada pela seta Q22, na representação de coordenadas do sistema de coordenadas absolutas do espaço filho CA11, os sinais positivo e negativo não são usados a partir de um ponto de vista de facilitação da codificação da informação de posição.
[0066] Aqui, o espaço filho CA11 tem um cubo ou uma forma paralelepípeda retangular. Além do mais, o sistema de coordenadas absolutas do espaço filho CA11 é configurado de forma que um vértice do espaço filho CA11 correspondente a uma posição (-1, -1, -1) do espaço pai PA11 seja usado como uma origem O’ e cada lado use um valor normalizado de 0 a 1.
[0067] Isto é, o espaço filho CA11 é um espaço de coordenadas de um sistema de coordenadas absolutas que usa um vértice esquerdo inferior do espaço filho CA11 na figura 2 como a origem O’ e inclui um total de três
10 / 79 eixos geométricos, um eixo geométrico X, um eixo geométrico Y, e um eixo geométrico Z.
[0068] A seguir, o sistema de coordenadas absolutas do espaço filho CA11 com a origem O’ como uma referência também será referido como um sistema de coordenadas XYZ, e as coordenadas que indicam uma posição no sistema de coordenadas XYZ serão referidas como (X, Y, Z). Em particular, aqui, os valores de coordenadas de X, Y, e Z são os valores entre 0 e 1.
[0069] Note que um caso em que um valor de coordenada em cada direção do eixo geométrico do sistema de coordenadas XYZ é 0 ou mais será aqui descrito, mas o valor de coordenada em cada direção do eixo geométrico pode ser um valor negativo. Além do mais, uma forma do espaço filho CA11 não é limitada ao cubo ou à forma paralelepípeda retangular, e pode ser qualquer forma.
[0070] Em um exemplo ilustrado na figura 2, as coordenadas do sistema de coordenadas XYZ que indicam uma posição da origem O’ do espaço filho CA11 no espaço pai PA11 são (x0, y0, z0), e as coordenadas do sistema de coordenadas XYZ que indicam uma posição de um vértice diagonal da origem O’ do espaço filho CA11 são (x1, y1, z1).
[0071] Note que a informação que indica uma posição de um objeto no sistema de coordenadas XYZ, isto é, uma posição de um objeto no espaço pai, será a seguir também referida como a informação de posição no espaço pai. Além do mais, a informação que indica uma posição de um objeto no sistema de coordenadas XYZ, isto é, uma posição de um objeto no espaço filho, será a seguir também referida como a informação de posição no espaço filho.
[0072] A propósito, por exemplo, em um caso de codificação da informação de posição que indica a posição do objeto, a informação de entrada que indica a posição do objeto é a informação de posição no espaço pai que indica a posição no espaço pai. Portanto, na presente tecnologia, a
11 / 79 conversão de coordenadas (conversão de escalonamento) do espaço pai para o espaço filho, isto é, da informação de posição no espaço pai para a informação de posição no espaço filho é realizada.
[0073] Agora, quando um índice que indicar que um i-ésimo espaço filho que está no espaço pai é i e a conversão de coordenadas das coordenadas (x, y, z), que é a informação de posição no espaço pai, nas coordenadas (X, Y, Z), que é a informação de posição no espaço filho, do i-ésimo espaço filho for realizada, uma equação de conversão é da forma ilustrada na seguinte Equação (1). Representação Matemática 1
[0074] Na Equação (1), 0 ≤ X ≤ 1, 0 ≤ Y ≤ 1, e 0 ≤ Z ≤ 1. Além do mais, na Equação (1), a_x[i], b_x[i], a_y[i], b_y[i], a_z[i], e b_z[i] são os coeficientes de conversão de escalonamento do i-ésimo espaço filho, e são mostrados na seguinte Equação (2). Representação Matemática 2
[0075] Note que, na Equação (2), x0[i], y0[i], e z0[i] indicam uma coordenada X, uma coordenada Y e uma coordenada Z do sistema de coordenadas XYZ que indicam a posição da origem O’ do i-ésimo espaço filho, respectivamente, e correspondem a (x0, y0, z0) supradescrito. Além do
12 / 79 mais, x1[i], y1[i], e z1[i] indicam uma coordenada X, uma coordenada Y, e uma coordenada Z do sistema de coordenadas XYZ que indicam a posição do vértice diagonal em relação à origem O’ do i-ésimo espaço filho, respectivamente, e correspondem a (x1, y1, z1) supradescrito.
[0076] Portanto, aqui, como a conversão de coordenadas, a conversão de função usando uma função linear é realizada para cada eixo geométrico do sistema de coordenadas. Então, as inclinações a_x[i], a_y[i], e a_z[i] das funções lineares para cada eixo geométrico e as interceptações b_x[i], b_y[i], e b_z[i] das funções lineares são usadas como os parâmetros das funções lineares.
[0077] Por exemplo, na presente tecnologia, estes seis parâmetros no total podem ser usados como a informação de espaço filho em relação à posição e ao tamanho do espaço filho no espaço pai. Estes parâmetros das funções lineares são obtidos a partir das coordenadas (x0, y0, z0) da origem O’ do espaço filho e das coordenadas (x1, y1, z1) do vértice diagonal, e, assim, pode ser dito que as mesmas são substancialmente a informação que indica a posição e o tamanho do espaço filho no espaço pai.
[0078] Note que, em um caso em que for desejado adquirir diretamente a informação que indica a posição do espaço filho no espaço pai a partir de um fluxo contínuo de bits, em vez dos parâmetros das funções lineares mostrados na Equação (2) como a informação de espaço filho, as coordenadas (x0, y0, z0) da origem O’ do espaço filho no espaço pai e as coordenadas (x1, y1, z1) do vértice diagonal do espaço filho em relação à origem O’ podem ser transmitidas como a informação de espaço filho como as mesmas estão.
[0079] Entretanto, uma quantidade de cálculo no lado da decodificação é reduzida em um caso em que os parâmetros das funções lineares forem transmitidos como a informação de espaço filho, se comparado com um caso em que as coordenadas (x0, y0, z0) da origem O’, que é um
13 / 79 vértice que torna-se uma referência do espaço filho, e as coordenadas (x1, y1, z1) do vértice diagonal são transmitidas como a informação de espaço filho.
[0080] Além do mais, em um caso em que um grupo de objetos existir em uma pluralidade de locais no espaço pai, uma pluralidade de espaços filhos pode ser formada para um espaço pai.
[0081] A normalização da informação de posição do objeto de acordo com o espaço filho limitado a uma faixa na qual o objeto, que é o alvo a ser codificado, existe enquanto tal é um relacionamento similar à aplicação de um fator de escala de acordo com uma magnitude de um espectro da codificação de áudio existente.
[0082] A determinação da posição, do tamanho ou do forma do espaço filho é confiada ao codificador, mas é desejável que o espaço filho inclua todos os objetos, que são o alvo, e têm o menor volume.
[0083] Quando as coordenadas (X, Y, Z), que são a informação de posição no espaço filho, forem obtidas pela conversão de coordenadas supradescrita, a informação de posição no espaço filho é quantizada com a precisão de quantização pré-determinada para se tornar a informação de posição quantizada.
[0084] No processamento de quantização, por exemplo, da forma ilustrada na figura 3, um lado do espaço filho, isto é, um lado em uma direção do eixo geométrico é normalizado de 0 a 1, e uma mediana de uma região dividida de uma potência de 2 para um lado é um valor depois da quantização. Note que, na figura 3, com o propósito de simplicidade da explicação, o espaço filho é ilustrado para ser bidimensional em uma direção do eixo geométrico X e uma direção do eixo geométrico y.
[0085] Por exemplo, uma faixa em cada direção do eixo geométrico do espaço filho, isto é, uma faixa de coordenadas de cada eixo geométrico é de 0 a 1, mas esta faixa é dividida em 2n (aqui, 0 ≤ n), da forma ilustrada em um lado direito na figura 3, e uma mediana de cada faixa depois de ser
14 / 79 dividida é um valor representativo que pode ser tomado como o valor depois da quantização.
[0086] Um valor de n (parte de expoente) quando a faixa em cada direção do eixo geométrico for dividida em 2n será a seguir referido como um índice de divisão em particular. Este índice de divisão indica quanto a faixa em cada direção do eixo geométrico é dividida por uma potência de 2.
[0087] Por exemplo, em um exemplo ilustrado na figura 3, em um caso em que um valor do índice de divisão for 0, a faixa em cada direção do eixo geométrico é dividida em 0, isto é, não é substancialmente dividida, para que as coordenadas (X, Y, Z), que são a informação de posição no espaço filho sejam (0,5, 0,5, 0,5).
[0088] Além do mais, por exemplo, em um caso em que um valor do índice de divisão for 1, a faixa em cada direção do eixo geométrico é dividida em 2, para que as coordenadas de cada eixo geométrico da informação de posição no espaço filho sejam um valor de tanto 0,25 quanto 0,75. Note que, na figura 3, uma posição de uma marca de cunha representa um valor representativo depois da quantização.
[0089] Em um caso em que a quantização for realizada como tal, quanto maior for a potência de 2, isto é, o número de divisões determinadas pelo índice de divisão, mais alta a precisão de quantização.
[0090] Aqui, a figura 4 ilustra o número de divisões na faixa em cada direção do eixo geométrico correspondente ao índice de divisão em um caso em que o índice de divisão for 0 a 10. Na figura 4, por exemplo, em um caso em que um valor do índice de divisão for 0, o número de divisões é 0, e em um caso em que um valor do índice de divisão for 10, o número de divisões é
512.
[0091] A seguir, um índice de divisão para quantização da informação de posição no espaço filho com a mais alta precisão, isto é, um índice de divisão para quantização da informação de posição no espaço filho com a
15 / 79 menor largura da etapa de quantização é mostrado na seguinte Equação (3). Entretanto, aqui, considera-se que uma regra em que a quantização não é realizada em uma distância menor do que ou igual a uma mínima distância MinDist a partir de um ouvinte até o objeto é aplicada. A mínima distância MinDist é uma mínima distância possível do ouvinte até o objeto, e a mínima distância MinDist é determinada de forma que o ouvinte e o objeto não sobreponham um com o outro, por exemplo, em consideração de um tamanho da cabeça de um ouvinte. [Representação Matemática 3]
[0092] Note que, na Equação (3), max_exp_index_X, max_exp_index_Y, e max_exp_index_Z indicam os índices de divisão (a seguir também referidos como os índices de divisão com a mais alta precisão) do eixo geométrico X (direção X), do eixo geométrico Y (direção Y) e do eixo geométrico Z (direção Z) para quantização da informação de posição no espaço filho com a mais alta precisão, respectivamente. Além do mais, na Equação (3), INT () indica uma função INT que transmite uma parte integral de um argumento, e “^” indica uma potência.
[0093] Além do mais, na Equação (3), absoluteDistanceX, absoluteDistanceY, e absoluteDistanceZ indicam as distâncias reais (distâncias absolutas) dos lados em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y e da direção do eixo geométrico Z do espaço filho, e as unidades destas distâncias absolutas são, por exemplo,
16 / 79 metros (m). Similarmente, as unidades da mínima distância MinDist do ouvinte até o objeto são também, por exemplo, metros (m), e esta mínima distância MinDist é um valor pré-determinado, tal como um tamanho de uma cabeça de um usuário geral.
[0094] Quando os índices de divisão com a mais alta precisão forem obtidos pela Equação (3), as larguras da etapa de quantização para cada eixo geométrico do sistema de coordenadas XYZ no espaço filho são obtidas pela seguinte Equação (4). [Representação Matemática 4]
[0095] Note que, na Equação (4), step_encX, step_encY, e step_encZ indicam as larguras da etapa de quantização em relação ao eixo geométrico X, ao eixo geométrico Y e ao eixo geométrico Z do sistema de coordenadas XYZ, e “^” indica uma potência.
[0096] Além do mais, pelo cálculo da seguinte Equação (5) usando as larguras da etapa de quantização obtidas desta maneira, Qpx_high[i], Qpy_high[i], e Qpz_high[i], que são uma coordenada X, uma coordenada Y, e uma coordenada Z da informação de posição quantizada obtida pela quantização da informação de posição (X, Y, Z) no espaço filho do objeto no espaço filho com a mais alta precisão, são obtidos. Note que, na Equação (5), i é um índice que indica o espaço filho. [Representação Matemática 5]
[0097] Note que a informação de posição quantizada obtida pela quantização da informação de posição no espaço filho particularmente com
17 / 79 base no índice de divisão com precisão mais alta entre a informação de posição quantizada obtida pela quantização da informação de posição no espaço filho será a seguir referida como a informação de posição quantizada com a mais alta precisão.
[0098] Além do mais, aqui, em relação a um método de determinação do número de divisões da região em cada direção do eixo geométrico na mais alta precisão de quantização, a mínima distância MinDist do ouvinte até o objeto foi usada como uma referência, mas uma outra referência pode ser usada.
[0099] Além do mais, já que há um caso em que um maior número de divisões não são exigidas, tal como um caso em que uma distância absoluta do espaço filho é pequena, ou congêneres, se o número de divisões for limitado pela determinação de um índice de divisão limite superior do índice de divisão com precisão mais alta de acordo com a distância absoluta do espaço, um comprimento de bits desnecessário pode ser reduzido.
[00100] Além do mais, um valor quantizado da informação de posição no espaço filho, isto é, um valor da informação de posição quantizada, é obtido pela realização da divisão pelo número de divisões da potência de 2. Portanto, pela extração do comprimento de bits exigido a partir do lado do bit mais significativo (MSB) da informação de posição quantizada com a mais alta precisão, a informação de posição quantizada com precisão de quantização arbitrária pode ser obtida.
[00101] Isto é, por exemplo, a informação de posição quantizada em um caso em que um valor de coordenada “0,2” de um eixo geométrico pré- determinado da informação de posição no espaço filho for quantizado com cada precisão de quantização, isto é, cada número de divisão, é ilustrada na figura 5.
[00102] Na figura 5, os caracteres “índice de divisão”, “número de divisões de um lado de um quadrante”, e “largura da etapa de quantização”
18 / 79 indicam o índice de divisão, o número de divisões na faixa em uma direção do eixo geométrico, e a largura da etapa de quantização no momento da quantização supradescrito, respectivamente.
[00103] Além do mais, o “valor quantizado”, a “notação de bit” e o “comprimento de bits transmitido” indicam um valor de coordenada em uma direção do eixo geométrico da informação de posição quantizada (valor integral), uma notação de bit do valor de coordenada em uma direção do eixo geométrico da informação de posição quantizada, e um comprimento de bits do valor de coordenada em uma direção do eixo geométrico da informação de posição quantizada, respectivamente. Além do mais, “valor decodificado” e “erro com valor verdadeiro” indicam um valor de coordenada em uma direção do eixo geométrico da informação de posição no espaço filho obtido pela decodificação da informação de posição quantizada e um erro entre o valor de coordenada em uma direção do eixo geométrico da informação de posição no espaço filho depois da decodificação e o valor de coordenada em uma direção do eixo geométrico da informação de posição no espaço filho antes da quantização, respectivamente.
[00104] Aqui, por exemplo, considerando que o índice de divisão com a mais alta precisão é “11”, a notação de bit do valor quantizado quando a quantização for realizada com o índice de divisão com a mais alta precisão é “00110011001”.
[00105] Além do mais, por exemplo, a notação de bit do valor quantizado quando a quantização for realizada com um índice de divisão “10” com um menor número de divisões, isto é, precisão de quantização mais baixa, do que o índice de divisão com a mais alta precisão é “0011001100”.
[00106] Portanto, pode-se ver que, quando os bits forem extraídos por um comprimento de bits (10 bits) indicado pelo índice de divisão “10” a partir do lado do bit mais significativo do valor quantizado “00110011001” da informação de posição quantizada com a mais alta precisão, o valor
19 / 79 quantizado “0011001100” correspondente ao índice de divisão “10” pode ser obtido.
[00107] Isto é, pela extração dos bits da informação de posição quantizada com a mais alta precisão por um comprimento de bits correspondente ao índice de divisão proveniente do lado do bit mais significativo da informação de posição quantizada com a mais alta precisão, a informação de posição quantizada com um índice de divisão arbitrário, isto é, a precisão de quantização arbitrária, pode ser obtida.
[00108] Da forma supradescrita, o processamento para realizar a determinação do espaço filho, a conversão de coordenadas da informação de posição no espaço pai na informação de posição no espaço filho e a quantização da informação de posição no espaço filho é realizado como o processamento de codificação da informação de posição no espaço pai.
[00109] A seguir, a decodificação da informação de posição quantizada será descrita. A quantização inversa da informação de posição quantizada e a conversão inversa da informação de posição no espaço filho obtida pela quantização inversa na informação de posição no espaço pai são realizadas como o processamento de decodificação.
[00110] Por exemplo, a coordenada X, a coordenada Y, e a coordenada Z da informação de posição quantizada são Qpx_dec, Qpy_dec, e Qpz_dec, respectivamente, e os índices de divisão da coordenada X, da coordenada Y, e da coordenada Z são exp_index_fin_X, exp_index_fin_Y, e exp_index_fin_Z, respectivamente. Em particular, um índice que indica o espaço filho é referido como i, e os índices de divisão exp_index_fin_X, exp_index_fin_Y, e exp_index_fin_Z para o espaço filho são referidos como os índices de divisão exp_index_fin_X[i], exp_index_fin_Y[i], e exp_index_fin_Z[i], respectivamente.
[00111] Além do mais, uma coordenada X, uma coordenada Y, e uma coordenada Z da informação de posição no espaço filho (a seguir, também
20 / 79 referida como informação de posição decodificada no espaço filho) obtida pela quantização inversa da informação de posição quantizada são Xdec, Ydec, e Zdec, respectivamente.
[00112] Neste caso, na quantização inversa, o cálculo da seguinte Equação (6) é realizado, de maneira tal que a informação de posição decodificada no espaço filho seja obtida. Note que, na Equação (6), i é um índice que indica o espaço filho ao qual o objeto pertence, e “^” indica uma potência. [Representação Matemática 6]
[00113] Subsequentemente, quando a conversão de escalonamento inversa mostrada na seguinte Equação (7) for realizada nas coordenadas (Xdec, Ydec, Zdec) da informação de posição decodificada no espaço filho obtida desta maneira, as coordenadas (xdec, ydec, zdec) da informação de posição original no espaço pai podem ser obtidas. O cálculo da Equação (7) é a conversão inversa da supramencionada Equação (1). Note que, na Equação (7), i é um índice que indica o espaço filho ao qual o objeto pertence. [Representação Matemática 7]
[00114] Além do mais, na Equação (7), a’_x[i], b’_x[i], a’_y[i], b’_y[i], a’_z[i], e b’_z[i] são coeficientes de conversão de escalonamento inversos do i-ésimo espaço filho para o espaço pai, e são representados pela
21 / 79 seguinte Equação (8) usando a_x[i], b_x[i], a_y[i], b_y[i], a_z[i], e b_z[i] como a informação de espaço filho. [Representação Matemática 8]
[00115] Pelo processamento de decodificação exposto, as coordenadas (xdec, ydec, zdec) são obtidas como a informação de posição no espaço pai que indica a posição do objeto no espaço pai. Note que a informação de posição no espaço pai obtida pelo processamento de decodificação será a seguir apropriadamente referida como a informação de posição decodificada no espaço pai.
[00116] Pela conversão da informação de posição no espaço pai para a informação de posição no espaço filho e, então, pela realização da quantização como na presente tecnologia, uma quantidade de código da informação de posição quantizada pode ser reduzida, se comparada com um caso em que a informação de posição no espaço pai é quantizada como está. Em outras palavras, uma quantidade de código transmitida da informação de posição do objeto pode ser reduzida.
[00117] Especificamente, por exemplo, da forma ilustrada na figura 6, é considerado que uma pluralidade de objetos está concentrada e existe em uma região parcial no espaço pai PA11 e para formar um espaço filho CA11 e codificar a informação de posição dos objetos. Note que, na figura 6, as partes correspondentes àquelas na figura 1 serão denotadas pelos mesmos números de referência, e uma descrição das mesmas será apropriadamente omitida.
22 / 79
[00118] Em um exemplo ilustrado na figura 6, cada círculo representa um objeto, e um comprimento de um lado de um espaço pai PA11, que é um cubo, tem 128 m. Um espaço filho CA11 de um cubo incluído no espaço pai PA11 é formado em relação a este espaço pai PA11, e um comprimento de um lado do espaço filho CA11 tem 10 m.
[00119] Em um caso como este, por exemplo, um comprimento de bits codificados por eixo geométrico de um sistema de coordenadas exigido para tornar a precisão de uma posição 0,2 m ou menor em relação a um valor verdadeiro da informação de posição no espaço pai é 9 bits no espaço pai PA11 e 5 bits no espaço filho CA11. Isto é, quando um lado de um espaço de coordenadas tiver 128 m, 9 bits são exigidos, e, quando um lado do espaço de coordenadas tiver 10 m, 5 bits são exigidos.
[00120] Portanto, já que as coordenadas de cada espaço de coordenadas tem três eixos geométricos, por exemplo, em um caso em que a informação de posição no espaço pai for quantizada como está, 27 bits são exigidos como um comprimento de bits da informação de posição quantizada, enquanto que, em um caso em que a informação de posição no espaço filho for quantizada, apenas 15 bits são exigidos como o comprimento de bits da informação de posição quantizada para obter a informação com a mesma precisão. Como tal, em um objeto, 12 bits podem ser reduzidos.
[00121] Entretanto, em um caso em que a informação de posição no espaço filho for quantizada, a informação de espaço filho em relação a uma posição e um tamanho do espaço filho CA11 é exigida, e a informação de espaço filho é 32 × 6 = 192 bits no total, por exemplo, quando um parâmetro de uma função linear for 32 bits. Além do mais, em um caso em que a posição ou o tamanho do espaço filho não mudar em uma direção do tempo, não é necessário transmitir a informação de espaço filho para cada quadro.
[00122] Como tal, quanto maior for o número de objetos incluídos no espaço filho CA11, maior o comprimento de bits que pode ser reduzido.
23 / 79 Portanto, em um caso em que o número de objetos for grande, a informação de posição dos objetos pode ser transmitida com uma quantidade de código (comprimento de bits) em um caso de quantização da informação de posição no espaço filho menor do que em um caso de quantização da informação de posição no espaço pai como está. <Exemplo de Configuração do Codificador>
[00123] Subsequentemente, uma modalidade mais específica da presente tecnologia supradescrita será descrita.
[00124] A figura 7 é um diagrama que ilustra um exemplo de configuração de uma modalidade de um codificador no qual a presente tecnologia é aplicada.
[00125] Um codificador 11 ilustrado na figura 7 inclui uma unidade de aquisição 21, uma unidade de codificação 22, e uma unidade de comunicação
23.
[00126] A unidade de aquisição 21 adquire o número de objetos que indica o número de objetos, que são alvos a serem codificados, uma distância absoluta absoluteDistance de um espaço pai, e a informação de posição no espaço pai de cada objeto a partir de um dispositivo externo ou congêneres, e supre o número de objetos, a distância absoluta absoluteDistance do espaço pai, e a informação de posição no espaço pai de cada objeto para a unidade de codificação 22.
[00127] A unidade de codificação 22 codifica a informação de posição no espaço pai de cada objeto com base no número de objetos, na distância absoluta absoluteDistance do espaço pai, ou na informação de posição no espaço pai do objeto supridos a partir da unidade de aquisição 21, e supre os dados codificados obtidos em decorrência da codificação para a unidade de comunicação 23.
[00128] A unidade de codificação 22 inclui uma unidade de determinação do espaço filho 31, uma unidade de conversão 32, e uma
24 / 79 unidade de quantização 33.
[00129] A unidade de determinação do espaço filho 31 determina o espaço filho com base na informação de posição no espaço pai de cada objeto. A unidade de conversão 32 converte a informação de posição no espaço pai de cada objeto para a informação de posição no espaço filho com base em um resultado da determinação do espaço filho pela unidade de determinação do espaço filho 31. A unidade de quantização 33 quantiza a informação de posição no espaço filho.
[00130] A unidade de comunicação 23 transmite os dados codificados supridos a partir da unidade de codificação 22. <Descrição do Processamento de Codificação pelo Codificador>
[00131] A seguir, uma operação do codificador 11 será descrita. Isto é, o processamento de codificação pelo codificador 11 será a seguir descrito em relação a um fluxograma da figura 8.
[00132] Na etapa S11, a unidade de aquisição 21 adquire o número de objetos, a distância absoluta absoluteDistance do espaço pai, e a informação de posição no espaço pai de cada objeto e supre o número de objetos, a distância absoluta absoluteDistance do espaço pai, e a informação de posição no espaço pai de cada objeto para a unidade de codificação 22.
[00133] Na etapa S12, a unidade de determinação do espaço filho 31 determina o espaço filho com base na informação de posição no espaço pai de cada objeto suprida a partir da unidade de aquisição 21.
[00134] Por exemplo, na etapa S12, uma região de cubo (espaço) que inclui todos os objetos existentes no espaço pai e tem o menor volume é o espaço filho. Note que, por exemplo, em um caso em que uma distância entre uma pluralidade de grupos de objetos for uma distância pré-determinada ou maior, ou congêneres, o espaço filho pode ser determinado para cada um da pluralidade de grupos de objetos.
[00135] Na etapa S13, a unidade de conversão 32 converte a
25 / 79 informação de posição no espaço pai de cada objeto suprida a partir da unidade de aquisição 21 para a informação de posição no espaço filho.
[00136] Por exemplo, na etapa S13, o cálculo da supramencionada Equação (1) é realizado e a informação de posição no espaço filho é calculada pela conversão de coordenadas. Note que os parâmetros das funções lineares usados no cálculo da Equação (1) podem ser obtidos pela Equação (2) a partir do resultado da determinação do espaço filho, isto é, as coordenadas da origem O’ do espaço filho no espaço pai e as coordenadas do vértice diagonal do espaço filho em relação à origem O’.
[00137] Na etapa S14, a unidade de quantização 33 determina o índice de divisão.
[00138] Por exemplo, na etapa S14, o cálculo da supramencionada Equação (3) é realizado com base na mínima distância MinDist, no resultado da determinação do espaço filho e nas distâncias absolutas absoluteDistanceX, absoluteDistanceY, e absoluteDistanceZ pré- determinados obtidos a partir da distância absoluta absoluteDistance, de maneira tal que os índices de divisão com a mais alta precisão sejam obtidos.
[00139] Então, o índice de divisão correspondente à precisão de quantização exigida é determinado com base nos índices de divisão com a mais alta precisão. Aqui, o índice de divisão com a mais alta precisão pode ser um índice de divisão usado para a quantização como está, ou um índice de divisão que tem um valor menor do que aquele do índice de divisão com precisão mais alta pode ser um índice de divisão usado para a quantização.
[00140] Note que o índice de divisão pode ser determinado para cada eixo geométrico do sistema de coordenadas XYZ no espaço filho para cada objeto.
[00141] Na etapa S15, a unidade de quantização 33 obtém a largura da etapa de quantização pela realização do cálculo similar àquele da supramencionada Equação (4) com base no índice de divisão determinado na
26 / 79 etapa S14.
[00142] Na etapa S16, a unidade de quantização 33 quantiza a informação de posição no espaço filho de cada objeto obtida na etapa S13.
[00143] Por exemplo, na etapa S16, a largura da etapa de quantização obtida na etapa S15 é usada, de maneira tal que o cálculo similar àquele da supramencionada Equação (5) seja realizado e a quantização das coordenadas de cada eixo geométrico da informação de posição no espaço pai seja realizada. Isto é, a quantização é realizada para cada componente de coordenada de cada eixo geométrico. Portanto, a informação de posição quantizada de cada objeto é obtida.
[00144] O processamento da etapa S12 até a etapa S16 expostas é realizado como o processamento para a codificação da informação de posição no espaço pai. Note que foi aqui descrito que a informação de posição no espaço pai de todos os objetos é convertida para a informação de posição no espaço filho e é quantizada, mas apenas parte da informação de posição no espaço pai pode ser convertida para a informação de posição no espaço filho e ser quantizada, e a outra da informação de posição no espaço pai pode ser quantizada como está. Em um caso como este, por exemplo, para um objeto no qual uma distância até todos os outros objetos é uma distância pré- determinada ou maior e outros objetos não existem nas proximidades, a informação de posição no espaço pai pode ser quantizada como está.
[00145] Na etapa S17, a unidade de codificação 22 gera os dados codificados que incluem a informação de posição quantizada obtida na etapa S16, o número de objetos e a distância absoluta absoluteDistance adquiridos na etapa S11, a informação de espaço filho obtida a partir do resultado da determinação do espaço filho na etapa S12 e a informação que indica o espaço filho ao qual cada objeto pertence (a seguir, também referida como informação de pertencimento do objeto), e o índice de divisão determinado na etapa S14.
27 / 79
[00146] A unidade de codificação 22 supre os dados codificados obtidos para a unidade de comunicação 23.
[00147] Na etapa S18, a unidade de comunicação 23 transmite os dados codificados supridos a partir da unidade de codificação 22, e o processamento de codificação termina.
[00148] De uma maneira como esta, o codificador 11 converte a informação de posição no espaço pai para a informação de posição no espaço filho pela conversão de coordenadas, e quantiza a informação de posição no espaço filho para gerar os dados codificados. Fazendo isto, uma quantidade de código da informação de posição quantizada pode ser reduzida, se comparada com um caso em que a informação de posição no espaço pai é codificada (quantizada) como está. <Exemplo de Configuração do Decodificador>
[00149] Além do mais, os dados codificados transmitidos a partir do codificador 11 são supridos para um decodificador diretamente ou por meio de um outro dispositivo ou uma mídia de gravação e são decodificados pelo decodificador.
[00150] Aqui, um decodificador que decodifica os dados codificados transmitidos pelo codificador 11 será descrito. A figura 9 ilustra um exemplo de configuração de uma modalidade de um decodificador no qual a presente tecnologia é aplicada.
[00151] Um decodificador 61 ilustrado na figura 9 inclui uma unidade de aquisição 71, uma unidade de decodificação 72, e uma unidade de saída
73.
[00152] A unidade de aquisição 71 adquire os dados codificados pela recepção dos dados codificados transmitidos pelo codificador 11, aquisição dos dados codificados a partir de um outro dispositivo ou leitura dos dados codificados a partir da mídia de gravação, e supre os dados codificados para a unidade de decodificação 72.
28 / 79
[00153] A unidade de decodificação 72 desempacota os dados codificados supridos a partir da unidade de aquisição 71, decodifica a informação de posição quantizada extraída a partir dos dados codificados para obter a informação de posição no espaço pai de cada objeto. A unidade de decodificação 72 inclui uma unidade de quantização inversa 81 e uma unidade de conversão 82.
[00154] A unidade de quantização inversa 81 quantiza inversamente a informação de posição quantizada de cada objeto e calcula a informação de posição no espaço filho. A unidade de conversão 82 converte a informação de posição no espaço filho para a informação de posição no espaço pai usando a informação de espaço filho extraída a partir dos dados codificados. Além do mais, a unidade de conversão 82 calcula uma posição de um objeto absoluto não normalizado no espaço pai pela multiplicação da informação de posição no espaço pai pela distância absoluta absoluteDistance extraída a partir dos dados codificados, e supre a informação de posição obtida em decorrência do cálculo para a unidade de saída 73.
[00155] A unidade de decodificação 72 que inclui uma unidade de quantização inversa 81 e uma unidade de conversão 82 como estas funciona como uma unidade de cálculo que calcula a informação de posição no espaço pai que indica a posição do objeto no espaço pai com base na informação de espaço e na informação de posição quantizada, que é a informação de posição quantizada no espaço filho.
[00156] A unidade de saída 73 transmite a informação de posição que indica a posição do objeto no espaço pai suprida a partir da unidade de decodificação 72 para o estágio subsequente. <Descrição do Processamento de Decodificação pelo Decodificador>
[00157] A seguir, uma operação do decodificador 61 será descrita. Isto é, o processamento de decodificação pelo decodificador 61 será descrito a seguir em relação a um fluxograma da figura 10.
29 / 79
[00158] Na etapa S41, a unidade de aquisição 71 adquire os dados codificados e supre os dados codificados para a unidade de decodificação 72. A unidade de decodificação 72 desempacota os dados codificados supridos a partir da unidade de aquisição 71 para extrair a informação de posição quantizada de cada objeto, o número de objetos, a distância absoluta absoluteDistance, a informação de espaço filho, a informação de pertencimento do objeto, e o índice de divisão.
[00159] Na etapa S42, a unidade de quantização inversa 81 quantiza inversamente a informação de posição quantizada de cada objeto pelo cálculo da supramencionada Equação (6) com base na informação de posição quantizada e no índice de divisão. Portanto, a informação de posição no espaço filho (informação de posição decodificada no espaço filho) é obtida.
[00160] Na etapa S43, a unidade de conversão 82 realiza a conversão de escalonamento inversa em cada objeto com base na informação de posição no espaço filho obtida na etapa S42 e na informação de espaço filho para converter a informação de posição no espaço filho para a informação de posição no espaço pai.
[00161] Por exemplo, na etapa S43, os coeficientes de conversão de escalonamento inversos são obtidos a partir dos parâmetros das funções lineares como a informação de espaço filho pela supramencionada Equação (8), e o cálculo da Equação (7) é adicionalmente realizado com base nos coeficientes de conversão de escalonamento inversos e na informação de posição decodificada no espaço filho, de maneira tal que a informação de posição decodificada no espaço pai seja calculada.
[00162] Quando a informação de posição decodificada no espaço pai de cada objeto for obtida desta maneira, a unidade de conversão 82 obtém a informação de posição que indica as posições dos objetos no espaço pai pela multiplicação da informação de posição decodificada no espaço pai pelo distância absoluta absoluteDistance, e supre a informação de posição para a
30 / 79 unidade de saída 73.
[00163] Neste momento, a unidade de conversão 82 também supre o número de objetos ou a informação de pertencimento do objeto para a unidade de saída 73, se necessário, e a unidade de saída 73 transmite a informação de posição do objeto, o número de objetos, ou a informação de pertencimento do objeto supridos a partir da unidade de conversão 82 para o estágio subsequente.
[00164] O processamento da etapa S42 e da etapa S43 expostas é o processamento para a decodificação da informação de posição quantizada para obter a informação de posição no espaço pai. Quando a informação de posição do objeto for transmitida desta maneira, o processamento de decodificação termina.
[00165] De uma maneira como esta, o decodificador 61 quantiza inversamente a informação de posição quantizada e converte a informação de posição no espaço filho obtida em decorrência da quantização inversa para a informação de posição no espaço pai. Fazendo isto, uma quantidade de código da informação que indica a posição do objeto pode ser reduzida, se comparada com um caso em que a informação de posição no espaço pai é codificada (quantizada) como está. <Segunda Modalidade> <Relativo à Distribuição do Conteúdo>
[00166] A propósito, a presente tecnologia também pode ser usada para arranjar os conteúdos de um ponto de visualização livre que inclui pelo menos os dados de áudio de um objeto de áudio. Neste caso, por exemplo, os dados de áudio como um conteúdo e a informação de posição de um objeto de áudio (objeto) como a informação auxiliar do conteúdo são transmitidos a partir de um servidor para um cliente.
[00167] Em um caso em que a informação de posição quantizada que indica uma posição do objeto for transmitida como a informação auxiliar do
31 / 79 conteúdo do servidor para o cliente como tal, o servidor pode manter a supramencionada informação de posição quantizada com a mais alta precisão em antecipação como a informação de posição quantizada.
[00168] Neste caso, torna-se possível para o servidor gerar a informação de posição quantizada com precisão de quantização arbitrária a partir da informação de posição quantizada com a mais alta precisão de acordo com uma condição ou congêneres de um lado do cliente, isto é, um lado do ouvinte, e suprir a informação de posição quantizada gerada para o cliente.
[00169] Por exemplo, em um caso em que não houver limitação sobre uma velocidade de comunicação, o servidor pode transmitir a informação de posição quantizada com a mais alta precisão com a mais alta precisão de quantização para o cliente como está. Por outro lado, por exemplo, em um caso em que houver uma limitação sobre uma velocidade da comunicação ou congêneres, uma taxa de bit de transmissão da informação de posição quantizada pode ser abaixada pela transmissão da informação de posição quantizada com precisão de quantização mais baixa do que a mais alta precisão para o cliente de acordo com qualquer condição.
[00170] A condição aqui mencionada pode ser uma condição com base, por exemplo, em uma distância real de um ouvinte até o objeto em um espaço pai, uma situação de banda de uma linha de transmissão, ou congêneres.
[00171] Especificamente, por exemplo, em um sentido auditivo humano, em uma direção horizontal, há um conhecimento de que um ângulo em uma certa faixa na esquerda e na direita em relação a um objeto frontal seja reconhecido como o mesmo ângulo que um ângulo frontal, e este ângulo é chamado de um ângulo limite de percepção.
[00172] Portanto, se uma condição em que uma largura da etapa de quantização é menor do que uma distância na direção horizontal
32 / 79 correspondente ao ângulo limite de percepção em uma certa posição do objeto visualizada a partir do ouvinte for satisfeita, mesmo embora a informação de posição quantizada com qualquer precisão de quantização seja adquirida, em um caso em que um som estiver localizado em uma posição do objeto obtida a partir da informação de posição quantizada, o ouvinte não sente um desvio de uma posição da imagem do som. Em outras palavras, se a informação de posição quantizada tiver uma largura da etapa de quantização igual a ou menor do que uma tolerância devido ao ângulo limite de percepção, o ouvinte não irá sentir o desvio da posição da imagem do som.
[00173] Portanto, por exemplo, se a informação de posição quantizada, quantizada com a maior largura da etapa de quantização que não excede a distância na direção horizontal correspondente ao ângulo limite de percepção, for selecionada com base na distância real do ouvinte até o objeto e no ângulo limite de percepção, uma quantidade de código da informação de posição quantizada pode ser reduzida e uma taxa de bit de transmissão pode ser reduzida sem fazer com que o ouvinte sinta o desvio da posição da imagem do som.
[00174] Além do mais, por exemplo, a informação de posição quantizada com precisão de quantização de acordo com um estado de banda de uma linha de transmissão que transmite a informação de posição quantizada pode ser adquirida. Neste caso, por exemplo, quando houver uma margem em uma banda de transmissão da linha de transmissão, é apenas exigido adquirir a informação de posição quantizada com a mais alta precisão, e, quando uma banda de transmissão da linha de transmissão for estreita, é apenas exigido adquirir a informação de posição quantizada com a precisão de quantização mais baixa, que é determinada para a largura de banda de transmissão.
[00175] Além do mais, é necessário transmitir a informação necessária para a decodificação pelo cliente, tais como o número de objetos, uma
33 / 79 distância absoluta absoluteDistance, ou congêneres, do servidor para o cliente para cada quadro ou congêneres dos dados de áudio.
[00176] Portanto, é apenas exigido transmitir a informação necessária, tais como o número de objetos, a distância absoluta absoluteDistance ou congêneres, pela transmissão, por exemplo, da informação de cabeçalho ilustrada na figura 11 do servidor para o cliente.
[00177] Em um exemplo ilustrado na figura 11, a informação de cabeçalho inclui uma distância absoluta absoluteDistance que indica um tamanho do espaço pai indicado por um caractere “absoluteDistance”, a informação de espaço filho indicada por um caractere “ChildAreaInfo()”, e o número de objetos que estão no espaço pai indicado por um caractere “nobjs”.
[00178] Além do mais, na informação de cabeçalho, os índices que indicam o espaço filho ao qual os objetos pertencem são armazenados como a informação de pertencimento do objeto pelo número correspondente ao número de objetos, isto é, para cada objeto. Aqui, um caractere “ChildAreaIndexForObj[i]” indica a informação de pertencimento do objeto de um i-ésimo objeto.
[00179] Além do mais, um formato da parte da informação de espaço filho “ChildAreaInfo()” incluída na informação de cabeçalho é da forma ilustrada na figura 12, por exemplo.
[00180] Em um exemplo ilustrado na figura 12, a informação de espaço filho inclui o número de espaços filhos que indica o número de espaços filhos incluídos no espaço pai, que é indicado por um caractere “numOfChildArea”.
[00181] Além do mais, na informação de espaço filho, os índices de divisão com a mais alta precisão em cada direção do eixo geométrico e os parâmetros das funções lineares são armazenados pelo número correspondente ao número de espaços filhos.
[00182] Isto é, os caracteres “max_exp_index_X[i]”,
34 / 79 “max_exp_index_Y[i]”, e “max_exp_index_Z[i]” indicam os índices de divisão com a mais alta precisão em cada uma de uma direção do eixo geométrico X, uma direção do eixo geométrico y, e uma direção do eixo geométrico z para um i-ésimo espaço filho, respectivamente.
[00183] Além do mais, os caracteres “a_x[i]”, “a_y[i]”, e “a_z[i]” são os parâmetros que indicam as inclinações das funções lineares em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para o i-ésimo espaço filho, respectivamente. Além do mais, os caracteres “b_x[i]”, “b_y[i]”, e “b_z[i]” são os parâmetros que indicam as interceptações das funções lineares em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para o i-ésimo espaço filho, respectivamente. Estas inclinações e interceptações das funções lineares são os coeficientes de conversão de escalonamento ilustrados na supramencionada Equação (2).
[00184] Note que a informação de cabeçalho pode ser transmitida para o cliente para cada quadro ou pode ser transmitida em um caso em que uma mudança no número, nas posições ou nos tamanhos dos espaços filhos ocorrer. Além do mais, a informação de cabeçalho pode ser transmitida em intervalos de quadro constantes.
[00185] Além do mais, em um caso em que um objeto se mover para fora do espaço filho ao qual o mesmo pertence, é apenas exigido atualizar a informação de pertencimento do objeto, de forma que o objeto pertença a um outro espaço filho existente ou um novo espaço filho. Neste caso, a informação de cabeçalho que inclui a informação de pertencimento do objeto atualizada é transmitida do servidor para o cliente.
[00186] Além do mais, se a informação de posição quantizada com a mais alta precisão for mantida no servidor, como exposto, o cliente pode adquirir a informação de posição quantizada com a precisão de quantização arbitrária a partir do servidor.
35 / 79
[00187] Por exemplo, mesmo depois que o cliente tiver adquirido a informação de posição quantizada com a precisão de quantização pré- determinada, é possível obter a informação de posição quantizada com a precisão de quantização mais alta do que aquela da informação de posição quantizada já adquirida.
[00188] Especificamente, primeiro, a informação de posição quantizada que o cliente adquire inicialmente a partir do servidor é referida como a informação de posição quantizada inicial.
[00189] Note que a informação de posição quantizada inicial é a informação de posição quantizada com a precisão de quantização menor do que ou igual à mais alta precisão correspondente ao índice de divisão com precisão mais alta incluído na informação de cabeçalho. Portanto, também é possível adquirir a informação de posição quantizada com a mais alta precisão como a informação de posição quantizada inicial.
[00190] O cliente adquire a informação de posição quantizada inicial a partir do servidor pela transmissão, por exemplo, de uma solicitação de transmissão da informação de posição quantizada inicial de um formato do fluxo contínuo de bits ilustrado na figura 13 para o servidor.
[00191] Em um exemplo ilustrado na figura 13, na solicitação de transmissão da informação de posição quantizada inicial, um índice de divisão correspondente à precisão de quantização com a qual a transmissão é solicitada é armazenado em cada direção do eixo geométrico para cada objeto.
[00192] Isto é, os caracteres “exp_index_inicial_x[i]”, “exp_index_inicial_y[i]”, e “exp_index_inicial_z[i]” indicam os índices de divisão em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para um i-ésimo objeto, respectivamente.
[00193] O servidor que recebeu uma solicitação de transmissão da informação de posição quantizada inicial como esta transmite a informação de
36 / 79 posição quantizada com a precisão de quantização correspondente aos índices de divisão incluídos na solicitação de transmissão da informação de posição quantizada inicial para cada direção do eixo geométrico como a informação de posição quantizada inicial para o cliente para cada objeto.
[00194] Por exemplo, em um exemplo ilustrado na figura 5, em um caso em que o índice de divisão incluído na solicitação de transmissão da informação de posição quantizada inicial for “3”, a informação de posição quantizada “001” correspondente a um índice de divisão “3” é transmitida como a informação de posição quantizada inicial para o cliente.
[00195] Especificamente, a informação de posição quantizada inicial é transmitida do servidor para o cliente em um formato do fluxo contínuo de bits ilustrado na figura 14, por exemplo.
[00196] Em um exemplo ilustrado na figura 14, no fluxo contínuo de bits, a informação de posição quantizada inicial é armazenada para cada direção do eixo geométrico para cada objeto.
[00197] Aqui, os caracteres “Xpos_inicial[i]”, “Ypos_inicial[i]”, e “Zpos_inicial[i]” indicam a informação de posição quantizada inicial em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para o i-ésimo objeto, mais especificamente, os valores de coordenadas dos componentes em cada direção do eixo geométrico que configuram a informação de posição quantizada inicial, respectivamente.
[00198] No cliente, em um caso em que for desejado obter adicionalmente a informação de posição quantizada com a precisão de quantização mais alta do que aquela da informação de posição quantizada inicial depois da aquisição da informação de posição quantizada inicial desta maneira, a informação de bit adicional, que é a informação de diferença entre a informação de posição quantizada e a informação de posição quantizada inicial, é adquirida.
[00199] No cliente, pela adição da informação de bit adicional em um
37 / 79 lado do bit inferior da informação de posição quantizada inicial, a informação de posição quantizada com a precisão de quantização mais alta do que aquela da informação de posição quantizada inicial é obtida.
[00200] Especificamente, por exemplo, no exemplo ilustrado na figura 5, considera-se que a informação de posição quantizada “001” correspondente ao índice de divisão “3” foi adquirida como a informação de posição quantizada inicial, mas foi desejado finalmente obter a informação de posição quantizada “00110” correspondente a um índice de divisão “5”.
[00201] Neste caso, o cliente adquire “10”, que é a informação de diferença entre a informação de posição quantizada inicial “001” e a informação de posição quantizada “00110” que deseja-se finalmente obter, como a informação de bit adicional. Então, o cliente pode obter a informação de posição quantizada “00110” com a precisão de quantização que deseja-se finalmente obter pela adição da informação de bit adicional recentemente adquirida “10” em um lado do bit inferior da informação de posição quantizada inicial já adquirida “001”.
[00202] Em um caso em que o cliente adquirir a informação de bit adicional a partir do servidor como tal, o cliente seleciona um modo de solicitação no momento da aquisição da informação de bit adicional de acordo com uma situação ou congêneres da banda de transmissão. Então, o cliente transmite uma solicitação de transmissão da informação de bit adicional para solicitar que o servidor transmita a informação de bit adicional para o servidor, em um formato de acordo com o modo de solicitação selecionado.
[00203] Aqui, por exemplo, a solicitação de transmissão da informação de bit adicional ilustrada na figura 15 é transmitida para o servidor.
[00204] Em um exemplo ilustrado na figura 15, a solicitação de transmissão da informação de bit adicional inclui a informação que indica um modo de solicitação indicado por um caractere “request_mode”. Por exemplo, há três modos de solicitação: modo comum, modo comum do espaço filho, e
38 / 79 modo individual.
[00205] O modo comum é um modo para solicitar a informação de bit adicional para cada direção do eixo geométrico de todos os objetos, de forma que um comprimento de bits da informação de bit adicional adicionalmente adquirida para cada direção do eixo geométrico seja o mesmo umas das outras em todas os objetos. Por exemplo, no modo comum, um comprimento de bits a ser adicionado para cada direção do eixo geométrico, isto é, a precisão de quantização a ser adicionalmente aumentada pode ser selecionada.
[00206] Além do mais, o modo comum do espaço filho é um modo para solicitar a informação de bit adicional para cada direção do eixo geométrico de todos os objetos que pertencem ao espaço filho para um ou mais espaços filhos desejados, de forma que um comprimento de bits da informação de bit adicional a ser adicionalmente adquirida para cada direção do eixo geométrico seja o mesmo umas das outras em todos os objetos que pertencem ao mesmo espaço filho. Por exemplo, mesmo no modo comum do espaço filho, o comprimento de bits a ser adicionado para cada direção do eixo geométrico pode ser selecionado. Note que, no modo comum do espaço filho, há um espaço filho que solicita a informação de bit adicional e um espaço filho que não solicita a informação de bit adicional.
[00207] Além do mais, o modo individual é um modo para solicitar individualmente a informação de bit adicional para cada objeto. No modo individual, pode ser selecionado se ou não solicita-se a informação de bit adicional para cada objeto, e a informação de bit adicional pode ser solicitada de forma que a informação de posição quantizada com a desejada precisão de quantização seja obtida para cada direção do eixo geométrico para cada objeto.
[00208] Na figura 15, por exemplo, em um caso em que o modo de solicitação indicado pelo caractere “request_mode” indicar o modo comum, da forma mostrada em uma parte de um caractere “case 0”, na solicitação de
39 / 79 transmissão da informação de bit adicional, a informação indicada pelos caracteres “addbit_x”, “addbit_y”, e “addbit_z” e que indica um comprimento de bits adicional em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z é armazenada.
[00209] Por exemplo, se a informação que indica o comprimento de bits adicional for a informação que indica 3 bits, a informação de bit adicional de 3 bits adicionada na informação de posição quantizada inicial é transmitida como a informação de bit adicional.
[00210] Além do mais, em um caso em que o modo de solicitação indicado pelo caractere “request_mode” indicar o modo comum do espaço filho, da forma mostrada em uma parte de um caractere “case 1”, na solicitação de transmissão da informação de bit adicional, a informação indicada por um caractere “num_of_addprec_childArea” e que indica o número de espaços filhos que solicitam a informação de bit adicional é armazenada.
[00211] Neste caso, adicionalmente, na solicitação de transmissão da informação de bit adicional, os índices indicados por um caractere “addprec_childArea_index[i]” e que indicam os espaços filhos que solicitam a informação de bit adicional e “addbit_x[i]”, “addbit_y[i]”, e “addbit_z[i]” que indicam os comprimentos de bit adicionais em cada direção do eixo geométrico nos espaços filhos são armazenados pelo número dos espaços filhos que solicitam a informação de bit adicional. Em particular, aqui, os caracteres “addbit_x[i]”, “addbit_y[i]”, e “addbit_z[i]” são a informação que indica os comprimentos de bit adicionais em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z, respectivamente.
[00212] Além do mais, em um caso em que o modo de solicitação indicado pelo caractere “request_mode” indicar o modo individual, da forma mostrada em uma parte de um caractere “case 2”, na solicitação de
40 / 79 transmissão da informação de bit adicional, a informação indicada por um caractere “num_of_addprec_objects” e que indica o número de objetos que solicitam a informação de bit adicional é armazenada.
[00213] Neste caso, adicionalmente, na solicitação de transmissão da informação de bit adicional, os índices indicados por um caractere “addprec_object_index[i]” e que indica os objetos que solicitam a informação de bit adicional e “addbit_x[i]”, “addbit_y[i]”, e “addbit_z[i]” que indicam os comprimentos de bit adicionais em cada direção do eixo geométrico dos objetos são armazenados pelo número de objetos que solicitam a informação de bit adicional. Em particular, aqui, os caracteres “addbit_x[i]”, “addbit_y[i]”, e “addbit_z[i]” são a informação que indica os comprimentos de bit adicionais em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z, respectivamente.
[00214] Quando o servidor receber uma solicitação de transmissão da informação de bit adicional como esta ilustrada na figura 15, o servidor transmite a informação de bit adicional para o cliente em um formato do fluxo contínuo de bits ilustrado na figura 16, por exemplo.
[00215] Em um exemplo ilustrado na figura 16, em um caso em que o modo de solicitação for o modo comum, da forma mostrada em uma parte de um caractere “case 0”, em um fluxo contínuo de bits, a informação de bit adicional em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para o i-ésimo objeto indicado pelos caracteres “Xpos_adiciona[i]”, “Ypos_adiciona[i]”, e “Zpos_adiciona[i]” é armazenada.
[00216] Além do mais, em um caso em que o modo de solicitação for o modo comum do espaço filho, da forma mostrada em uma parte de um caractere “case 1”, em um fluxo contínuo de bits, a informação de bit adicional de cada objeto que pertence ao espaço filho é armazenada para cada espaço filho no qual a informação de bit adicional é solicitada.
41 / 79 Especificamente, a informação de bit adicional em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para um j-ésimo objeto no espaço filho indicado pelos caracteres “Xpos_adiciona[j]”, “Ypos_adiciona[j]”, e “Zpos_adiciona[j]” é armazenada.
[00217] Além do mais, em um caso em que o modo de solicitação for o modo individual, da forma mostrada em uma parte de um caractere “case 2”, em um fluxo contínuo de bits, a informação de bit adicional do objeto é armazenada para cada objeto no qual a informação de bit adicional é solicitada. Especificamente, a informação de bit adicional em cada uma da direção do eixo geométrico X, da direção do eixo geométrico Y, e da direção do eixo geométrico Z para o objeto indicado pelos caracteres Xpos_adiciona[addprec_object_index[i]]”, “Ypos_adiciona[addprec_object_index[i]]”, e “Zpos_adiciona[addprec_object_index[i]]” é armazenada.
[00218] Tornando possível adquirir a informação de bit adicional como tal, torna-se possível obter a informação de posição quantizada com suficiente precisão de quantização com uma quantidade de transmissão menor do que aquela em um caso de aquisição da informação de posição quantizada com a mais alta precisão desde o início. <Exemplo de Configuração do Sistema de Reprodução de Conteúdo>
[00219] A seguir, um sistema de reprodução de conteúdo no qual o cliente adquire o conteúdo ou a informação de posição quantizada a partir do servidor e reproduz o conteúdo, como exposto, será descrito.
[00220] Um sistema de reprodução de conteúdo como este é configurado, por exemplo, da forma ilustrada na figura 17.
[00221] O sistema de reprodução de conteúdo ilustrado na figura 17 inclui um codificador da informação de posição de coordenada absoluta 111, um servidor 112, um dispositivo de aquisição da posição do ouvinte 113, um
42 / 79 cliente 114, e um renderizador MPEG-H 115. Neste sistema de reprodução de conteúdo, o cliente 114 calcula a informação de posição da coordenada polar de uma representação de coordenada polar que indica uma posição de um objeto visualizado a partir de um ouvinte U12.
[00222] Isto é, em um lado da distribuição do conteúdo, um usuário U11 insere a informação de posição em um espaço pai, ou congêneres, que indica uma posição de cada objeto no espaço pai para o codificador da informação de posição de coordenada absoluta 111.
[00223] Esta informação de posição no espaço pai é a informação de coordenada absoluta representada pelas coordenadas do sistema de coordenadas absolutas tridimensionais (sistema de coordenadas ortogonal), isto é, o sistema de coordenadas XYZ, como exposto.
[00224] O codificador da informação de posição de coordenada absoluta 111 codifica a informação de posição no espaço pai inserida pelo usuário U11, e transmite um arquivo de dados codificados obtido em decorrência da codificação para o servidor 112.
[00225] O servidor 112 é um dispositivo de processamento de informação que inclui uma unidade de gravação 121, e grava o arquivo de dados codificados recebido a partir do codificador da informação de posição de coordenada absoluta 111 na unidade de gravação 121. Aqui, o arquivo de dados codificados inclui a informação de posição quantizada com a mais alta precisão de cada objeto.
[00226] O servidor 112 gera a informação de posição quantizada inicial ou a informação de bit adicional a partir da informação de posição quantizada com a mais alta precisão gravada na unidade de gravação 121, e transmite a informação de posição quantizada inicial ou a informação de bit adicional para o cliente 114.
[00227] Em um lado do cliente 114, o dispositivo de aquisição da posição do ouvinte 113 adquire a informação de posição do ouvinte que
43 / 79 indica uma posição do ouvinte U12 no espaço pai e supre a informação de posição do ouvinte para o cliente 114. O dispositivo de aquisição da posição do ouvinte 113 inclui, por exemplo, um dispositivo de medição de distância, tais como um sistema de posicionamento global (GPS) e um sensor de giro, um dispositivo de entrada que adquire a informação de posição virtual do ouvinte U12 em um espaço virtual como o espaço pai, e congêneres.
[00228] O cliente 114 é um dispositivo de processamento de informação que inclui um decodificador da informação de posição de coordenada absoluta 131 e uma unidade de conversão de coordenadas 132, e adquire a informação de posição quantizada inicial ou a informação de bit adicional a partir do servidor 112.
[00229] O decodificador da informação de posição de coordenada absoluta 131 decodifica a informação de posição quantizada inicial adquirida a partir do servidor 112 ou a informação de posição quantizada obtida a partir da informação de posição quantizada inicial e da informação de bit adicional.
[00230] A unidade de conversão de coordenadas 132 converte a informação que indica uma posição do objeto no espaço pai obtida pela decodificação da informação de posição quantizada em coordenadas polares que indicam uma posição relativa do objeto visualizada a partir do ouvinte U12 no espaço pai, e toma as coordenadas polares convertidas como a informação de posição da coordenada polar.
[00231] A unidade de conversão de coordenadas 132 supre a informação de posição da coordenada polar de cada objeto para o renderizador MPEG-H 115, e o renderizador MPEG-H 115 realiza a renderização com base na informação de posição da coordenada polar suprida e nos dados de áudio de cada objeto adquiridos a partir do servidor 112.
[00232] Então, o renderizador MPEG-H 115 transmite os dados de áudio reproduzidos que são obtidos pela renderização e nos quais uma imagem do som do objeto fica localizada em cada posição no espaço pai, para
44 / 79 um sistema de reprodução, tais como um alto-falante ou congêneres, para reproduzir um som. Note que o renderizador MPEG-H 115 é um renderizador de um sistema de coordenadas polar padronizado por MPEG-H.
[00233] No sistema de reprodução de conteúdo supradescrito, a informação que indica a posição do objeto trocada entre o servidor 112 e o cliente 114 é a informação de posição quantizada, que é uma coordenada absoluta. Portanto, há uma vantagem em que não é necessário considerar a posição do ouvinte U12 no espaço pai e é apenas exigido transmitir a informação de posição quantizada para o cliente 114 apenas para um objeto em movimento. <Exemplo de Configuração do Codificador da Informação de Posição de Coordenada Absoluta>
[00234] A seguir, um exemplo de configuração mais detalhado do codificador da informação de posição de coordenada absoluta 111, do servidor 112, e do cliente 114 ilustrados na figura 17 será descrito.
[00235] Primeiro, um exemplo de configuração do codificador da informação de posição de coordenada absoluta 111 será descrito.
[00236] O codificador da informação de posição de coordenada absoluta 111 é configurado da forma ilustrada na figura 18, por exemplo.
[00237] O codificador da informação de posição de coordenada absoluta 111 ilustrado na figura 18 inclui uma unidade de aquisição 161, uma unidade de codificação 162, e uma unidade de comunicação 163.
[00238] A unidade de aquisição 161 adquire o número de objetos dos objetos, que são os alvos a serem codificados, uma distância absoluta absoluteDistance de um espaço pai, e a informação de posição no espaço pai de cada objeto a partir de um dispositivo externo ou congêneres, e supre o número de objetos, a distância absoluta absoluteDistance do espaço pai, e a informação de posição no espaço pai de cada objeto para a unidade de codificação 162.
45 / 79
[00239] A unidade de codificação 162 codifica a informação de posição no espaço pai de cada objeto com base no número de objetos, na distância absoluta absoluteDistance do espaço pai, ou na informação de posição no espaço pai do objeto suprido a partir da unidade de aquisição 161, e supre um arquivo de dados codificados obtido em decorrência da codificação para a unidade de comunicação 163.
[00240] A unidade de codificação 162 inclui uma unidade de determinação do espaço filho 171, uma unidade de conversão 172, e uma unidade de quantização 173. Note que a unidade de determinação do espaço filho 171 até a unidade de quantização 173 correspondem à unidade de determinação do espaço filho 31 até a unidade de quantização 33 ilustradas na figura 7 e realizam as mesmas operações da unidade de determinação do espaço filho 31 até a unidade de quantização 33, e uma descrição das mesmas será, assim, omitida.
[00241] A unidade de comunicação 163 transmite o arquivo de dados codificados suprido a partir da unidade de codificação 162. <Exemplo de Configuração do Servidor>
[00242] Além do mais, o servidor 112 é configurado da forma ilustrada na figura 19, por exemplo. Note que, na figura 19, as partes correspondentes àquelas na figura 17 serão denotadas pelos mesmos números de referência, e uma descrição das mesmas será apropriadamente omitida.
[00243] O servidor 112 ilustrado na figura 19 inclui uma unidade de comunicação 201, uma unidade de controle 202, e a unidade de gravação 121.
[00244] A unidade de comunicação 201 transmite várias informações supridas a partir da unidade de controle 202 para o cliente 114 ou recebe várias informações transmitidas a partir do codificador da informação de posição de coordenada absoluta 111 ou do cliente 114 e supre as várias informações para a unidade de controle 202.
[00245] A unidade de controle 202 controla a íntegra de uma operação
46 / 79 do servidor 112. A unidade de controle 202 inclui uma unidade de controle de comunicação 211 e uma unidade de geração da informação de transmissão
212.
[00246] A unidade de controle de comunicação 211 controla a comunicação com o codificador da informação de posição de coordenada absoluta 111 ou o cliente 114 pela unidade de comunicação 201 pelo controle da unidade de comunicação 201. A unidade de geração da informação de transmissão 212 gera várias informações a serem transmitidas para o cliente 114 usando a informação, tal como o arquivo de dados codificados ou congêneres, gravada na unidade de gravação 121, se necessário. <Exemplo de Configuração do Cliente>
[00247] Além do mais, o cliente 114 é configurado da forma ilustrada na figura 20, por exemplo. Note que, na figura 20, as partes correspondentes àquelas na figura 17 serão denotadas pelos mesmos números de referência, e uma descrição das mesmas será apropriadamente omitida.
[00248] O cliente 114 ilustrado na figura 20 inclui uma unidade de comunicação 241, uma unidade de controle 242 e uma unidade de saída 243.
[00249] A unidade de comunicação 241 transmite várias informações supridas a partir da unidade de controle 242 para o servidor 112 ou recebe várias informações transmitidas a partir do servidor 112 e supre as várias informações para a unidade de controle 242.
[00250] A unidade de controle 242 controla a íntegra de uma operação do cliente 114. A unidade de controle 242 inclui uma unidade de controle de comunicação 251, o decodificador da informação de posição de coordenada absoluta 131, e a unidade de conversão de coordenadas 132.
[00251] A unidade de controle de comunicação 251 controla a comunicação com o servidor 112 pela unidade de comunicação 241 pelo controle da unidade de comunicação 241. Por exemplo, a unidade de controle de comunicação 251 funciona como uma unidade de aquisição que adquire a
47 / 79 informação de posição quantizada inicial ou a informação de bit adicional a partir do servidor 112 pelo controle da unidade de comunicação 241.
[00252] O decodificador da informação de posição de coordenada absoluta 131 funciona como uma unidade de cálculo que realiza a decodificação da informação de posição codificada no espaço pai pelo cálculo da informação de posição no espaço pai que indica uma posição absoluta do objeto no espaço pai com base na informação de posição quantizada e na informação de bit adicional.
[00253] A unidade de saída 243 transmite a informação de posição da coordenada polar de cada objeto obtida pela conversão de coordenadas pela unidade de conversão de coordenadas 132 para o renderizador MPEG-H 115. <Descrição do Processamento de Codificação e do Processamento de Armazenamento de Arquivo>
[00254] A seguir, o processamento específico realizado no sistema de reprodução de conteúdo será descrito.
[00255] Primeiro, o processamento de codificação pelo codificador da informação de posição de coordenada absoluta 111 e o processamento de armazenamento de arquivo pelo servidor 112 serão descritos em relação a um fluxograma da figura 21.
[00256] Quando o processamento de codificação iniciar pelo codificador da informação de posição de coordenada absoluta 111, a unidade de aquisição 161 adquire o número de objetos inseridos pelo usuário U11, a distância absoluta absoluteDistance do espaço pai, e a informação de posição no espaço pai de cada objeto e supre o número de objetos, a distância absoluta absoluteDistance do espaço pai, e a informação de posição no espaço pai de cada objeto para a unidade de codificação 162, na etapa S71.
[00257] Na etapa S72, a unidade de determinação do espaço filho 171 determina o espaço filho com base na informação de posição no espaço pai de cada objeto suprida a partir da unidade de aquisição 161. Na etapa S72, o
48 / 79 processamento similar àquele da etapa S12 da figura 8 é realizado, de maneira tal que o espaço filho seja determinado.
[00258] Na etapa S73, a unidade de conversão 172 converte a informação de posição no espaço pai de cada objeto suprida a partir da unidade de aquisição 161 para a informação de posição no espaço filho. Na etapa S73, o processamento similar àquele da etapa S13 da figura 8 é realizado.
[00259] Na etapa S74, a unidade de quantização 173 determina o índice de divisão com a mais alta precisão.
[00260] Por exemplo, na etapa S74, o cálculo da supramencionada Equação (3) é realizado com base na mínima distância MinDist, no resultado da determinação do espaço filho e nas distâncias absolutas absoluteDistanceX, absoluteDistanceY, e absoluteDistanceZ pré- determinadas obtidas a partir da distância absoluta absoluteDistance, de maneira tal que os índices de divisão com a mais alta precisão sejam obtidos.
[00261] Na etapa S75, a unidade de quantização 173 obtém a largura da etapa de quantização pela realização do cálculo da supramencionada Equação (4) com base no índice de divisão com precisão mais alta determinado na etapa S74.
[00262] Na etapa S76, a unidade de quantização 173 quantiza a informação de posição no espaço filho de cada objeto obtida na etapa S73.
[00263] Por exemplo, na etapa S76, a largura da etapa de quantização obtida na etapa S75 é usada, de maneira tal que o cálculo da supramencionada Equação (5) seja realizado, a quantização das coordenadas de cada direção do eixo geométrico da informação de posição no espaço pai seja realizada, e a informação de posição quantizada com a mais alta precisão de cada objeto seja obtida.
[00264] Pelo processamento das etapas S72 a etapa S76 expostas, a informação de posição no espaço pai é codificada.
49 / 79
[00265] Na etapa S77, a unidade de codificação 162 gera o arquivo de dados codificados que inclui a informação de posição quantizada com a mais alta precisão, o número de objetos e a distância absoluta absoluteDistance adquiridos na etapa S71, e a informação de espaço filho e a informação de pertencimento do objeto obtidas a partir do resultado da determinação do espaço filho na etapa S72, e supre o arquivo de dados codificados para a unidade de comunicação 163.
[00266] Aqui, por exemplo, a informação de espaço filho inclui a informação que indica o número de espaços filhos incluídos no espaço pai, os índices de divisão com a mais alta precisão em cada espaço filho, e os parâmetros de funções lineares para a conversão de coordenadas para cada espaço filho.
[00267] Na etapa S78, a unidade de comunicação 163 transmite o arquivo de dados codificados suprido a partir da unidade de codificação 162 para o servidor 112 pela comunicação sem fio ou com fios ou congêneres, e o processamento de codificação termina.
[00268] Note que, quando o arquivo de dados codificados for corretamente armazenado no servidor 112, da forma descrita posteriormente, uma notificação de conclusão de armazenamento que indica que o arquivo de dados codificados foi corretamente armazenado no servidor 112 é transmitida a partir do servidor 112, e, assim, o codificador da informação de posição de coordenada absoluta 111 recebe a notificação de conclusão de armazenamento transmitida e exibe apropriadamente a notificação de conclusão de armazenamento.
[00269] Além do mais, quando o arquivo de dados codificados for transmitido, o processamento de armazenamento de arquivo inicia no servidor
112.
[00270] Isto é, na etapa S101, a unidade de comunicação 201 do servidor 112 recebe o arquivo de dados codificados transmitido a partir do
50 / 79 codificador da informação de posição de coordenada absoluta 111 sob o controle da unidade de controle de comunicação 211, e supre o arquivo de dados codificados para a unidade de controle 202.
[00271] Na etapa S102, a unidade de controle 202 supre o arquivo de dados codificados suprido a partir da unidade de comunicação 201 para a unidade de gravação 121 e realiza o controle para armazenar o arquivo de dados codificados. Portanto, a informação de posição quantizada com a mais alta precisão e congêneres são armazenados (gravados) na unidade de gravação 121.
[00272] Posteriormente, a unidade de controle de comunicação 211 controla a unidade de comunicação 201 para transmitir uma notificação de conclusão de armazenamento que indica que o arquivo de dados codificados foi corretamente armazenado para o codificador da informação de posição de coordenada absoluta 111, e o processamento de armazenamento de arquivo termina.
[00273] De uma maneira como esta, o codificador da informação de posição de coordenada absoluta 111 converte a informação de posição no espaço pai para a informação de posição no espaço filho pela conversão de coordenadas, e quantiza a informação de posição no espaço filho para gerar o arquivo de dados codificados. Fazendo isto, uma quantidade de código da informação de posição quantizada pode ser reduzida, se comparada com um caso em que a informação de posição no espaço pai é codificada (quantizada) como está.
[00274] Além do mais, o servidor 112 recebe e armazena o arquivo de dados codificados transmitido a partir do codificador da informação de posição de coordenada absoluta 111. Portanto, torna-se possível gerar a informação de posição quantizada com precisão de quantização arbitrária a partir da informação de posição quantizada com a mais alta precisão de acordo com uma solicitação do cliente 114 e transmitir a informação de
51 / 79 posição quantizada gerada para o cliente 114.
[00275] Em decorrência disto, fazendo com que o cliente 114 obtenha a informação de posição da coordenada polar de cada objeto, é possível reduzir uma carga de processamento no lado da distribuição do conteúdo, tais como o servidor 112 ou o codificador da informação de posição de coordenada absoluta 111, e reduzir uma quantidade de transmissão da informação. <Descrição do Processamento de Aquisição da Informação de Posição e do Processamento de Transmissão da Informação de Posição>
[00276] Quando o arquivo de dados codificados for armazenado no servidor 112, o cliente 114 pode receber a informação de posição quantizada de cada objeto para o conteúdo a partir do servidor 112.
[00277] A seguir, o processamento realizado quando o cliente 114 adquirir a informação de posição quantizada inicial a partir do servidor 112 será descrito. Isto é, o processamento de aquisição da informação de posição pelo cliente 114 e o processamento de transmissão da informação de posição pelo servidor 112 serão a seguir descritos em relação a um fluxograma da figura 22.
[00278] Quando o processamento de aquisição da informação de posição iniciar pelo cliente 114, a unidade de comunicação 241 transmite uma solicitação de transmissão da informação de cabeçalho para o servidor 112 sob o controle da unidade de controle de comunicação 251, na etapa S131.
[00279] Quando a solicitação de transmissão da informação de cabeçalho for transmitida, o processamento de transmissão da informação de posição inicia no servidor 112. Isto é, na etapa S161, a unidade de comunicação 201 recebe a solicitação de transmissão da informação de cabeçalho transmitida a partir do cliente 114 sob o controle da unidade de controle de comunicação 211, e supre a solicitação de transmissão da informação de cabeçalho para a unidade de controle 202.
52 / 79
[00280] Então, a unidade de geração da informação de transmissão 212 gera a informação de cabeçalho que inclui a distância absoluta absoluteDistance, a informação de espaço filho, o número de objetos, e a informação de pertencimento do objeto em relação ao arquivo de dados codificados gravado na unidade de gravação 121. Portanto, por exemplo, a informação de cabeçalho ilustrada na figura 11 é gerada.
[00281] Quando a unidade de geração da informação de transmissão 212 gerar a informação de cabeçalho, a unidade de controle de comunicação 211 supre a informação de cabeçalho gerada para a unidade de comunicação
201.
[00282] Na etapa S162, a unidade de comunicação 201 transmite a informação de cabeçalho suprida a partir da unidade de controle de comunicação 211 para o cliente 114 sob o controle da unidade de controle de comunicação 211.
[00283] Neste caso, no cliente 114, na etapa S132, a unidade de comunicação 241 recebe a informação de cabeçalho transmitida a partir do servidor 112 sob o controle da unidade de controle de comunicação 251, e supre a informação de cabeçalho para a unidade de controle 242.
[00284] Quando a informação de cabeçalho for obtida desta maneira, a unidade de controle 242 determina a precisão de quantização, isto é, um índice de divisão, da informação de posição quantizada inicial com base em uma situação de uma banda de transmissão com o servidor 112, no número de objetos incluídos na informação de cabeçalho, no índice de divisão com a mais alta precisão ou congêneres.
[00285] Então, a unidade de controle 242 gera uma solicitação de transmissão da informação de posição quantizada inicial para solicitar a transmissão da informação de posição quantizada inicial com base na precisão de quantização determinada, e supre a solicitação de transmissão da informação de posição quantizada inicial para a unidade de comunicação 241.
53 / 79 Por exemplo, aqui, a solicitação de transmissão da informação de posição quantizada inicial ilustrada na figura 13 é gerada.
[00286] Na etapa S133, a unidade de comunicação 241 transmite a solicitação de transmissão da informação de posição quantizada inicial suprida a partir da unidade de controle 242 para o servidor 112 sob o controle da unidade de controle de comunicação 251.
[00287] Então, no servidor 112, na etapa S163, a unidade de comunicação 201 recebe a solicitação de transmissão da informação de posição quantizada inicial transmitida a partir do cliente 114 sob o controle da unidade de controle de comunicação 211, e supre a solicitação de transmissão da informação de posição quantizada inicial para a unidade de controle 202.
[00288] Na etapa S164, a unidade de geração da informação de transmissão 212 gera a informação de posição quantizada inicial em relação ao arquivo de dados codificados gravado na unidade de gravação 121 de acordo com a solicitação de transmissão da informação de posição quantizada inicial suprida a partir da unidade de comunicação 201.
[00289] Por exemplo, no exemplo da figura 5, em um caso em que um índice de divisão solicitado pela solicitação de transmissão da informação de posição quantizada inicial for “9”, a unidade de geração da informação de transmissão 212 extrai os 9 bits superiores da informação de posição quantizada com a mais alta precisão incluída no arquivo de dados codificados e usa os 9 bits superiores extraídos como a informação de posição quantizada inicial.
[00290] No exemplo da figura 5, “001100110” obtido pela extração do mesmo comprimento de bits como um índice de divisão “9”, isto é, apenas 9 bits a partir de um valor de coordenada “00110011001” em uma direção do eixo geométrico pré-determinada da informação de posição quantizada com a mais alta precisão proveniente do lado do bit mais significativo é um valor de coordenada na direção do eixo geométrico pré-determinada da informação de
54 / 79 posição quantizada inicial.
[00291] Note que, em um caso em que o índice de divisão com a mais alta precisão for solicitado pela solicitação de transmissão da informação de posição quantizada inicial, a informação de posição quantizada com a mais alta precisão é a informação de posição quantizada inicial como está.
[00292] Quando a unidade de geração da informação de transmissão 212 gerar a informação de posição quantizada inicial para cada objeto, a unidade de geração da informação de transmissão 212 armazena a informação de posição quantizada inicial no fluxo contínuo de bits no formato ilustrado na figura 14, e a unidade de controle de comunicação 211 supre o fluxo contínuo de bits gerado para a unidade de comunicação 201.
[00293] Na etapa S165, a unidade de comunicação 201 transmite o fluxo contínuo de bits suprido a partir da unidade de controle de comunicação 211, isto é, a informação de posição quantizada inicial de cada objeto para o cliente 114 sob o controle da unidade de controle de comunicação 211, e o processamento de transmissão da informação de posição termina.
[00294] Quando a informação de posição quantizada inicial for transmitida pelo servidor 112, o processamento da etapa S134 é realizado no cliente 114.
[00295] Na etapa S134, a unidade de comunicação 241 recebe a informação de posição quantizada inicial transmitida a partir do servidor 112 sob o controle da unidade de controle de comunicação 251, e supre a informação de posição quantizada inicial para a unidade de controle 242. Isto é, a unidade de controle de comunicação 251 adquire a informação de posição quantizada inicial.
[00296] Na etapa S135, o decodificador da informação de posição de coordenada absoluta 131 quantiza inversamente a informação de posição quantizada inicial pela realização do cálculo similar àquele da supramencionada Equação (6) com base na informação de posição quantizada
55 / 79 inicial e no índice de divisão armazenado na solicitação de transmissão da informação de posição quantizada inicial para a informação de posição quantizada inicial de cada objeto. Portanto, a informação de posição decodificada no espaço filho é obtida.
[00297] Na etapa S136, o decodificador da informação de posição de coordenada absoluta 131 converte a informação de posição no espaço filho obtida para cada objeto na informação de posição no espaço pai.
[00298] Isto é, o decodificador da informação de posição de coordenada absoluta 131 realiza a conversão de escalonamento inversa pela realização do cálculo das supramencionadas Equação (7) e Equação (8) com base na informação de posição decodificada no espaço filho obtida na etapa S135 e na informação de espaço filho incluída na informação de cabeçalho. Portanto, a informação de posição decodificada no espaço filho é convertida na informação de posição decodificada no espaço pai.
[00299] Além do mais, o decodificador da informação de posição de coordenada absoluta 131 obtém a informação de posição que indica a posição do objeto no espaço pai pela multiplicação da informação de posição decodificada obtida no espaço pai pela distância absoluta absoluteDistance incluída na informação de cabeçalho. Então, quando a informação de posição que indica a posição do objeto for obtida, o processamento de aquisição da informação de posição termina.
[00300] O decodificador da informação de posição de coordenada absoluta 131 realiza o processamento da etapa S135 e da etapa S136 expostas como o processamento de decodificação para cada objeto.
[00301] De uma maneira como esta, o cliente 114 adquire e decodifica a informação de posição quantizada com apropriada precisão de quantização como a informação de posição quantizada inicial. Além do mais, o servidor 112 gera a informação de posição quantizada inicial de acordo com a solicitação do cliente 114 e transmite a informação de posição quantizada
56 / 79 inicial para o cliente 114.
[00302] Fazendo isto, uma quantidade de código da informação que indica a posição do objeto pode ser reduzida, se comparada com um caso em que a informação de posição no espaço pai é codificada (quantizada) como está. <Descrição do Processamento de Aquisição da Informação de Bit Adicional e do Processamento de Transmissão da Informação de Bit Adicional>
[00303] A propósito, quando o processamento de aquisição da informação de posição descrito em relação à figura 22 for realizado, a informação de posição (a seguir, também referida como informação de posição do objeto) que indica a posição do objeto no espaço pai é obtida para cada objeto.
[00304] Por exemplo, em um caso em que a informação de posição quantizada com a mais alta precisão for adquirida como a informação de posição quantizada inicial, a informação de posição do objeto com a mais alta precisão é obtida, mas, em outras circunstâncias, a precisão da informação de posição do objeto pode não ser suficiente.
[00305] Além do mais, a informação de posição quantizada inicial com precisão de quantização relativamente baixa foi adquirida, mas pode haver uma margem na banda de transmissão ou pode haver uma margem até um tempo de reprodução do conteúdo, de maneira tal que possa ser desejado adquirir a informação de bit adicional para obter a informação de posição quantizada com precisão de quantização mais alta.
[00306] Portanto, quando a informação de posição do objeto for obtida, o cliente 114 adquire a informação de bit adicional a partir do servidor 112, se necessário. A seguir, o processamento realizado pelo cliente 114 e pelo servidor 112 em um caso como este será descrito.
[00307] Isto é, o processamento de aquisição da informação de bit adicional pelo cliente 114 e o processamento de transmissão da informação de
57 / 79 bit adicional pelo servidor 112 serão descritos a seguir em relação a um fluxograma da figura 23. Note que estes processamentos não são realizados em um caso em que a informação de posição quantizada com a mais alta precisão for adquirida como a informação de posição quantizada inicial.
[00308] Quando o processamento de aquisição da informação de bit adicional iniciar no cliente 114, o decodificador da informação de posição de coordenada absoluta 131 calcula a distância do ouvinte U12 até o objeto para cada objeto, na etapa S191.
[00309] Especificamente, uma distância Euclidiana do ouvinte U12 até o objeto no espaço pai é calculada com base na informação de posição do ouvinte suprida a partir do dispositivo de aquisição da posição do ouvinte 113 e na informação de posição do objeto obtida no processamento da etapa S136 da figura 22.
[00310] Na etapa S192, o decodificador da informação de posição de coordenada absoluta 131 especifica um objeto para o qual a informação de bit adicional deve ser adquirida.
[00311] Por exemplo, se ou não a informação de posição quantizada inicial, isto é, a informação de posição decodificada no espaço pai, como a informação de posição quantizada do objeto no espaço pai, é a informação de posição com precisão suficiente pode ser especificado por uma distância do ouvinte U12 até uma posição indicada pela informação de posição do objeto.
[00312] Portanto, o decodificador da informação de posição de coordenada absoluta 131 obtém uma tolerância de uma largura da etapa de quantização a partir da distância do ouvinte U12 até o objeto e do ângulo limite de percepção, e compara a tolerância com a largura da etapa de quantização obtida pelo índice de divisão da informação de posição quantizada inicial. Então, o decodificador da informação de posição de coordenada absoluta 131 especifica um objeto no qual a precisão de quantização da informação de posição quantizada inicial não é suficiente, isto
58 / 79 é, um objeto para o qual a informação de bit adicional deve ser adquirida, com base em um resultado da comparação.
[00313] Além do mais, por exemplo, o decodificador da informação de posição de coordenada absoluta 131 especifica o objeto para o qual a informação de bit adicional deve ser adquirida com base em uma situação de banda da linha de transmissão com o servidor 112, em um tempo de um ponto no tempo atual até um tempo de reprodução do conteúdo, na precisão de quantização da informação de posição quantizada inicial, e congêneres.
[00314] Além do mais, o decodificador da informação de posição de coordenada absoluta 131 determina o comprimento de bits solicitado da informação de bit adicional, isto é, a precisão de quantização solicitada para o objeto para o qual a informação de bit adicional deve ser adquirida.
[00315] Note que, se adquirem-se ou não a informação de bit adicional ou o comprimento de bits solicitado da informação de bit adicional pode ser determinado em cada direção do eixo geométrico do sistema de coordenadas XYZ para cada objeto.
[00316] Na etapa S193, o decodificador da informação de posição de coordenada absoluta 131 seleciona um modo de solicitação com base em um resultado da especificação da etapa S192.
[00317] Aqui, um modo de solicitação apropriado é selecionado, por exemplo, com base em uma situação da banda de transmissão, no número de objetos para os quais a informação de bit adicional deve ser adquirida, em um relacionamento posicional entre uma pluralidade de objetos para os quais a informação de bit adicional deve ser adquirida, e congêneres.
[00318] Na etapa S194, o decodificador da informação de posição de coordenada absoluta 131 gera uma solicitação de transmissão da informação de bit adicional com base no resultado da especificação da etapa S192 e em um resultado da seleção do modo de solicitação na etapa S193. Portanto, por exemplo, a solicitação de transmissão da informação de bit adicional ilustrada
59 / 79 na figura 15 é gerada.
[00319] A unidade de controle de comunicação 251 supre a solicitação de transmissão da informação de bit adicional gerada desta maneira para a unidade de comunicação 241, e controla a unidade de comunicação 241 para transmitir a solicitação de transmissão da informação de bit adicional para o servidor 112.
[00320] Na etapa S195, a unidade de comunicação 241 transmite a solicitação de transmissão da informação de bit adicional suprida a partir da unidade de controle 242 para o servidor 112 sob o controle da unidade de controle de comunicação 251.
[00321] Quando a solicitação de transmissão da informação de bit adicional for transmitida, o processamento de transmissão da informação de bit adicional inicia no servidor 112.
[00322] Isto é, na etapa S221, a unidade de comunicação 201 recebe a solicitação de transmissão da informação de bit adicional transmitida a partir do cliente 114 sob o controle da unidade de controle de comunicação 211, e supre a solicitação de transmissão da informação de bit adicional para a unidade de controle 202.
[00323] Na etapa S222, a unidade de geração da informação de transmissão 212 gera a informação de bit adicional do objeto para o qual transmissão é solicitada de acordo com a solicitação de transmissão da informação de bit adicional suprida a partir da unidade de comunicação 201.
[00324] Por exemplo, a unidade de geração da informação de transmissão 212 gera a informação de bit adicional pela extração de bits em um comprimento de bits adicional designado pela solicitação de transmissão da informação de bit adicional a partir de uma posição determinada pela precisão de quantização (índice de divisão) da informação de posição quantizada inicial na informação de posição quantizada com a mais alta precisão do arquivo de dados codificados gravado na unidade de gravação
60 / 79
121. A geração de tal informação de bit adicional pode ser realizada por deslocamento de bits.
[00325] Quando a unidade de geração da informação de transmissão 212 gerar a informação de bit adicional para um objeto exigido, a unidade de geração da informação de transmissão 212 armazena a informação de bit adicional em um fluxo contínuo de bits adicional no formato ilustrado na figura 16, e a unidade de controle de comunicação 211 supre o fluxo contínuo de bits adicional gerado para a unidade de comunicação 201.
[00326] Na etapa S223, a unidade de comunicação 201 transmite o fluxo contínuo de bits adicional que inclui a informação de bit adicional suprida a partir da unidade de controle de comunicação 211 para o cliente 114 sob o controle da unidade de controle de comunicação 211, e o processamento de transmissão da informação de bit adicional termina.
[00327] Além do mais, quando o fluxo contínuo de bits adicional for transmitido, o processamento da etapa S196 é realizado no cliente 114.
[00328] Na etapa S196, a unidade de comunicação 241 recebe o fluxo contínuo de bits adicional transmitido a partir do servidor 112 sob o controle da unidade de controle de comunicação 251, e supre o fluxo contínuo de bits adicional para a unidade de controle 242. Isto é, a unidade de controle de comunicação 251 adquire o fluxo contínuo de bits adicional que inclui a informação de bit adicional.
[00329] Na etapa S197, o decodificador da informação de posição de coordenada absoluta 131 gera a informação de posição quantizada pela adição da informação de bit adicional em um lado do bit inferior da informação de posição quantizada inicial para o objeto para o qual a transmissão da informação de bit adicional é solicitada.
[00330] Na etapa S198, o decodificador da informação de posição de coordenada absoluta 131 quantiza inversamente a informação de posição quantizada obtida no processamento da etapa S197.
61 / 79
[00331] Então, na etapa S199, o decodificador da informação de posição de coordenada absoluta 131 converte a informação de posição no espaço filho obtida pela quantização inversa na etapa S198 para a informação de posição no espaço pai.
[00332] Note que, na etapa S198 e na etapa S199, o processamento similar àquele da etapa S135 e da etapa S136 da figura 22 é realizado.
[00333] Além do mais, na etapa S199, o decodificador da informação de posição de coordenada absoluta 131 obtém a informação de posição do objeto pela multiplicação da informação de posição decodificada obtida no espaço pai pela distância absoluta absoluteDistance.
[00334] O processamento das etapa S197 até etapa S199 expostas é realizado apenas no objeto para o qual a informação de bit adicional foi adquirida.
[00335] Além do mais, o processamento da etapa S191 até etapa S199 supradescritas pode ser repetidamente realizado na informação de posição do objeto obtida desta maneira, até que a informação de posição do objeto (informação de posição no espaço pai) com precisão de quantização suficiente seja obtida.
[00336] Na etapa S200, a unidade de conversão de coordenadas 132 calcula a informação de posição da coordenada polar que indica a posição do objeto visualizada a partir do ouvinte U12 no espaço pai com base na informação de posição do objeto e na informação de posição do ouvinte supridas a partir do dispositivo de aquisição da posição do ouvinte 113, para cada objeto.
[00337] Então, a unidade de conversão de coordenadas 132 supre a informação de posição da coordenada polar obtida para a unidade de saída 243, e a unidade de saída 243 transmite a informação de posição da coordenada polar para o renderizador MPEG-H 115. Quando a unidade de saída 243 transmitir a informação de posição da coordenada polar de todos os
62 / 79 objetos para o renderizador MPEG-H 115, o processamento de aquisição da informação de bit adicional termina.
[00338] Quando o processamento de aquisição da informação de bit adicional terminar, a renderização é realizada no renderizador MPEG-H 115. Isto é, o renderizador MPEG-H 115 realiza a renderização com base nos dados de áudio de cada objeto adquiridos a partir do servidor 112 ou congêneres e a informação de posição da coordenada polar suprida a partir da unidade de saída 243 para gerar os dados de áudio reproduzidos nos quais a imagem do som do objeto fica localizada em cada posição no espaço pai, e transmite os dados de áudio reproduzidos para o sistema de reprodução, tais como um alto-falante ou congêneres.
[00339] De uma maneira como esta, o cliente 114 adquire a informação de bit adicional, se necessário, e obtém a informação de posição final do objeto. Além do mais, o servidor 112 gera e transmite a informação de bit adicional de acordo com a solicitação do cliente 114.
[00340] Fazendo isto, o cliente 114 pode obter a informação de posição no espaço pai com precisão suficiente com uma menor quantidade de transmissão da informação do que aquela em um caso de aquisição da informação de posição quantizada com a mais alta precisão a partir do servidor 112 desde o início.
[00341] Além do mais, já que tanto o processamento para obter a precisão de quantização exigida quanto o processamento para calcular a informação de posição da coordenada polar são realizados pelo cliente 114, é possível reduzir uma carga de processamento no lado da distribuição do conteúdo, tais como o servidor 112 ou o codificador da informação de posição de coordenada absoluta 111. <Primeira Modificação da Segunda Modalidade> <Relativo ao Arranjo dos Espaços Filhos>
[00342] A propósito, um exemplo da eficiente codificação da
63 / 79 informação de posição no espaço pai pela formação de um ou mais espaços filhos no espaço pai foi descrito anteriormente.
[00343] Entretanto, por exemplo, da forma ilustrada na figura 24, cada um dos espaços filhos originalmente incluídos em cada um de dois espaços pais diferentes pode ser arranjado em um espaço pai virtual.
[00344] Em um exemplo ilustrado na figura 24, um espaço filho CA31 e um espaço filho CA32 foram originalmente incluídos em espaços pais diferentes um do outro, mas, aqui, aqueles espaço filho CA31 e espaço filho CA32 são arranjados em um espaço pai virtual.
[00345] Fazendo isto, por exemplo, o ouvinte U12 pode selecionar apenas qualquer um do espaço filho CA31 ou do espaço filho CA32 de acordo com sua preferência. Neste caso, o servidor 112 transmite os dados de áudio de objetos que estão em um espaço filho, selecionados pelo ouvinte U12, do espaço filho CA31 e do espaço filho CA32 e a informação de posição quantizada destes objetos para o cliente 114, de acordo com a seleção do ouvinte U12.
[00346] Portanto, no lado do cliente 114, a reprodução dos dados de áudio pode ser realizada apenas para o espaço filho selecionado pelo ouvinte U12.
[00347] Note que, em um exemplo como este, por exemplo, o espaço filho CA31 e o espaço filho CA32 podem ser os espaços que têm as características de reverberação diferentes umas das outras. Isto é, ao espaço filho CA31 e ao espaço filho CA32 podem ser dadas características de reverberação diferentes umas das outras. Além do mais, exatamente os mesmos objetos podem existir no mesmo relacionamento posicional no espaço filho CA31 e no espaço filho CA32.
[00348] Neste caso, o ouvinte U12 pode reproduzir os dados de áudio com diferentes características de reverberação apenas pela seleção do espaço filho, e pode, assim, ter uma experiência como se estivesse em diferentes
64 / 79 espaços mesmo com o arranjo dos mesmos objetos. Além do mais, o ouvinte U12 pode ter uma experiência como se estivesse indo e vindo entre uma pluralidade de espaços completamente diferentes, tais como o espaço filho CA31 e o espaço filho CA32. Além do mais, em um caso em que uma pluralidade de espaços filhos for formada em um espaço pai, um espaço filho pode ser formado para cada atributo de cada objeto, tais como um objeto de um instrumento musical ou um objeto de aplausos. Neste caso, cada um dos objetos incluídos em cada um dos diferentes espaços filhos tem atributos diferentes uns dos outros.
[00349] Além do mais, por exemplo, da forma ilustrada na figura 25, uma pluralidade de espaços filhos podem sobrepor uns aos outros. Neste exemplo, um espaço filho CA41 e um espaço filho CA42 são formados em um espaço pai, mas a íntegra do espaço filho CA42 é incluída no espaço filho CA41.
[00350] Isto é, os objetos existentes no espaço filho CA42 não apenas pertencem ao espaço filho CA42, mas, também pertencem ao espaço filho CA41 ao mesmo tempo.
[00351] Mesmo em um caso como este, o ouvinte U12 pode selecionar qualquer um do espaço filho CA41 ou do espaço filho CA42, de maneira tal que os dados de áudio dos objetos no espaço filho selecionado possam ser reproduzidos.
[00352] Em um caso como este, por exemplo, durante a reprodução de um conteúdo relacionado ao espaço pai, um objeto a ser reproduzido pode ser mudado dependendo de qual espaço filho for selecionado.
[00353] Por exemplo, considere que um conteúdo de um concerto é reproduzido, e considere que um objeto que existe apenas no espaço filho CA42 é um objeto de um instrumento musical e um objeto que existe no espaço filho CA41, mas não existe no espaço filho CA42 é um objeto de aplausos.
65 / 79
[00354] Neste caso, se o ouvinte U12 selecionar o espaço filho CA41, ambos os sons do instrumento musical e dos aplausos são reproduzidos, e, se o ouvinte U12 selecionar o espaço filho CA42, apenas o som do instrumento musical é reproduzido. Isto é, é possível comutar livremente entre um espaço que inclui apenas o instrumento musical e um espaço que inclui não apenas o instrumento musical, mas, também, o aplauso.
[00355] Em um caso em que um objeto puder pertencer à pluralidade de espaços filhos, como em um exemplo ilustrado na figura 25, a informação de cabeçalho supradescrita é da forma ilustrada na figura 26, por exemplo.
[00356] Em um exemplo ilustrado na figura 26, na informação de cabeçalho, além de um caso do exemplo ilustrado na figura 11, a informação que indica o número de espaços filhos ao qual o i-ésimo objeto pertence, que é inovadoramente indicada por um caractere “numOfAttChildArea”, é armazenada para cada objeto. Então, seguinte à informação “numOfAttChildArea” que indica o número de espaços filhos ao qual o objeto pertence, a informação de pertencimento do objeto “ChildAreaIndexForObj [i]” é armazenada pelo número indicado pela informação.
[00357] Note que é exigido que a quantização da informação de posição no espaço filho de um objeto que pertence à pluralidade de espaços filhos de uma maneira sobreposta seja realizada apenas em qualquer um dos espaços filhos aos quais o objeto pertence, tal como, por exemplo, um espaço filho designado por ChildAreaIndexForObj[0], ou congêneres. Além do mais, em um caso em que o mesmo objeto pertencer à pluralidade de espaços filhos, é apenas exigido determinar, em antecipação, para qual espaço filho a informação de posição no espaço filho é quantizada, para o objeto.
[00358] Isto é, apenas a informação de posição no espaço filho para um da pluralidade de espaços filhos aos quais o objeto pertence é quantizada e transmitida, e a informação de posição quantizada para os outros espaços filhos não é transmitida. No lado do cliente 114, é exigido apenas obter, a
66 / 79 partir da informação de posição no espaço filho para um espaço filho de um certo objeto, a informação de posição no espaço filho para um outro espaço filho do mesmo objeto.
[00359] Além do mais, um formato de uma parte da informação de espaço filho “ChildAreaInfo()”na informação de cabeçalho ilustrada na figura 26 é da forma ilustrada na figura 27, por exemplo. Note que o formato da informação de espaço filho ilustrado na figura 27 é o mesmo daquele ilustrado na figura 12, e uma descrição do mesmo será assim omitida. <Segunda Modificação da Segunda Modalidade> <Relativo a Quadro de Omissão>
[00360] Além do mais, em um áudio com ponto de visualização livre, a comunicação é realizada entre o servidor 112 e o cliente 114, de maneira tal que a informação, tais como a informação de posição quantizada ou congêneres, seja trocada entre o servidor 112 e o cliente 114.
[00361] Entretanto, também há uma possibilidade de que um atraso ocorra, dependendo de uma situação do congestionamento de uma rede, isto é, uma linha de transmissão, entre o servidor 112 e o cliente 114, de maneira tal que o cliente 114 não possa adquirir a informação necessária para a reprodução, tais como a informação de posição quantizada ou congêneres, até um tempo de reprodução dos dados de áudio.
[00362] Portanto, por exemplo, em um caso em que um atraso da transmissão tiver se tornado grande, da forma ilustrada na figura 28, o número de quadros a serem omitidos pode ser transmitido do cliente 114 para o servidor 112.
[00363] Neste caso, o servidor 112 transmite a informação de posição quantizada de um objeto temporalmente precedente pelo número de quadros de omissão designados pelo cliente 114 e a informação de interpolação de um tempo de reprodução atual até um tempo do quadro de omissão.
[00364] Por exemplo, da forma ilustrada pela seta Q61 na figura 28,
67 / 79 considere que um conteúdo em que um objeto que estava em uma posição (X1, Y1, Z1) no sistema de coordenadas XYZ no quadro 1 está se movendo para uma posição (X2, Y2, Z2) no sistema de coordenadas XYZ no quadro 8 depois de sete quadros é reproduzido.
[00365] Neste momento, da forma ilustrada pela seta Q62, considere que a informação de posição quantizada pode ser transmitida e recebida sem um atraso, até o quadro 1 e o quadro 2, mas, neste ponto no tempo, o cliente 114 determinou que uma banda de uma linha de transmissão é estreita, de maneira tal que seja provável que um atraso ocorra.
[00366] Então, o cliente 114 não solicita que o servidor 112 transmita a informação de posição quantizada inicial do quadro 3, mas, em vez disto, solicita que o servidor 112 transmita o número de quadros de solicitação de omissão que designam o quadro 8 e a informação de interpolação usada para o processamento de interpolação.
[00367] Aqui, o número de quadros de solicitação de omissão é a informação que indica o número de quadros que omitem a transmissão da informação de posição quantizada. Aqui, por exemplo, já que o número “5” de quadros de solicitação de omissão é transmitido para o servidor 112, o servidor 112 omite cinco quadros depois do quadro 2 em que a transmissão foi concluída, e transmite a informação de posição quantizada e a informação de interpolação para o próximo quadro 8.
[00368] Portanto, no lado do cliente 114, a informação de posição no espaço pai pode ser obtida pelo processamento de decodificação para a informação de posição quantizada do quadro 8. Além do mais, o cliente 114 pode obter a informação de posição no espaço pai no quadro 3 até no quadro 7 pelo processamento de interpolação com base na informação de posição no espaço pai do quadro 2, na informação de posição no espaço pai do quadro 8 e na informação de interpolação.
[00369] Pela realização de tal processamento de interpolação, é
68 / 79 possível obter uma posição do objeto que se move da posição (X1, Y1, Z1) para a posição (X2, Y2, Z2) em um sincronismo arbitrário (quadro).
[00370] Em um caso em que o cliente 114 transmitir o número de quadros de solicitação de omissão para o servidor 112, como tal, a solicitação de transmissão da informação de posição quantizada inicial transmitida pelo cliente 114 é da forma ilustrada na figura 29, por exemplo.
[00371] Em um exemplo ilustrado na figura 29, a solicitação de transmissão da informação de posição quantizada inicial inclui adicionalmente o número de quadros de solicitação de omissão indicado por um caractere “SkipFrameRequest”, além dos índices de divisão “exp_index_inicial_x[i]”, “exp_index_inicial_y[i]”, e “exp_index_inicial_z[i]” em cada direção do eixo geométrico do i-ésimo objeto ilustrado na figura 13.
[00372] Além do mais, o servidor 112 que recebeu a solicitação de transmissão da informação de posição quantizada inicial ilustrada na figura 29 transmite a informação de posição quantizada inicial em um formato do fluxo contínuo de bits ilustrado na figura 30, por exemplo.
[00373] Em um exemplo ilustrado na figura 30, o fluxo contínuo de bits inclui a informação de interpolação indicada por um caractere “InterpolMode[i]”, além da informação de posição quantizada inicial “Xpos_inicial[i]”, “Ypos_inicial[i]”, e “Zpos_inicial[i]” ilustrada na figura
14.
[00374] Em particular, aqui, a informação de interpolação InterpolMode [i] é a informação que indica se realiza-se a interpolação linear ou a interpolação quadrática no i-ésimo objeto. Entretanto, em um caso em que a solicitação de transmissão da informação de posição quantizada inicial ilustrada na figura 13, em vez da figura 29, for recebida a partir do cliente 114, a informação de interpolação InterpolMode [i] não é armazenada no fluxo contínuo de bits.
69 / 79
[00375] Por exemplo, em um caso em que o objeto estiver se movendo em um movimento correspondente a um movimento uniforme, é apenas exigido realizar a interpolação linear, e, em um caso em que o objeto estiver se movendo em um movimento correspondente a um movimento uniformemente acelerado, é apenas exigido realizar a interpolação quadrática.
[00376] Note que, aqui, um exemplo no qual qualquer uma da interpolação linear e da interpolação quadrática é seletivamente realizada é descrito, mas outros métodos de interpolação podem ser usados, certamente. Além do mais, um coeficiente usado para o processamento de interpolação pode ser armazenado como a informação de interpolação ou um próprio coeficiente usado para o processamento de interpolação pode ser mantido em antecipação pelo cliente 114.
[00377] Além do mais, no exemplo ilustrado na figura 30, a informação de posição quantizada inicial armazenada no fluxo contínuo de bits é a informação de posição quantizada inicial do quadro omitido precedente pelo número de quadros de solicitação de omissão. <Descrição do Processamento de Aquisição da Informação de Posição e do Processamento de Transmissão da Informação de Posição>
[00378] Aqui, o processamento realizado em um caso em que o cliente 114 transmite a solicitação de transmissão da informação de posição quantizada inicial ilustrada na figura 29 devido a um atraso ou congêneres na linha de transmissão será descrito.
[00379] Isto é, o processamento de aquisição da informação de posição pelo cliente 114 e o processamento de transmissão da informação de posição pelo servidor 112 serão descritos a seguir em relação a um fluxograma da figura 31.
[00380] Note que a unidade de controle 242 determina se realiza-se ou não a omissão de quadros para a informação de posição quantizada ou quantos quadros omitem-se, com base, por exemplo, em uma situação de
70 / 79 banda da linha de transmissão, isto é, um tráfego de uma rede, entre o servidor 112 e o cliente 114 ou um registro de tempo no momento da reprodução do conteúdo, isto é, uma situação de reprodução do conteúdo.
[00381] Quando o processamento de aquisição da informação de posição iniciar pelo cliente 114, a unidade de comunicação 241 transmite a solicitação de transmissão da informação de posição quantizada inicial suprida a partir da unidade de controle 242 para o servidor 112 sob o controle da unidade de controle de comunicação 251, na etapa S251.
[00382] Isto é, a unidade de controle 242 gera a solicitação de transmissão da informação de posição quantizada inicial ilustrada na figura 29 com base no tráfego da rede, na situação de reprodução do conteúdo ou congêneres, e supre a solicitação de transmissão da informação de posição quantizada inicial para a unidade de comunicação 241. Esta solicitação de transmissão da informação de posição quantizada inicial inclui o número de quadros de solicitação de omissão.
[00383] Então, no servidor 112, na etapa S291, a unidade de comunicação 201 recebe a solicitação de transmissão da informação de posição quantizada inicial transmitida a partir do cliente 114 sob o controle da unidade de controle de comunicação 211, e supre a solicitação de transmissão da informação de posição quantizada inicial para a unidade de controle 202.
[00384] Na etapa S292, a unidade de geração da informação de transmissão 212 gera a informação de posição quantizada inicial em relação ao arquivo de dados codificados gravado na unidade de gravação 121 de acordo com a solicitação de transmissão da informação de posição quantizada inicial suprida a partir da unidade de comunicação 201.
[00385] Neste caso, por exemplo, no formato do fluxo contínuo de bits ilustrado na figura 30, um fluxo contínuo de bits que inclui a informação de posição quantizada inicial de um primeiro quadro depois da omissão e a informação de interpolação é gerada. A unidade de controle de comunicação
71 / 79 211 supre o fluxo contínuo de bits gerado desta maneira para a unidade de comunicação 201. Neste momento, a unidade de geração da informação de transmissão 212 especifica um movimento do objeto a partir da informação de posição quantizada, isto é, uma posição do objeto, em quadros antes e depois da omissão ou quadros omitidos, e permite que a informação de interpolação de acordo com o resultado da especificação seja incluída no fluxo contínuo de bits.
[00386] Na etapa S293, a unidade de comunicação 201 transmite o fluxo contínuo de bits suprido a partir da unidade de controle de comunicação 211, isto é, a informação de posição quantizada inicial de cada objeto para o cliente 114 sob o controle da unidade de controle de comunicação 211, e o processamento de transmissão da informação de posição termina.
[00387] Quando a informação de posição quantizada inicial for transmitida pelo servidor 112, a unidade de comunicação 241 recebe a informação de posição quantizada inicial transmitida a partir do servidor 112 sob o controle da unidade de controle de comunicação 251, e supre a informação de posição quantizada inicial para a unidade de controle 242, na etapa S252.
[00388] Quando a informação de posição quantizada inicial for adquirida, os processamentos da etapa S253 e da etapa S254 são posteriormente realizados, mas estes processamentos são similares aos processamentos da etapa S135 e da etapa S136 da figura 22, e uma descrição dos mesmos será assim omitida. Entretanto, aqui, o processamento é realizado no primeiro quadro depois da omissão, de maneira tal que a informação de posição decodificada no espaço pai deste quadro seja obtida.
[00389] Na etapa S255, o decodificador da informação de posição de coordenada absoluta 131 realiza o processamento de interpolação indicado pela informação de interpolação recebida juntamente com a informação de posição quantizada inicial na etapa S252, com base na informação de posição
72 / 79 decodificada no espaço pai do quadro depois da omissão obtido na etapa S254 e na informação de posição decodificada no espaço pai do quadro antes da omissão obtido imediatamente antes.
[00390] Isto é, por exemplo, o decodificador da informação de posição de coordenada absoluta 131 gera a informação de posição decodificada no espaço pai de cada quadro omitido pela realização do processamento indicado pela informação de interpolação, isto é, a interpolação linear ou a interpolação quadrática.
[00391] Além do mais, o decodificador da informação de posição de coordenada absoluta 131 obtém a informação de posição do objeto em cada quadro pela multiplicação da informação de posição decodificada no espaço pai de cada quadro pela distância absoluta absoluteDistance para os quadros omitidos e o primeiro quadro depois da omissão obtido pelo processamento exposto. Quando a informação de posição do objeto for obtida desta maneira, o processamento de aquisição da informação de posição termina.
[00392] De uma maneira como esta, o cliente 114 transmite a solicitação de transmissão da informação de posição quantizada inicial que inclui o número de quadros de solicitação de omissão durante a omissão de alguns quadros, e obtém a informação de posição no espaço pai do quadro depois da omissão e obtém a informação de posição no espaço pai dos quadros omitidos pelo processamento de interpolação. Além do mais, o servidor 112 transmite a informação de posição quantizada inicial e a informação de interpolação para o cliente 114 de acordo com o número de quadros de solicitação de omissão.
[00393] Fazendo isto, é possível suprimir que um atraso ocorra na reprodução do conteúdo mesmo em um caso em que o atraso ocorrer na linha de transmissão.
[00394] Da forma supradescrita, de acordo com a presente tecnologia, é possível transmitir a informação que indica as posições dos objetos, ao
73 / 79 mesmo tempo em que se mantém a precisão exigida com uma pequena quantidade de transmissão pela transmissão da informação que indica as posições dos objetos usando o espaço filho em um caso em que as posições de existência dos objetos estiverem enviesados no espaço pai.
[00395] Além do mais, como na primeira modificação da segunda modalidade, pelo tratamento de dois ou mais espaços completamente diferentes como os respectivos espaços filhos, e gerenciamento destes espaços filhos em um espaço pai, o ouvinte pode ter uma experiência como se o mesmo estivesse indo e vindo entre uma pluralidade de espaços completamente diferentes pela decodificação apenas de um espaço filho necessário.
[00396] Além do mais, como na segunda modificação da segunda modalidade, mesmo em um caso em que a linha de transmissão estiver congestionada, de maneira tal que um fluxo contínuo de bits exigido não alcance até o tempo de reprodução, o objeto pode ser suavemente movido e reproduzido por antecipação e interpolação. <Exemplo de Configuração do Computador>
[00397] A propósito, a série de processamento supradescrita pode ser executada por hardware ou pode ser executada por software. Em um caso em que a série de processamento for executada pelo software, os programas que configuram o software são instalados em um computador. Aqui, o computador inclui um computador incorporado em hardware dedicado, ou, por exemplo, um computador pessoal de propósito geral que pode executar várias funções pela instalação de vários programas, ou congêneres.
[00398] A figura 32 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um computador que executa a série de processamento supradescrita por um programa.
[00399] No computador, uma unidade central de processamento (CPU) 501, uma memória exclusiva de leitura (ROM) 502 e uma memória de acesso
74 / 79 aleatório (RAM) 503 são conectadas umas nas outras por um barramento 504.
[00400] Uma interface de entrada / saída 505 é adicionalmente conectada no barramento 504. Uma unidade de entrada 506, uma unidade de saída 507, uma unidade de gravação 508, uma unidade de comunicação 509, e uma unidade 510 são conectadas na interface de entrada / saída 505.
[00401] A unidade de entrada 506 inclui um teclado, um mouse, um microfone, um elemento de captura de imagem e congêneres. A unidade de saída 507 inclui um visor, um alto-falante e congêneres. A unidade de gravação 508 inclui um disco rígido, uma memória não volátil ou congêneres. A unidade de comunicação 509 inclui uma interface de rede e congêneres. A unidade 510 aciona uma mídia de gravação removível 511, tais como um disco magnético, um disco óptico, um disco magneto-óptico, uma memória semicondutora ou congêneres.
[00402] No computador configurado como exposto, a CPU 501 realiza a série de processamento supradescrita pelo carregamento, por exemplo, de um programa gravado na unidade de gravação 508 na RAM 503 por meio da interface de entrada / saída 505 e do barramento 504 e pela execução do programa.
[00403] O programa executado pelo computador (CPU 501) pode ser gravado e provido na mídia de gravação removível 511, por exemplo, como um pacote de mídia e congêneres. Além do mais, o programa pode ser provido por meio de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet, ou difusão via satélite digital.
[00404] No computador, o programa pode ser instalado na unidade de gravação 508 por meio da interface de entrada / saída 505 pela montagem da mídia de gravação removível 511 na unidade 510. Além do mais, o programa pode ser recebido pela unidade de comunicação 509 por meio da mídia de transmissão com fios ou sem fio e ser instalado na unidade de gravação 508. Além do mais, o programa pode ser instalado na ROM 502 ou na unidade de
75 / 79 gravação 508 em antecipação.
[00405] Note que o programa executado pelo computador pode ser um programa pelo qual o processamento é realizado em série temporal de acordo com a ordem descrita na presente especificação ou pode ser um programa pelo qual o processamento é realizado em paralelo ou em um sincronismo necessário, tal como um sincronismo quando uma chamada for feita, ou congêneres.
[00406] Além do mais, as modalidades da presente tecnologia não são limitadas às modalidades supradescritas, e várias modificações podem ser feitas sem fugir do escopo da presente tecnologia.
[00407] Por exemplo, a presente tecnologia pode ter uma configuração de computação em nuvem na qual uma função é compartilhada e processada conjuntamente por uma pluralidade de dispositivos por meio de uma rede.
[00408] Além do mais, as respectivas etapas descritas nos supramencionados fluxogramas podem ser executadas por um dispositivo ou podem ser executadas de uma maneira compartilhada por uma pluralidade de dispositivos.
[00409] Além do mais, em um caso em que uma pluralidade de processamentos for incluída em uma etapa, a pluralidade de processamentos incluída em uma etapa pode ser executada por um dispositivo ou pode ser executada de uma maneira compartilhada por uma pluralidade de dispositivos.
[00410] Além do mais, a presente tecnologia também pode ter as seguintes configurações.
[00411] (1) Um dispositivo de processamento de informação, que inclui: uma unidade de aquisição que adquire a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto
76 / 79 sendo incluído no espaço filho; e uma unidade de cálculo que calcula a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho.
[00412] (2) O dispositivo de processamento de informação, de acordo com (1), em que o espaço pai é representado por coordenadas absolutas.
[00413] (3) O dispositivo de processamento de informação, de acordo com (1) ou (2), em que a informação de espaço é um coeficiente de conversão para a conversão de coordenadas.
[00414] (4) O dispositivo de processamento de informação, de acordo com (3), em que o coeficiente de conversão é um parâmetro de uma função linear.
[00415] (5) O dispositivo de processamento de informação, de acordo com (1) ou (2), em que a informação de espaço é a informação que indica uma posição de um vértice que torna-se uma referência do espaço filho no espaço pai e a informação que indica uma posição de um vértice diagonal do espaço filho em relação ao vértice no espaço pai.
[00416] (6) O dispositivo de processamento de informação, de acordo com qualquer um de (1) até (5), em que o espaço filho é representado por coordenadas absolutas.
[00417] (7) O dispositivo de processamento de informação, de acordo com qualquer um de (1) até (6), em que uma pluralidade dos espaços filhos é incluída no espaço pai.
[00418] (8) O dispositivo de processamento de informação, de acordo com (7), em que
77 / 79 cada um dos objetos incluídos em cada um da pluralidade dos espaços filhos tem atributos diferentes uns dos outros.
[00419] (9) O dispositivo de processamento de informação, de acordo com (7), em que a pluralidade dos espaços filhos sobrepõem uns com os outros.
[00420] (10) O dispositivo de processamento de informação, de acordo com (7), em que a pluralidade dos espaços filhos têm características de reverberação diferentes uns dos outros.
[00421] (11) O dispositivo de processamento de informação, de acordo com qualquer um de (1) até (10), em que o espaço filho inclui uma pluralidade de objetos.
[00422] (12) O dispositivo de processamento de informação, de acordo com qualquer um de (1) até (11), em que um dos objetos é incluído em uma pluralidade dos espaços filhos.
[00423] (13) O dispositivo de processamento de informação, de acordo com qualquer um de (1) até (12), em que a unidade de aquisição adquire adicionalmente a informação de posição adicional para obter a informação de posição no espaço filho com precisão mais alta do que a informação de posição adquirida no espaço filho, e a unidade de cálculo calcula a informação de posição no espaço pai com base na informação de posição no espaço filho com a precisão mais alta e na informação de espaço, a informação de posição no espaço filho com a precisão mais alta sendo obtida com base na informação de posição adquirida no espaço filho e na informação de posição adicional.
[00424] (14) O dispositivo de processamento de informação, de acordo com qualquer um de (1) até (13), em que
78 / 79 o objeto é um objeto de áudio.
[00425] (15) Um método de processamento de informação executado por um dispositivo de processamento de informação, que inclui: adquirir a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto sendo incluído no espaço filho; e calcular a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho.
[00426] (16) Um programa para fazer com que um computador execute o processamento que inclui as etapas de: adquirir a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto sendo incluído no espaço filho; e calcular a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho. Lista dos Sinais de Referência
[00427] 11 Codificador 21 Unidade de aquisição 22 Unidade de codificação 23 Unidade de comunicação 31 Unidade de determinação do espaço filho 32 Unidade de conversão 33 Unidade de quantização
79 / 79
61 Decodificador 71 Unidade de aquisição 72 Unidade de decodificação 73 Unidade de saída 81 Unidade de quantização inversa 82 Unidade de conversão

Claims (16)

REIVINDICAÇÕES
1. Dispositivo de processamento de informação, caracterizado pelo fato de que compreende: uma unidade de aquisição que adquire a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto sendo incluído no espaço filho; e uma unidade de cálculo que calcula a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho.
2. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que o espaço pai é representado por coordenadas absolutas.
3. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a informação de espaço é um coeficiente de conversão para a conversão de coordenadas.
4. Dispositivo de processamento de informação de acordo com a reivindicação 3, caracterizado pelo fato de que o coeficiente de conversão é um parâmetro de uma função linear.
5. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a informação de espaço é a informação que indica uma posição de um vértice que torna-se uma referência do espaço filho no espaço pai e a informação que indica uma posição de um vértice diagonal do espaço filho em relação ao vértice no espaço pai.
6. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que o espaço filho é representado por coordenadas absolutas.
7. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que uma pluralidade dos espaços filhos é incluída no espaço pai.
8. Dispositivo de processamento de informação de acordo com a reivindicação 7, caracterizado pelo fato de que cada um dos objetos incluídos em cada um da pluralidade dos espaços filhos tem atributos diferentes uns dos outros.
9. Dispositivo de processamento de informação de acordo com a reivindicação 7, caracterizado pelo fato de que a pluralidade dos espaços filhos sobrepõem uns com os outros.
10. Dispositivo de processamento de informação de acordo com a reivindicação 7, caracterizado pelo fato de que a pluralidade dos espaços filhos têm características de reverberação diferentes uns dos outros.
11. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que o espaço filho inclui uma pluralidade de objetos.
12. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que um dos objetos é incluído em uma pluralidade dos espaços filhos.
13. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de aquisição adquire adicionalmente a informação de posição adicional para obter a informação de posição no espaço filho com precisão mais alta do que a informação de posição adquirida no espaço filho, e a unidade de cálculo calcula a informação de posição no espaço pai com base na informação de posição no espaço filho com a precisão mais alta e na informação de espaço, a informação de posição no espaço filho com a precisão mais alta sendo obtida com base na informação de posição adquirida no espaço filho e na informação de posição adicional.
14. Dispositivo de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que o objeto é um objeto de áudio.
15. Método de processamento de informação executado por um dispositivo de processamento de informação, caracterizado pelo fato de que compreende: adquirir a informação de espaço em relação a uma posição e um tamanho de um espaço filho em um espaço pai e a informação de posição no espaço filho que indica uma posição de um objeto no espaço filho, o espaço filho sendo incluído no espaço pai, e o objeto sendo incluído no espaço filho; e calcular a informação de posição no espaço pai que indica uma posição do objeto no espaço pai com base na informação de espaço e na informação de posição no espaço filho.
16. Meio de armazenamento legível por computador, caracterizado pelo fato de que contém instruções legíveis por computador que, ao serem lidas por um computador, fazem com que o computador execute o método como definido na reivindicação 15.
BR112020026728-7A 2018-07-04 2019-06-20 Dispositivo e método de processamento de informação, e, meio de armazenamento legível por computador BR112020026728A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018-127547 2018-07-04
JP2018127547 2018-07-04
JP2018132490 2018-07-12
JP2018-132490 2018-07-12
PCT/JP2019/024441 WO2020008890A1 (ja) 2018-07-04 2019-06-20 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
BR112020026728A2 true BR112020026728A2 (pt) 2021-03-23

Family

ID=69060234

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112020026728-7A BR112020026728A2 (pt) 2018-07-04 2019-06-20 Dispositivo e método de processamento de informação, e, meio de armazenamento legível por computador

Country Status (8)

Country Link
US (2) US11790925B2 (pt)
EP (1) EP3819902A4 (pt)
JP (2) JP7276337B2 (pt)
KR (1) KR20210030279A (pt)
CN (1) CN112352278A (pt)
BR (1) BR112020026728A2 (pt)
SG (1) SG11202012259RA (pt)
WO (1) WO2020008890A1 (pt)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11937070B2 (en) 2021-07-01 2024-03-19 Tencent America LLC Layered description of space of interest
WO2024132941A1 (en) * 2022-12-23 2024-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for predicting voxel coordinates for ar/vr systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214776B2 (ja) * 1994-04-13 2001-10-02 株式会社東芝 仮想環境表示装置および方法
US20040210546A1 (en) * 2003-01-13 2004-10-21 Christopher Spooner System and method for spatial organization
CN102265112B (zh) * 2009-09-04 2014-07-02 松下电器产业株式会社 位置矫正信息收集装置以及位置矫正装置
EP2863657B1 (en) * 2012-07-31 2019-09-18 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
KR102654507B1 (ko) * 2017-07-14 2024-04-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
WO2019149337A1 (en) * 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs

Also Published As

Publication number Publication date
SG11202012259RA (en) 2021-01-28
JPWO2020008890A1 (ja) 2021-08-02
US11790925B2 (en) 2023-10-17
US20210272576A1 (en) 2021-09-02
US20240013795A1 (en) 2024-01-11
EP3819902A4 (en) 2021-11-10
JP7276337B2 (ja) 2023-05-18
CN112352278A (zh) 2021-02-09
KR20210030279A (ko) 2021-03-17
WO2020008890A1 (ja) 2020-01-09
JP2023083539A (ja) 2023-06-15
JP7497767B2 (ja) 2024-06-11
EP3819902A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
JP7226436B2 (ja) 情報処理装置および方法、並びにプログラム
JP7497767B2 (ja) 情報処理装置および方法、並びにプログラム
CN109891503B (zh) 声学场景回放方法和装置
TW201830380A (zh) 用於虛擬實境，增強實境及混合實境之音頻位差
BR112017026915B1 (pt) Processador e codificador de áudio e método para processar e gerar sinal de áudio
BR112020000759A2 (pt) aparelho para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, método para gerar uma descrição aprimorada de campo sonoro, método para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, programa de computador, descrição aprimorada de campo sonoro
BR112017026743B1 (pt) Aparelho de decodificação, e, aparelho codificação
BRPI0316548B1 (pt) método para descrição de composição de sinais de áudio
JP2022137213A (ja) 信号処理装置および方法、並びにプログラム
EP3777249A1 (en) An apparatus, a method and a computer program for reproducing spatial audio
JP2016529801A (ja) 一定出力ペアワイズパニングによるマトリクスデコーダ
BR112020020279A2 (pt) Aparelho e método de processamento de informação, e, programa.
US20230123253A1 (en) Method and Apparatus for Low Complexity Low Bitrate 6DOF HOA Rendering
US20230110257A1 (en) 6DOF Rendering of Microphone-Array Captured Audio For Locations Outside The Microphone-Arrays
US11902768B2 (en) Associated spatial audio playback
US20240007818A1 (en) Information processing device and method, and program
TW201937944A (zh) 用以轉換音訊物件之物件位置的設備、音訊串流供應器、音訊內容產生系統、音訊播放設備、方法及電腦程式
WO2022234698A1 (ja) 情報処理装置および方法、並びにプログラム
CN114128312A (zh) 用于低频效果的音频渲染
JP2017212560A (ja) 音声処理装置、音声処理方法およびプログラム