BRPI0921067B1

BRPI0921067B1 - AUDIO REPRODUCTION DEVICE, AUDIO REPRODUCTION APPLIANCE, AUDIO REPRODUCTION METHOD, INTEGRATED CIRCUIT AND MEDIA LEGIBLE BY COMPUTER

Info

Publication number: BRPI0921067B1
Application number: BRPI0921067-9A
Authority: BR
Inventors: Takashi Yokoyama
Original assignee: Socionext Inc
Priority date: 2008-11-21
Filing date: 2009-10-13
Publication date: 2020-02-18
Also published as: BRPI0921067A2; WO2010058518A1; JP5629429B2; EP2360684A1; EP2610867A1; EP2360684A4; EP2610867B1; JP2010122640A; EP2360684B1

Abstract

dispositivo de reprodução de áudio, aparelho de reprodução de áudio, método de reprodução de áudio, circuito integrado e meio legível por computador. a presente invenção refere-se a um dispositivo de reprodução de áudio (100) que decodifica e reproduz um fluxo que inclui o codec básico. o dispositivo de reprodução de áudio (100) inclui: uma unidade de separação de fluxo (101) que separa o fluxo em codec básico e dados de extensão de largura de banda; uma unidade de análise de codec básico (102) que analisa o codec básico; uma unidade de decodificação de codec básico (103) que decodifica o codec básico de acordo com a informação de análise de codec básico; uma unidade de análise de dados de extensão de largura de banda (104) que analisa os dados de extensão de largura de banda; uma primeira unidade de processamento de extensão de largura de banda (106) que estende um sinal de codec básico decodificado com o uso da informação de extensão de largura de banda; uma segunda unidade de processamento de extensão de largura de banda (107) que estende um sinal de codec básico decodificado com o uso da informação de extensão de largura de banda com uma precisão maior do que uma precisão da primeira unidade de processamento de extensão de largura de banda (106); e uma unidade de comutação (109) que comuta entre a primeira unidade de processamento de extensão de largura de banda (106) e a segunda unidade de processamento de extensão de largura de banda (107) com base na informação de análise de codec básico.audio reproduction device, audio reproduction apparatus, audio reproduction method, integrated circuit and computer readable medium. the present invention relates to an audio reproduction device (100) that decodes and reproduces a stream that includes the basic codec. the audio reproduction device (100) includes: a stream separation unit (101) that separates the stream into basic codec and bandwidth extension data; a basic codec analysis unit (102) that analyzes the basic codec; a basic codec decoding unit (103) which decodes the basic codec according to the basic codec analysis information; a bandwidth extension data analysis unit (104) that analyzes the bandwidth extension data; a first bandwidth extension processing unit (106) that extends a basic codec signal decoded using the bandwidth extension information; a second bandwidth extension processing unit (107) that extends a basic codec signal decoded using the bandwidth extension information with an accuracy greater than an accuracy of the first width extension processing unit band (106); and a switching unit (109) that switches between the first bandwidth extension processing unit (106) and the second bandwidth extension processing unit (107) based on basic codec analysis information.

Description

Relatório Descritivo da Patente de Invenção para DISPOSITIVO DE REPRODUÇÃO DE ÁUDIO, APARELHO DE REPRODUÇÃO DE ÁUDIO, MÉTODO DE REPRODUÇÃO DE ÁUDIO, CIRCUITO INTEGRADO E MEIO LEGÍVEL POR COMPUTADOR.Invention Patent Descriptive Report for AUDIO REPRODUCTION DEVICE, AUDIO REPRODUCTION APPLIANCE, AUDIO REPRODUCTION METHOD, INTEGRATED CIRCUIT AND MEDIA LEGIBLE BY COMPUTER.

Campo da técnica [001] A presente invenção refere-se a um dispositivo de reprodução de áudio que decodifica um sinal de áudio codificado e reproduz o sinal de áudio decodificado.Field of the technique [001] The present invention relates to an audio reproduction device that decodes an encoded audio signal and reproduces the decoded audio signal.

Técnica antecedente [002] Há um dispositivo de reprodução de áudio convencional que recebe um sinal de áudio de banda baixa e informação de extensão de largura de banda e gera um sinal de áudio de banda alta estendida com o uso de uma técnica de replicação de banda espectral (mais adiante nesse documento, mencionada como SBR). A SBR reconstrói a banda alta do sinal recebido por meio da predição da banda alta com referência à informação colateral incluída na informação de extensão de largura de banda. Aqui, somente uma pequena quantidade de informação colateral é necessária e, deste modo, a SBR otimiza a qualidade de som do sinal de áudio codificado em baixas taxas de bit.Background technique [002] There is a conventional audio playback device that receives a low band audio signal and bandwidth extension information and generates an extended high band audio signal using a band replication technique spectral (later in this document, referred to as SBR). The SBR reconstructs the high band of the received signal by predicting the high band with reference to the collateral information included in the bandwidth extension information. Here, only a small amount of collateral information is needed and, in this way, the SBR optimizes the sound quality of the audio signal encoded at low bit rates.

[003] Dois tipos de SBR são definidos, os quais consistem em SBR de alta qualidade (mais adiante nesse documento, mencionada como HQ-SBR) e SBR de baixa energia (mais adiante nesse documento, mencionada como LP-SBR).[003] Two types of SBR are defined, which consist of high quality SBR (later in this document, referred to as HQ-SBR) and low energy SBR (later in this document, referred to as LP-SBR).

[004] A HQ-SBR executa a aritmética complexa para todo o processamento da análise de sub-banda, geração de banda alta e síntese de sub-banda. Deste modo, a HQ-SBR é adequada para a otimização da qualidade de som, mas exige uma grande quantidade de computação.[004] HQ-SBR performs complex arithmetic for all subband analysis processing, high band generation and subband synthesis. Thus, the HQ-SBR is suitable for the optimization of sound quality, but requires a large amount of computation.

[005] A LP-SBR executa operações de número em vez da aritmé[005] LP-SBR performs number operations instead of arithmetic

Petição 870190124121, de 27/11/2019, pág. 5/48Petition 870190124121, of 11/27/2019, p. 5/48

2/34 tica complexa da HQ-SBR. A LP-SBR é projetada para reduzir a distorção de serrilhado gerada pela operação de número real. Deste modo, a LP-SBR é capaz de reduzir significantemente a quantidade de computação e alcances, em baixas taxas de bit, a qualidade de som equivalente àquela da HQ-SBR. Sabe-se que a LP-SBR exige somente aproximadamente metade da quantidade de processamento que é exigida na HQ-SBR (vide a literatura de não patente (NPL) 1).2/34 HQ-SBR's complex approach. LP-SBR is designed to reduce aliasing distortion generated by the real number operation. In this way, LP-SBR is able to significantly reduce the amount of computation and reach, at low bit rates, the sound quality equivalent to that of HQ-SBR. It is known that LP-SBR requires only approximately half the amount of processing that is required in HQ-SBR (see non-patent literature (NPL) 1).

[006] A SBR é usada em combinação com a codificação de áudio avançada (AAC) e a configuração combinada é mencionada como perfil de AAC de alta eficiência (HE-AAC). Em combinação com AAC, sabe-se que AAC+LP-SBR exige somente aproximadamente 70 % da quantidade de processamento que é exigida em AAC+HQ-SBR (vide NPL 1).[006] SBR is used in combination with advanced audio coding (AAC) and the combined configuration is referred to as the high efficiency AAC profile (HE-AAC). In combination with AAC, it is known that AAC + LP-SBR requires only approximately 70% of the amount of processing that is required in AAC + HQ-SBR (see NPL 1).

[007] Também há um dispositivo de reprodução convencional que recebe um sinal de áudio monaural e informação de estéreo e executa o processamento de estéreo sobre o sinal de áudio monaural com base na informação de estéreo para gerar um sinal de áudio estéreo. O processamento de estéreo é conhecido como estéreo paramétrico (mais adiante nesse documento, mencionado como PS) e usado em combinação com SBR. O PS utiliza comumente um filtro espelhado em quadratura complexo (QMF) com SBR para o processamento de estéreo (vide NPL 2).[007] There is also a conventional playback device that receives a monaural audio signal and stereo information and performs stereo processing on the monaural audio signal based on stereo information to generate a stereo audio signal. Stereo processing is known as parametric stereo (later in this document, referred to as PS) and used in combination with SBR. The PS commonly uses a complex quadrature mirror (QMF) filter with SBR for stereo processing (see NPL 2).

[008] Sabe-se que o PS é usado em combinação com AAC e SBR, e a configuração combinada é mencionada como perfil HEAACv2. O PS precisa ser usado em combinação com HQ-SBR, o qual utiliza o QMF complexo (vide literaturas de não patente 2 e 3). Quando não há dados de PS, a AAC pode ser usada em combinação com HQSBR ou LP-SBR.[008] It is known that the PS is used in combination with AAC and SBR, and the combined configuration is referred to as the HEAACv2 profile. The PS needs to be used in combination with HQ-SBR, which uses the complex QMF (see non-patent literature 2 and 3). When there is no PS data, AAC can be used in combination with HQSBR or LP-SBR.

[009] O perfil HE-AAC e o perfil HE-AACv2 têm um conceito de níveis. Quanto maior for o nível, mais variedades de tipos de sinais[009] The HE-AAC profile and the HE-AACv2 profile have a concept of levels. The higher the level, the more varieties of signal types

Petição 870190124121, de 27/11/2019, pág. 6/48Petition 870190124121, of 11/27/2019, p. 6/48

3/34 podem ser decodificadas. Os exemplos dos tipos incluem aqui a frequência de amostragem máxima ou o número máximo de canais de um sinal de áudio de entrada codificado, e a frequência de amostragem máxima de um sinal de áudio de saída decodificado (vide NPL 3). Lista de citação3/34 can be decoded. Examples of types here include the maximum sampling frequency or the maximum number of channels of an encoded input audio signal, and the maximum sampling frequency of a decoded output audio signal (see NPL 3). Citation list

Literatura de não patente [0010] [NPL 1] Mitsutoshi HATORI, “One segment broadcasting textbook”, Impress Japan, 15 de junho de 2005 [0011] [NPL 2] Toshiyuki NOMURA, “Latest trends and applications of MPEG audio”, [online], University of the Ryukyus Computing and Networking center publication n^o. 5, abril de 2008, [examinado em 17 de setembro de 2008], Internet <URL: http://www.cc.u-ryukyuac.jp/news/kouhou/No5/2-5.pdf>Non-patent literature [0010] [NPL 1] Mitsutoshi HATORI, “One segment broadcasting textbook”, Impress Japan, June 15, 2005 [0011] [NPL 2] Toshiyuki NOMURA, “Latest trends and applications of MPEG audio”, [ online], University of the Ryukyus Computing and Networking center publication No. April 5, 2008, [reviewed on September 17, 2008], Internet <URL: http://www.cc.u-ryukyuac.jp/news/kouhou/No5/2-5.pdf>

[0012] [NPL 3] ISO/IEC 14496-3:2005/FDAM2, “Information technology-Coding of audio-visual objects-Part 3: Audio, AMENDMENT 2: Audio Lossless Coding (ALS), new audio profiles and BSAC extensions”, Agosto de 2005[0012] [NPL 3] ISO / IEC 14496-3: 2005 / FDAM2, “Information technology-Coding of audio-visual objects-Part 3: Audio, AMENDMENT 2: Audio Lossless Coding (ALS), new audio profiles and BSAC extensions ”, August 2005

Sumário da invençãoSummary of the invention

Problema técnico [0013] No entanto, a fim de que as técnicas convencionais de decodificação de sinais de áudio codificados cumpram com o perfil HEAACv2 e os níveis maiores, precisa ser usada a HQ-SBR que exige uma grande quantidade de computação. Como consequência disto, por exemplo, no caso onde um sinal de áudio de entrada codificado consiste em um sinal de múltiplos canais, a quantidade de computação (quantidade de processamento) aumenta significantemente. Adicionalmente, as tentativas em resolver o problema com o uso das técnicas convencionais resultam na geração de sons anormais no sinal de áudio decodificado. Os detalhes são descritos abaixo.Technical problem [0013] However, in order for conventional techniques for decoding encoded audio signals to comply with the HEAACv2 profile and higher levels, HQ-SBR needs to be used which requires a large amount of computation. As a consequence of this, for example, in the case where an encoded input audio signal consists of a multi-channel signal, the amount of computation (amount of processing) increases significantly. Additionally, attempts to solve the problem using conventional techniques result in the generation of abnormal sounds in the decoded audio signal. The details are described below.

[0014] De acordo com a NPL 3, conforme descrito acima, no caso[0014] According to NPL 3, as described above, in the case

Petição 870190124121, de 27/11/2019, pág. 7/48Petition 870190124121, of 11/27/2019, p. 7/48

4/34 onde a técnica de decodificação de sinais de áudio codificados cumpre com o perfil HE-AACv2 e existem dados de PS, o processamento precisa ser executado em combinação com HQ-SBR. No entanto, no caso onde não há dados de PS, o processamento pode ser executado em combinação com HQ-SBR ou LP-SBR.4/34 where the technique of decoding encoded audio signals complies with the HE-AACv2 profile and there are PS data, the processing needs to be performed in combination with HQ-SBR. However, in the case where there is no PS data, processing can be performed in combination with HQ-SBR or LP-SBR.

[0015] Por exemplo, em vista da NPL 3, para a prevenção do aumento na quantidade de computação, pode ser considerado tal método que comuta a SBR dependendo do estado do fluxo a ser decodificado. Mais especificamente, quando a HQ-SBR precisa ser usada, isto é, quando existem dados de PS, a HQ-SBR é usada. Em outros casos, isto é, quando não há dados de PS, a LP-SBR é usada para a redução do aumento na quantidade de computação.[0015] For example, in view of NPL 3, to prevent the increase in the amount of computation, such a method can be considered that switches the SBR depending on the state of the stream to be decoded. More specifically, when HQ-SBR needs to be used, that is, when there is PS data, HQ-SBR is used. In other cases, that is, when there is no PS data, LP-SBR is used to reduce the increase in the amount of computation.

[0016] Aqui, no caso onde um fluxo inclui uma pluralidade de pedaços de dados de PS normal, mas um pedaço de dados de PS é perdido em algum ponto no fluxo, a HQ-SBR é comutada para LP-SBR. Alternativamente, a LP-SBR é comutada para HQ-SBR quando o estado onde um fluxo inclui dados de PS sem qualquer perda, mas a SBR e o processamento de estéreo não podem ser executados devido ao fato de que o cabeçalho de SBR não foi ainda obtido, é modificado para o estado onde o cabeçalho de SBR é obtido.[0016] Here, in the case where a stream includes a plurality of pieces of normal PS data, but a piece of PS data is lost somewhere in the flow, HQ-SBR is switched to LP-SBR. Alternatively, LP-SBR is switched to HQ-SBR when the state where a stream includes PS data without any loss, but SBR and stereo processing cannot be performed due to the fact that the SBR header has not yet been obtained, is modified to the state where the SBR header is obtained.

[0017] Conforme descrito anteriormente, a HQ-SBR executa a aritmética complexa para a filtragem de QMF e a LP-SBR executa as operações de número real para a filtragem de QMF. Deste modo, a HQ-SBR e a LP-SBR têm diferentes formatos de informação de atraso, os quais não permitem que a HQ-SBR e a LP-SBR compartilhem a informação de atraso da filtragem de QMF. Como consequência disto, a informação de atraso da filtragem de QMF se torna descontínua no momento da comutação de SBR, gerando, assim, sons anormais.[0017] As previously described, HQ-SBR performs complex arithmetic for QMF filtering and LP-SBR performs real number operations for QMF filtering. In this way, HQ-SBR and LP-SBR have different delay information formats, which do not allow HQ-SBR and LP-SBR to share the delay information of QMF filtering. As a consequence of this, the QMF filter delay information becomes discontinuous at the time of SBR switching, thus generating abnormal sounds.

[0018] Na figura 7, (a) mostra um sinal de áudio de saída para um único canal, no caso onde SBR é comutada nos momentos t0 e t2. Isto[0018] In figure 7, (a) shows an audio signal output to a single channel, in the case where SBR is switched at times t0 and t2. This

Petição 870190124121, de 27/11/2019, pág. 8/48Petition 870190124121, of 11/27/2019, p. 8/48

5/34 mostrou que os sons anormais são gerados durante os períodos entre t0 e t1 e entre t2 e t3, devido ao fato de que a informação de atraso não pode ser usada devido à comutação de SBR (na figura 7, (b) mostra um sinal de áudio normal). De tal maneira, as tentativas em se evitar o aumento na quantidade de computação por meio da comutação de SBR resultam na geração de sons anormais no momento da comutação de SBR.5/34 showed that abnormal sounds are generated during the periods between t0 and t1 and between t2 and t3, due to the fact that the delay information cannot be used due to the switching of SBR (in figure 7, (b) shows a normal audio signal). In such a way, attempts to avoid increasing the amount of computation by switching SBR result in the generation of abnormal sounds at the time of switching SBR.

[0019] A presente invenção tem sido projetada para resolver o problema e tem um objetivo de fornecer um dispositivo de reprodução de áudio e um método de reprodução de áudio que evita a ocorrência de sons anormais sem aumentar significantemente a quantidade de computação, mesmo quando um sinal de áudio de entrada codificado consiste em um sinal de múltiplos canais.[0019] The present invention has been designed to solve the problem and aims to provide an audio playback device and an audio reproduction method that prevents the occurrence of abnormal sounds without significantly increasing the amount of computation, even when a encoded input audio signal consists of a multi-channel signal.

Solução para o problema [0020] Com a finalidade de resolver o problema, um dispositivo de reprodução de áudio, de acordo com um aspecto da presente invenção consiste em um dispositivo de reprodução de áudio que reproduz um fluxo que inclui um codec básico que consiste em um sinal de áudio codificado. O dispositivo de reprodução de áudio inclui: uma unidade de separação de fluxo que separa, sob uma base de quadro, o fluxo no codec básico e informação de extensão de largura de banda que é usada para a extensão de uma banda do codec básico; uma unidade de análise de informação de codec básico que analisa o codec básico separado pela unidade de separação de fluxo, para gerar a informação de análise que indica um tipo do codec básico; uma unidade de decodificação de codec básico que decodifica o codec básico de acordo com a informação de análise gerada pela unidade de análise de informação de codec básico, para gerar um sinal de codec básico decodificado; uma primeira unidade de processamento de extensão de largura de banda que executa o primeiro processamento que estende, com oSolution to the problem [0020] In order to solve the problem, an audio reproduction device, according to one aspect of the present invention consists of an audio reproduction device that reproduces a stream that includes a basic codec consisting of an encoded audio signal. The audio playback device includes: a stream separation unit that separates, under a frame base, the stream in the basic codec and bandwidth extension information that is used for the extension of a band from the basic codec; a basic codec information analysis unit that analyzes the basic codec separated by the flow separation unit, to generate the analysis information indicating a type of the basic codec; a basic codec decoding unit that decodes the basic codec according to the analysis information generated by the basic codec information analysis unit, to generate a basic decoded codec signal; a first bandwidth extension processing unit that performs the first processing that extends, with the

Petição 870190124121, de 27/11/2019, pág. 9/48Petition 870190124121, of 11/27/2019, p. 9/48

6/34 uso da informação de extensão de largura de banda, uma banda de frequência do sinal de codec básico decodificado gerado pela unidade de decodificação de codec básico; uma segunda unidade de processamento de extensão de largura de banda que executa o segundo processamento que estende, com o uso da informação de extensão de largura de banda, a banda de frequência do sinal de codec básico decodificado gerado pela unidade de decodificação de codec básico, sendo que o segundo processamento é executado com uma precisão maior do que uma precisão do primeiro processamento; e uma unidade de comutação que comuta entre a primeira unidade de processamento de extensão de largura de banda e a segunda unidade de processamento de extensão de largura de banda com base na informação de análise.6/34 use of bandwidth extension information, a frequency band of the basic decoded codec signal generated by the basic codec decoding unit; a second bandwidth extension processing unit that performs the second processing that extends, using the bandwidth extension information, the frequency band of the basic decoded codec signal generated by the basic codec decoding unit, the second processing being performed with an accuracy greater than the precision of the first processing; and a switching unit that switches between the first bandwidth extension processing unit and the second bandwidth extension processing unit based on the analysis information.

[0021] De acordo com a estrutura, dois processamentos separados que têm diferentes quantidades de processamento são comutados com base na informação de análise que indica o tipo de codec básico. Como consequência disto, pode ser selecionado o processamento mais adequado. Deste modo, por exemplo, mesmo quando um sinal de áudio codificado de entrada consiste em um sinal de múltiplos canais, a quantidade de computação (quantidade de processamento) não aumenta significantemente. Além disso, o processamento é comutado com base na informação de análise e, deste modo, o processamento não é comutado enquanto o tipo do codec básico é o mesmo. Como consequência disto, é possível evitar sons anormais que podem ocorrer no momento da comutação de processamento.[0021] According to the structure, two separate processes that have different amounts of processing are switched based on the analysis information that indicates the type of basic codec. As a result, the most suitable processing can be selected. Thus, for example, even when an input encoded audio signal consists of a multi-channel signal, the amount of computation (amount of processing) does not increase significantly. In addition, processing is switched based on the analysis information and, therefore, processing is not switched while the type of the basic codec is the same. As a consequence of this, it is possible to avoid abnormal sounds that can occur at the time of processing switching.

[0022] Pode ser também que a unidade de separação de fluxo separe, sob a base de quadro, o fluxo no codec básico, na informação de extensão de largura de banda e na informação de extensão de estéreo que é usada para a execução do processamento de estéreo sobre o codec básico, e que o dispositivo de reprodução de áudio inclui, adici[0022] It may also be that the flow separation unit separates, under the frame base, the flow in the basic codec, in the bandwidth extension information and in the stereo extension information that is used for the execution of the processing stereo over the basic codec, and that the audio playback device includes, add

Petição 870190124121, de 27/11/2019, pág. 10/48Petition 870190124121, of 11/27/2019, p. 10/48

7/34 onalmente: uma unidade de processamento de extensão de estéreo que executa, com o uso da informação de extensão de estéreo, o processamento de estéreo sobre o sinal de codec básico decodificado que tem a banda de frequência estendida pela segunda unidade de processamento de extensão de largura de banda.7/34 onally: a stereo extension processing unit that performs, using stereo extension information, stereo processing over the basic decoded codec signal that has the frequency band extended by the second audio processing unit bandwidth extension.

[0023] Consequentemente, quando o codec básico consiste em um sinal de áudio monaural, o processamento de estéreo adequado pode ser executado.[0023] Consequently, when the basic codec consists of a monaural audio signal, proper stereo processing can be performed.

[0024] Pode ser também que a unidade de análise de informação de codec básico analise o codec básico separado pela unidade de separação de fluxo, para gerar a informação de análise que inclui ao menos um dentre informação de canal e informação de frequência de amostragem, a informação de canal que indica o número de canais do codec básico, a informação de frequência de amostragem que indica uma frequência de amostragem do codec básico, e que a unidade de comutação determina ao menos um dentre (i) se o número de canais indicado pela informação de canal é maior do que um primeiro limiar predeterminado e (ii) se a frequência de amostragem indicada pela informação de frequência de amostragem é maior do que um segundo limiar predeterminado, e selecionar a primeira unidade de processamento de extensão de largura de banda quando ao menos um dos seguintes for determinado: (i) o número de canais é maior do que o primeiro limiar predeterminado e (ii) a frequência de amostragem é maior do que o segundo limiar predeterminado.[0024] It may also be that the basic codec information analysis unit analyzes the basic codec separated by the flow separation unit, to generate the analysis information that includes at least one among channel information and sampling frequency information, the channel information indicating the number of channels in the basic codec, the sampling frequency information which indicates a sampling frequency in the basic codec, and that the switching unit determines at least one of (i) whether the number of channels indicated by the channel information is greater than a first predetermined threshold and (ii) if the sampling frequency indicated by the sampling frequency information is greater than a second predetermined threshold, and selecting the first bandwidth extension processing unit when at least one of the following is determined: (i) the number of channels is greater than the first predetermined threshold and (ii) the frequency sampling frequency is greater than the second predetermined threshold.

[0025] De acordo com a estrutura, no caso onde o codec básico tem um grande número de canais, isto é, onde o codec básico consiste em múltiplos canais, é selecionado um primeiro processamento que exige menos quantidade de processamento, mas produz precisão inferior. Como consequência disto, é possível evitar que a quantidade de processamento aumente significantemente, comparado a um único[0025] According to the structure, in the case where the basic codec has a large number of channels, that is, where the basic codec consists of multiple channels, a first processing is selected that requires less processing but produces less precision . As a consequence of this, it is possible to prevent the amount of processing to increase significantly, compared to a single

Petição 870190124121, de 27/11/2019, pág. 11/48Petition 870190124121, of 11/27/2019, p. 11/48

8/34 sinal de canal. Alternativamente, quando a frequência de amostragem do codec básico é alta, também é selecionado o primeiro processamento que exige menos quantidade de processamento, mas produz precisão inferior. Deste modo, semelhantemente, é possível evitar que a quantidade de processamento aumente significantemente, comparado ao caso onde o codec básico com frequência de amostragem menor é processado.8/34 channel signal. Alternatively, when the sampling frequency of the basic codec is high, the first processing that requires the least amount of processing but produces the lowest accuracy is also selected. In this way, similarly, it is possible to avoid that the amount of processing increases significantly, compared to the case where the basic codec with lower sampling frequency is processed.

[0026] Pode ser também que o dispositivo de reprodução de áudio inclua, adicionalmente, uma memória temporária que armazena a informação de extensão de estéreo de um primeiro quadro, em que a unidade de processamento de extensão de estéreo executa o processamento de estéreo sobre um sinal de codec básico decodificado de um segundo quadro com o uso da informação de extensão de estéreo armazenada na memória temporária, sendo que o segundo quadro consiste em um quadro após o primeiro quadro e que consiste em um quadro no qual a informação de extensão de estéreo é perdida.[0026] It may also be that the audio playback device additionally includes a temporary memory that stores the stereo extension information of a first frame, in which the stereo extension processing unit performs stereo processing over a basic codec signal decoded from a second frame using the stereo extension information stored in the temporary memory, the second frame consisting of a frame after the first frame and consisting of a frame in which the stereo extension information is lost.

[0027] Consequentemente, a informação de extensão de estéreo usada para o processamento de estéreo é armazenada em uma memória temporária e a informação de extensão de estéreo armazenada na memória temporária é usada quando a informação de extensão de estéreo não pode ser obtida. Deste modo, mesmo quando um fluxo inclui um quadro no qual os dados de extensão de estéreo são perdidos, o processamento de estéreo pode ser adequadamente executado sobre o quadro.[0027] Consequently, the stereo extension information used for stereo processing is stored in a temporary memory and the stereo extension information stored in the temporary memory is used when the stereo extension information cannot be obtained. In this way, even when a stream includes a frame in which stereo extension data is lost, stereo processing can be properly performed on the frame.

[0028] Também pode ser que a segunda unidade de processamento de extensão de largura de banda gere em sinal de componente de alta frequência a partir do sinal de codec básico decodificado com o uso da informação de extensão de largura de banda, a unidade de processamento de extensão de estéreo executa, com o uso da informação de extensão de estéreo, o processamento de estéreo sobre o[0028] It may also be that the second bandwidth extension processing unit generates a high frequency component signal from the basic codec signal decoded using the bandwidth extension information, the processing unit stereo extension performs, using stereo extension information, stereo processing over the

Petição 870190124121, de 27/11/2019, pág. 12/48Petition 870190124121, of 11/27/2019, p. 12/48

9/34 sinal de codec básico decodificado e o sinal de componente de alta frequência gerado pela segunda unidade de processamento de extensão de largura de banda, para gerar um sinal de codec básico decodificado e um sinal de componente de alta frequência para um primeiro canal e um sinal de codec básico decodificado e um sinal de componente de alta frequência para um segundo canal, e a segunda unidade de processamento de extensão de largura de banda inclui, adicionalmente, um filtro de síntese de banda para a síntese do sinal de componente de alta frequência e do sinal de codec básico decodificado que tem sido gerado, e a síntese de bandas do segundo canal com o uso da informação de atraso que está armazenada no filtro de síntese de banda do primeiro canal, conforme a informação de atraso armazenada no filtro de síntese de banda do segundo canal, quando a informação de extensão de estéreo é perdida.9/34 decoded basic codec signal and the high frequency component signal generated by the second bandwidth extension processing unit, to generate a decoded basic codec signal and a high frequency component signal for a first channel and a decoded basic codec signal and a high frequency component signal for a second channel, and the second bandwidth extension processing unit additionally includes a band synthesis filter for the synthesis of the high component signal frequency and basic decoded codec signal that has been generated, and the band synthesis of the second channel using the delay information that is stored in the band synthesis filter of the first channel, according to the delay information stored in the filter. band synthesis of the second channel, when stereo extension information is lost.

[0029] De acordo com a estrutura, mesmo quando a informação de atraso somente para um único canal é obtida, a informação de atraso obtida é usada como a informação de atraso para o outro canal. Como consequência disto, as bandas dos respectivos sinais de dois canais podem ser adequadamente sintetizadas.[0029] According to the structure, even when the delay information for only a single channel is obtained, the delay information obtained is used as the delay information for the other channel. As a consequence of this, the bands of the respective two channel signals can be properly synthesized.

[0030] Pode ser também que o codec básico consista em um sinal de áudio codificado de acordo com o esquema de codificação de áudio avançada (AAC), a informação de extensão de largura de banda consiste em informação de replicação de banda espectral (SBR) gerada de acordo com o esquema SBR, a informação de extensão de estéreo consiste em informação de estéreo paramétrico (PS) gerada de acordo com o esquema PS, a primeira unidade de processamento de extensão de largura de banda estende uma banda de frequência do sinal de codec básico decodificado de acordo com o esquema SBR de baixa energia (LP-SBR) e a segunda unidade de processamento de extensão de largura de banda estende uma banda de frequência do sinal de[0030] It may also be that the basic codec consists of an audio signal encoded according to the advanced audio coding scheme (AAC), the bandwidth extension information consists of spectral band replication information (SBR) generated according to the SBR scheme, the stereo extension information consists of parametric stereo (PS) information generated according to the PS scheme, the first bandwidth extension processing unit extends a frequency band of the signal basic codec decoded according to the low-energy SBR scheme (LP-SBR) and the second bandwidth extension processing unit extends a frequency band of the signal

Petição 870190124121, de 27/11/2019, pág. 13/48Petition 870190124121, of 11/27/2019, p. 13/48

10/34 codec básico decodificado de acordo com o esquema SBR de alta qualidade (HQ-SBR).10/34 basic codec decoded according to the high quality SBR scheme (HQ-SBR).

[0031] A presente invenção pode ser implantada não somente como um dispositivo de reprodução de áudio, mas também como um método de reprodução de áudio que inclui as unidades de processamento do dispositivo de reprodução de áudio, como etapas. A presente invenção também pode ser implantada como um programa que faz com que um computador execute estas etapas. Adicionalmente, a presente invenção pode ser implantada como um meio de registro legível por computador, tal como um disco compacto-memória somente de leitura (CD-ROM), o qual registra o programa no mesmo, e como informações, dados ou sinais que indicam o programa. Tal programa, informações, dados e sinais podem ser distribuídos sobre uma rede de comunicação, tal como a Internet.[0031] The present invention can be implemented not only as an audio reproduction device, but also as an audio reproduction method that includes the processing units of the audio reproduction device, as steps. The present invention can also be implemented as a program that causes a computer to perform these steps. In addition, the present invention can be implemented as a computer-readable registration medium, such as a compact read-only memory disk (CD-ROM), which registers the program on it, and as information, data or signals that indicate the program. Such a program, information, data and signals can be distributed over a communication network, such as the Internet.

[0032] Além disso, parte ou todos os elementos incluídos em cada dispositivo de reprodução de áudio acima pode ser em uma forma de um único sistema de integração de grande escala (LSI). O sistema LSI consiste em uma LSI ultramultifuncional que é produzida mediante a integração de uma pluralidade de unidades constitucionais em um único circuito integrado. Mais especificamente, o sistema LSI consiste em um sistema de computador que inclui, por exemplo, um microprocessador, uma ROM e uma memória de acesso aleatório (RAM).[0032] In addition, part or all of the elements included in each audio playback device above may be in the form of a single large-scale integration system (LSI). The LSI system consists of an ultra-multifunctional LSI that is produced by integrating a plurality of constitutional units in a single integrated circuit. More specifically, the LSI system consists of a computer system that includes, for example, a microprocessor, a ROM and a random access memory (RAM).

Efeitos vantajosos da invenção [0033] De acordo com a presente invenção, é possível evitar a ocorrência de sons anormais sem aumentar significantemente a quantidade de computação, mesmo quando um sinal de áudio de entrada codificado consiste em um sinal de múltiplos canais.Advantageous effects of the invention [0033] According to the present invention, it is possible to prevent the occurrence of abnormal sounds without significantly increasing the amount of computation, even when an encoded input audio signal consists of a multi-channel signal.

Breve descrição dos desenhos [0034] A figura 1 é um diagrama de blocos que ilustra um exemplo de uma estrutura de um dispositivo de reprodução de áudio de acordoBrief description of the drawings [0034] Figure 1 is a block diagram illustrating an example of an audio reproduction device structure according to

Petição 870190124121, de 27/11/2019, pág. 14/48Petition 870190124121, of 11/27/2019, p. 14/48

11/34 com a modalidade 1.11/34 with mode 1.

[0035] A figura 2 é um fluxograma de um exemplo de operações do dispositivo de reprodução de áudio de acordo com a modalidade 1.[0035] Figure 2 is a flow chart of an example of operations of the audio reproduction device according to mode 1.

[0036] A figura 3 é um fluxograma de um exemplo específico de operações de uma unidade de comutação de acordo com a modalidade 1.[0036] Figure 3 is a flow chart of a specific example of operations of a switching unit according to mode 1.

[0037] A figura 4 é um diagrama que ilustra um exemplo de um fluxo de entrada que inclui dados de extensão de estéreo.[0037] Figure 4 is a diagram that illustrates an example of an input stream that includes stereo extension data.

[0038] A figura 5 é um diagrama que ilustra um exemplo de um fluxo de entrada que não inclui os dados de extensão de estéreo.[0038] Figure 5 is a diagram that illustrates an example of an input stream that does not include stereo extension data.

[0039] A figura 6 é um diagrama que ilustra um exemplo de um fluxo de entrada que inclui um quadro no qual os dados de extensão de estéreo são perdidos.[0039] Figure 6 is a diagram illustrating an example of an input stream that includes a frame in which stereo extension data is lost.

[0040] A figura 7 é um diagrama que ilustra um exemplo de formas de onda de sinais de áudio de saída.[0040] Figure 7 is a diagram that illustrates an example of waveforms of output audio signals.

[0041] A figura 8 é um diagrama de blocos que ilustra um exemplo de uma estrutura de um dispositivo de reprodução de áudio de acordo com a modalidade 2.[0041] Figure 8 is a block diagram that illustrates an example of a structure for an audio reproduction device according to mode 2.

[0042] A figura 9 é um fluxograma de um exemplo de operações de uma unidade de processamento de extensão de estéreo de acordo com a modalidade 2.[0042] Figure 9 is a flow chart of an example of operations of a stereo extension processing unit according to modality 2.

[0043] A figura 10 é um diagrama que ilustra um exemplo de formas de onda de sinais de áudio estéreo a serem emitidos.[0043] Figure 10 is a diagram that illustrates an example of waveforms of stereo audio signals to be emitted.

[0044] A figura 11 é uma vista externa de um exemplo de um aparelho de reprodução de áudio que incorpora um dispositivo de reprodução de áudio de acordo com a presente invenção.[0044] Figure 11 is an external view of an example of an audio reproduction device that incorporates an audio reproduction device according to the present invention.

Descrição das modalidades [0045] Mais adiante nesse documento, as modalidades de um dispositivo de reprodução de áudio de acordo com a presente invenção serão descritas com referência aos desenhos.Description of the modalities [0045] Later in that document, the modalities of an audio reproduction device according to the present invention will be described with reference to the drawings.

Petição 870190124121, de 27/11/2019, pág. 15/48Petition 870190124121, of 11/27/2019, p. 15/48

12/3412/34

Modalidade 1 [0046] Um dispositivo de reprodução de áudio de acordo com a modalidade 1 é caracterizado pela comutação entre dois processamentos de extensão de largura de banda que têm diferentes características com base em um resultado de análise do codec básico, independente da validade da informação de extensão de estéreo usada para a execução do processamento de estéreo sobre um sinal de áudio monaural. Os dois processamentos de extensão de largura de banda consistem: no processamento que exige maior quantidade de processamento, mas produz precisão maior, isto é, no processamento para a emissão de um sinal de áudio com excelente qualidade de som; e no processamento que exige menos quantidade de processamento, mas produz precisão inferior.Mode 1 [0046] An audio playback device according to mode 1 is characterized by switching between two bandwidth extension processes that have different characteristics based on a basic codec analysis result, regardless of the information's validity stereo extension used to perform stereo processing over a monaural audio signal. The two processing of bandwidth extension consist of: the processing that requires a greater amount of processing, but produces greater precision, that is, in the processing for the emission of an audio signal with excellent sound quality; and in processing that requires less processing but produces less precision.

[0047] A figura 1 é um diagrama de blocos que ilustra um exemplo de uma estrutura de um dispositivo de reprodução de áudio 100 de acordo com a modalidade 1. O dispositivo de reprodução de áudio 100 na figura 1 inclui: uma unidade de separação de fluxo 101; uma unidade de análise de codec básico 102; uma unidade de decodificação de codec básico 103; uma unidade de análise de dados de extensão de largura de banda 104; uma unidade de análise de dados de extensão de estéreo 105; uma primeira unidade de processamento de extensão de largura de banda 106; uma segunda unidade de processamento de extensão de largura de banda 107; uma unidade de processamento de extensão de estéreo 108 e uma unidade de comutação 109.[0047] Figure 1 is a block diagram illustrating an example of a structure of an audio reproduction device 100 according to mode 1. The audio reproduction device 100 in figure 1 includes: a separation unit flow 101; a basic codec analysis unit 102; a basic codec decoding unit 103; a bandwidth extension data analysis unit 104; a stereo extension data analysis unit 105; a first bandwidth extension processing unit 106; a second bandwidth extension processing unit 107; a stereo extension processing unit 108 and a switching unit 109.

[0048] A unidade de separação de fluxo 101 separa um fluxo de entrada em codec básico, dados de extensão de largura de banda e dados de extensão de estéreo. Quando um fluxo de entrada não inclui dados de extensão de estéreo, a unidade de separação de fluxo 101 separa o fluxo em codec básico e dados de extensão de largura de banda. A unidade de separação de fluxo 101, então, transmite o codec[0048] The stream separation unit 101 separates an input stream in basic codec, bandwidth extension data and stereo extension data. When an input stream does not include stereo extension data, the stream separation unit 101 separates the stream into basic codec and bandwidth extension data. The flow separation unit 101 then transmits the codec

Petição 870190124121, de 27/11/2019, pág. 16/48Petition 870190124121, of 11/27/2019, p. 16/48

13/34 básico separado para a unidade de análise de codec básico 102, transmite os dados de extensão de largura de banda para a unidade de análise de dados de extensão de largura de banda 104 e transmite os dados de extensão de estéreo para a unidade de análise de dados de extensão de estéreo 105.13/34 separate base for basic codec analysis unit 102, transmits the bandwidth extension data to the bandwidth extension data analysis unit 104 and transmits the stereo extension data to the stereo extension data analysis 105.

[0049] Aqui, o fluxo inserido no dispositivo de reprodução de áudio 100 consiste, por exemplo, em um fluxo que tem o perfil HE-AACv2. O codec básico consiste em um sinal de áudio codificado e consiste, por exemplo, em um sinal de áudio codificado de acordo com o esquema AAC. Os dados de extensão de largura de banda consistem em dados usados para a extensão de largura de banda do codec básico e consistem, por exemplo, em dados de SBR. Os dados de extensão de estéreo consistem em dados usados para a execução do processamento de estéreo sobre um sinal de áudio monaural e consistem, por exemplo, em dados de PS.[0049] Here, the stream inserted in the audio reproduction device 100 consists, for example, of a stream that has the HE-AACv2 profile. The basic codec consists of an encoded audio signal and consists, for example, of an audio signal encoded according to the AAC scheme. Bandwidth extension data consists of data used for the basic codec bandwidth extension and consists, for example, of SBR data. Stereo extension data consists of data used to perform stereo processing over a monaural audio signal and consists, for example, of PS data.

[0050] A unidade de análise de codec básico 102 gera a informação de análise de codec básico por meio da análise do codec básico transmitido a partir da unidade de separação de fluxo 101. A informação de análise de codec básico inclui, por exemplo, a informação de canal que representa o número de canais (CH) do codec básico e a informação de frequência de amostragem que representa a frequência de amostragem (FS) do codec básico. A unidade de análise de codec básico 102 transmite a informação de análise de codec básico gerada para a unidade de decodificação de codec básico 103. Da informação de análise de codec básico, a unidade de análise de codec básico 102 também transmite a informação de canal e a informação de frequência de amostragem para a unidade de comutação 109.[0050] The basic codec analysis unit 102 generates the basic codec analysis information by analyzing the basic codec transmitted from the flow separation unit 101. The basic codec analysis information includes, for example, the channel information that represents the number of channels (CH) of the basic codec and the sampling frequency information that represents the sampling frequency (FS) of the basic codec. The basic codec analysis unit 102 transmits the generated basic codec analysis information to the basic codec decoding unit 103. From the basic codec analysis information, the basic codec analysis unit 102 also transmits the channel information and the sampling frequency information for switching unit 109.

[0051] A unidade de decodificação de codec básico 103 decodifica o codec básico com o uso da informação de análise de codec básico transmitida a partir da unidade de análise de codec básico 102 e gera[0051] The basic codec decoding unit 103 decodes the basic codec using the basic codec analysis information transmitted from the basic codec analysis unit 102 and generates

Petição 870190124121, de 27/11/2019, pág. 17/48Petition 870190124121, of 11/27/2019, p. 17/48

14/34 um sinal de codec básico decodificado. A unidade de decodificação de codec básico 103, então, transmite o sinal de codec básico decodificado para a unidade de comutação 109.14/34 a basic codec signal decoded. The basic codec decoding unit 103 then transmits the decoded basic codec signal to the switching unit 109.

[0052] A unidade de análise de dados de extensão de largura de banda 104 analisa os dados de extensão de largura de banda transmitido a partir da unidade de separação de fluxo 101 para gerar a informação de extensão de largura de banda e transmite a informação de extensão de largura de banda gerada para a unidade de comutação 109. A informação de extensão de largura de banda inclui, por exemplo, a informação colateral usada para a predição para reconstrução da alta banda do sinal de codec básico decodificado com o uso da técnica de SBR.[0052] The bandwidth extension data analysis unit 104 analyzes the bandwidth extension data transmitted from the flow separation unit 101 to generate the bandwidth extension information and transmits the information from bandwidth extension generated for switching unit 109. The bandwidth extension information includes, for example, collateral information used for the prediction for high band reconstruction of the basic codec signal decoded using the technique of SBR.

[0053] A unidade de análise de dados de extensão de estéreo 105 analisa os dados de extensão de estéreo transmitidos a partir da unidade de separação de fluxo 101 para gerar a informação de extensão de estéreo e transmite a informação de extensão de estéreo gerada para a unidade de processamento de extensão de estéreo 108. A informação de extensão de estéreo consiste, por exemplo, na informação usada para a execução do processamento de extensão de estéreo (também mencionado como processamento de estéreo) sobre um sinal de áudio monaural com o uso da técnica de PS.[0053] The stereo extension data analysis unit 105 analyzes the stereo extension data transmitted from the stream separation unit 101 to generate the stereo extension information and transmits the generated stereo extension information to the stereo extension processing unit 108. Stereo extension information consists, for example, of the information used to perform stereo extension processing (also referred to as stereo processing) on a monaural audio signal using the PS technique.

[0054] A primeira unidade de processamento de extensão de largura de banda 106 estende a banda de frequência do sinal de codec básico decodificado com o uso da informação de extensão de largura de banda transmitida a partir da unidade de comutação 109 para emitir um sinal de áudio. Mais especificamente, a primeira unidade de processamento de extensão de largura de banda 106 prevê e gera os componentes de alta frequência com o uso da informação de extensão de largura de banda e sintetiza as bandas do sinal de componente de alta frequência gerado e do sinal de codec básico decodificado para[0054] The first bandwidth extension processing unit 106 extends the frequency band of the basic decoded codec signal using the bandwidth extension information transmitted from the switching unit 109 to output a signal. audio. More specifically, the first bandwidth extension processing unit 106 predicts and generates the high frequency components using the bandwidth extension information and synthesizes the bands of the generated high frequency component signal and the basic codec decoded for

Petição 870190124121, de 27/11/2019, pág. 18/48Petition 870190124121, of 11/27/2019, p. 18/48

15/34 emitir um sinal de áudio.15/34 output an audio signal.

[0055] Aqui, a primeira unidade de processamento de extensão de largura de banda 106 tem uma vantagem sobre a segunda unidade de processamento de extensão de largura de banda 107 pelo fato de que a primeira unidade de processamento de extensão de largura de banda 106 exige menos quantidade de processamento para o processamento de um mesmo sinal. No entanto, a qualidade de som do sinal de áudio emitido pela primeira unidade de processamento de extensão de largura de banda 106 é menor do que a do sinal de áudio emitido pela segunda unidade de processamento de extensão de largura de banda[0055] Here, the first bandwidth extension processing unit 106 has an advantage over the second bandwidth extension processing unit 107 in that the first bandwidth extension processing unit 106 requires less amount of processing for processing the same signal. However, the sound quality of the audio signal emitted by the first bandwidth extension processing unit 106 is less than that of the audio signal emitted by the second bandwidth extension processing unit

107. A primeira unidade de processamento de extensão de largura de banda 106 executa, por exemplo, a extensão de largura de banda com base no esquema LP-SBR.107. The first bandwidth extension processing unit 106 performs, for example, the bandwidth extension based on the LP-SBR scheme.

[0056] A segunda unidade de processamento de extensão de largura de banda 107 estende a banda de frequência do sinal de codec básico decodificado com o uso da informação de extensão de largura de banda transmitida a partir da unidade de comutação 109 para emitir um sinal de áudio. Mais especificamente, a segunda unidade de processamento de extensão de largura de banda 107 prevê e gera os componentes de alta frequência com o uso da informação de extensão de largura de banda e sintetiza as bandas do sinal de componente de alta frequência gerado e do sinal de codec básico decodificado para emitir um sinal de áudio.[0056] The second bandwidth extension processing unit 107 extends the frequency band of the basic decoded codec signal using the bandwidth extension information transmitted from the switching unit 109 to output a signal. audio. More specifically, the second bandwidth extension processing unit 107 predicts and generates the high frequency components using the bandwidth extension information and synthesizes the bands of the generated high frequency component signal and the basic codec decoded to output an audio signal.

[0057] Aqui, a qualidade de som do sinal de áudio emitido pela segunda unidade de processamento de extensão de largura de banda 107 é maior do que a do sinal de áudio emitido pela primeira unidade de processamento de extensão de largura de banda 106. No entanto, a segunda unidade de processamento de extensão de largura de banda 107 exige quantidade de processamento maior do que a primeira unidade de processamento de extensão de largura de banda 106. A[0057] Here, the sound quality of the audio signal emitted by the second bandwidth extension processing unit 107 is higher than that of the audio signal emitted by the first bandwidth extension processing unit 106. In However, the second bandwidth extension processing unit 107 requires a greater amount of processing than the first bandwidth extension processing unit 106. The

Petição 870190124121, de 27/11/2019, pág. 19/48Petition 870190124121, of 11/27/2019, p. 19/48

16/34 segunda unidade de processamento de extensão de largura de banda 107 executa, por exemplo, a extensão de largura de banda com base no esquema SBR.The second bandwidth extension processing unit 107 performs, for example, the bandwidth extension based on the SBR scheme.

[0058] Geralmente, na codificação de um sinal de áudio (isto é, na geração do codec básico), os componentes de alta frequência são removidos para reduzir a quantidade de codificação. Deste modo, o sinal de codec básico decodificado consiste em um sinal de áudio que inclui, principalmente, componentes de baixa frequência. A extensão de largura de banda executada pela primeira unidade de processamento de extensão de largura de banda 160 e pela segunda unidade de processamento de extensão de largura de banda 107 consiste no processamento em que os componentes de alta frequência removidos são previstos e gerados com o uso da informação de extensão de largura de banda.[0058] Generally, when encoding an audio signal (ie, generating the basic codec), high frequency components are removed to reduce the amount of encoding. Thus, the basic decoded codec signal consists of an audio signal that mainly includes low frequency components. The bandwidth extension performed by the first bandwidth extension processing unit 160 and the second bandwidth extension processing unit 107 consists of processing in which the removed high frequency components are predicted and generated using of bandwidth extension information.

[0059] Mais especificamente, a primeira unidade de processamento de extensão de largura de banda 106 e a segunda unidade de processamento de extensão de largura de banda 107 inclui, cada uma, um filtro de síntese de banda. A primeira e a segunda unidade de processamento de extensão de largura de banda 106 e 107 reconstroem um sinal de áudio de saída que é próximo a um som original por meio da síntese das bandas do sinal de codec básico decodificado gerado pela unidade de decodificação de codec básico 103 e do sinal de componente de alta frequência reconstruído com base no sinal de codec básico decodificado com o uso da informação de extensão de largura de banda.[0059] More specifically, the first bandwidth extension processing unit 106 and the second bandwidth extension processing unit 107 each include a band synthesis filter. The first and second bandwidth extension processing unit 106 and 107 reconstruct an output audio signal that is close to an original sound by synthesizing the bands of the basic decoded codec signal generated by the codec decoding unit basic 103 and the high frequency component signal reconstructed based on the basic codec signal decoded using the bandwidth extension information.

[0060] A unidade de processamento de extensão de estéreo 108 utiliza a informação de extensão de estéreo transmitida a partir da unidade de análise de dados de extensão de estéreo 105 para executar o processamento de estéreo sobre o sinal de áudio monaural que tem uma banda de frequência estendida pela segunda unidade de proces[0060] The stereo extension processing unit 108 uses the stereo extension information transmitted from the stereo extension data analysis unit 105 to perform stereo processing on the monaural audio signal that has a band of frequency extended by the second process unit

Petição 870190124121, de 27/11/2019, pág. 20/48Petition 870190124121, of 11/27/2019, p. 20/48

17/34 samento de extensão de largura de banda 107. Mais especificamente, a unidade de processamento de extensão de estéreo 108 executa, com o uso da informação de extensão de estéreo, o processamento de estéreo sobre o sinal de codec básico decodificado que consiste em um sinal de áudio monaural e no sinal de componente de alta frequência gerado pela segunda unidade de processamento de extensão de largura de banda 107, para gerar um sinal de codec básico decodificado e um sinal de componente de alta frequência para o canal esquerdo (L), e um sinal de codec básico decodificado e um sinal de componente de alta frequência para o canal direito (R). A unidade de processamento de extensão de estéreo 108 executa, por exemplo, o processamento de estéreo com base no esquema PS. Aqui, a unidade de processamento de extensão de estéreo 108 tem que ser usada em combinação com a segunda unidade de processamento de extensão de largura de banda 107. Em outras palavras, a unidade de processamento de extensão de estéreo 108 compartilha o QMF complexo com a segunda unidade de processamento de extensão de largura de banda 107.17/34 bandwidth extension processing 107. More specifically, the stereo extension processing unit 108 performs, using stereo extension information, stereo processing over the basic decoded codec signal consisting of a monaural audio signal and the high frequency component signal generated by the second bandwidth extension processing unit 107, to generate a decoded basic codec signal and a high frequency component signal for the left channel (L) , and a decoded basic codec signal and a high frequency component signal for the right channel (R). The stereo extension processing unit 108 performs, for example, stereo processing based on the PS scheme. Here, the stereo extension processing unit 108 has to be used in combination with the second bandwidth extension processing unit 107. In other words, the stereo extension processing unit 108 shares the complex QMF with the second bandwidth extension processing unit 107.

[0061] A segunda unidade de processamento de extensão de largura de banda 107 sintetiza as bandas dos sinais de canal L gerados e as bandas dos sinais de canal R gerados. No processamento de síntese de banda da segunda unidade de processamento de extensão de largura de banda 107, quando um fluxo de entrada inclui um quadro em que os dados de extensão de estéreo são perdidos, a informação de atraso do canal L é copiada para a informação de atraso do canal R. Quando os dados de extensão de estéreo são obtidos, a síntese de banda do canal R é executada com o uso da informação de atraso do canal L copiada para um quadro anterior, como a informação de atraso do canal R. A informação de atraso do canal L consiste na informação mantida sobre os quadros no filtro de síntese de banda do processaPetição 870190124121, de 27/11/2019, pág. 21/48[0061] The second bandwidth extension processing unit 107 synthesizes the bands of the generated L channel signals and the bands of the generated R channel signals. In the band synthesis processing of the second bandwidth extension processing unit 107, when an input stream includes a frame in which the stereo extension data is lost, the L channel delay information is copied to the information R channel delay data When stereo extension data is obtained, the R channel band synthesis is performed using the L channel delay information copied to a previous frame, such as the R channel delay information. The delay information of the L channel consists of the information kept about the frames in the band synthesis filter of the processPetição 870190124121, of 11/27/2019, p. 21/48

18/34 mento de síntese de banda.18/34 band synthesis.

[0062] A unidade de comutação 109 determina se as saídas da unidade de decodificação de codec básico 103 e da unidade de análise de dados de extensão de largura de banda 104 são conectadas ao terminal A ou terminal B, com base no número de canais CH e na frequência de amostragem FS transmitidos a partir da unidade de análise de codec básico 102. O procedimento de determinação será especificamente descrito mais adiante, com referência à figura 3. A unidade de comutação 109 transmite o sinal de codec básico decodificado transmitido a partir da unidade de decodificação de codec básico 103 e a informação de extensão de largura de banda transmitida a partir da unidade de análise de dados de extensão de largura de banda 104, para a primeira unidade de processamento de extensão de largura de banda 106 ou a segunda unidade de processamento de extensão de largura de banda 107, dependendo do resultado da determinação.[0062] Switching unit 109 determines whether the outputs of the basic codec decoding unit 103 and the bandwidth extension data analysis unit 104 are connected to terminal A or terminal B, based on the number of CH channels and the sampling frequency FS transmitted from the basic codec analysis unit 102. The determination procedure will be specifically described below, with reference to figure 3. The switching unit 109 transmits the basic decoded codec signal transmitted from the basic codec decoding unit 103 and the bandwidth extension information transmitted from the bandwidth extension data analysis unit 104 to the first bandwidth extension processing unit 106 or the second unit of bandwidth extension processing 107, depending on the determination result.

[0063] Conforme descrito acima, o dispositivo de reprodução de áudio 100 de acordo com a modalidade 1 inclui a unidade de comutação 109 que seleciona um dentre os dois processamentos de extensão de largura de banda que têm diferentes características, com base no resultado de análise do codec básico. Os dois processamentos de extensão de largura de banda consistem em: um primeiro processamento que exige menos quantidade de processamento, mas produz menor qualidade de som; e um segundo processamento que exige maior quantidade de processamento, mas produz maior qualidade de som.[0063] As described above, the audio reproduction device 100 according to mode 1 includes the switching unit 109 which selects one of two bandwidth extension processes that have different characteristics, based on the analysis result of the basic codec. The two processing bandwidth extensions consist of: a first processing that requires less processing but produces lower sound quality; and a second processing that requires more processing, but produces higher sound quality.

[0064] A seguir são descritas as operações do dispositivo de reprodução de áudio 100 de acordo com a modalidade 1.[0064] The operations of the audio reproduction device 100 according to mode 1 are described below.

[0065] A figura 2 é um fluxograma das operações do dispositivo de reprodução de áudio 100 de acordo com a modalidade 1. As seguintes operações são executadas sob uma base de quadro.[0065] Figure 2 is a flow chart of the operations of the audio reproduction device 100 according to mode 1. The following operations are performed under a frame basis.

[0066] Primeiramente, a unidade de separação de fluxo 101 sepa[0066] First, the flow separation unit 101 sepa

Petição 870190124121, de 27/11/2019, pág. 22/48Petition 870190124121, of 11/27/2019, p. 22/48

19/34 ra um fluxo de entrada em codec básico, dados de extensão de largura de banda e dados de extensão de estéreo (S101). O codec básico é transmitido para a unidade de análise de codec básico 102. Os dados de extensão de largura de banda são transmitidos para a unidade de análise de dados de extensão de largura de banda 104. Os dados de extensão de estéreo são transmitidos para a unidade de análise de dados de extensão de estéreo 105.19/34 a basic codec input stream, bandwidth extension data and stereo extension data (S101). The basic codec is transmitted to the basic codec analysis unit 102. The bandwidth extension data is transmitted to the bandwidth extension data analysis unit 104. The stereo extension data is transmitted to the stereo extension data analysis unit 105.

[0067] A seguir, cada dado separado é analisado (S102). Mais especificamente, a unidade de análise de codec básico 102 analisa o codec básico para gerar a informação de análise de codec básico. A unidade de análise de dados de extensão de largura de banda 104 analisa os dados de extensão de largura de banda para gerar a informação de extensão de largura de banda. A unidade de análise de dados de extensão de estéreo 105 analisa os dados de extensão de estéreo para gerar a informação de extensão de estéreo. No caso onde a informação de extensão de estéreo não pode ser gerada, tal como o caso onde os dados de extensão de estéreo são perdidos, a unidade de análise de dados de extensão de estéreo 105 transmite, para a unidade de processamento de extensão de estéreo 108, a informação que indica que não há informação de extensão de estéreo.[0067] Next, each separate data is analyzed (S102). More specifically, the basic codec analysis unit 102 analyzes the basic codec to generate the basic codec analysis information. The bandwidth extension data analysis unit 104 analyzes the bandwidth extension data to generate the bandwidth extension information. The stereo extension data analysis unit 105 analyzes the stereo extension data to generate the stereo extension information. In the case where the stereo extension data cannot be generated, such as the case where the stereo extension data is lost, the stereo extension data analysis unit 105 transmits, to the stereo extension processing unit 108, the information that indicates that there is no stereo extension information.

[0068] A seguir, a unidade de decodificação de codec básico 103 decodifica o codec básico de acordo com a informação de análise de codec básico (S103). O sinal de codec básico decodificado é transmitido para a unidade de comutação 109.[0068] Next, the basic codec decoding unit 103 decodes the basic codec according to the basic codec analysis information (S103). The decoded basic codec signal is transmitted to the switching unit 109.

[0069] A unidade de comutação 109 determina a destinação de conexão da trajetória de transmissão do sinal de codec básico decodificado com base na informação de análise de codec básico, e comuta entre o terminal A e o terminal B com base no resultado da determinação (S104). Por exemplo, a unidade de comutação 109 se refere à informação de canal incluída na informação de análise de codec básico[0069] Switching unit 109 determines the connection destination of the transmission path of the decoded basic codec signal based on the basic codec analysis information, and switches between terminal A and terminal B based on the result of the determination ( S104). For example, switching unit 109 refers to the channel information included in the basic codec analysis information

Petição 870190124121, de 27/11/2019, pág. 23/48Petition 870190124121, of 11/27/2019, p. 23/48

20/34 e seleciona o terminal A quando o número de canais CH do codec básico é maior do que um limiar predeterminado. Alternativamente, a unidade de comutação 109 se refere à informação de frequência de amostragem incluída na informação de análise de codec básico e seleciona o terminal A quando a frequência de amostragem FS do codec básico é igual ou maior do que um limiar predeterminado. Em outros casos, a unidade de comutação 109 seleciona o terminal B.20/34 and selects terminal A when the number of CH channels in the basic codec is greater than a predetermined threshold. Alternatively, switching unit 109 refers to the sampling frequency information included in the basic codec analysis information and selects terminal A when the sampling frequency FS of the basic codec is equal to or greater than a predetermined threshold. In other cases, switching unit 109 selects terminal B.

[0070] Quando o terminal A é selecionado (“A” em S105), o sinal de codec básico decodificado e a informação de extensão de largura de banda são transmitidos para a primeira unidade de processamento de extensão de largura de banda 106. A primeira unidade de processamento de extensão de largura de banda 106 estende a banda de frequência do sinal de codec básico decodificado para gerar um sinal de áudio de saída (S106). A primeira unidade de processamento de extensão de largura de banda 106 executa o processamento de acordo com o esquema LP-SBR, ou similares, que exige menos quantidade de processamento, mas gera um sinal de áudio com menor qualidade de som.[0070] When terminal A is selected (“A” in S105), the basic decoded codec signal and bandwidth extension information are transmitted to the first bandwidth extension processing unit 106. The first bandwidth extension processing unit 106 extends the frequency band of the basic decoded codec signal to generate an output audio signal (S106). The first bandwidth extension processing unit 106 performs processing according to the LP-SBR scheme, or the like, which requires less processing but generates an audio signal with lower sound quality.

[0071] Quando o terminal B é selecionado (“B” em S105), o sinal de codec básico decodificado e a informação de extensão de largura de banda são transmitidos para a segunda unidade de processamento de extensão de largura de banda 107. A segunda unidade de processamento de extensão de largura de banda 107 estende a banda de frequência do sinal de codec básico decodificado para gerar um sinal de áudio de saída (S107). A segunda unidade de processamento de extensão de largura de banda 107 executa o processamento de acordo com o esquema HQ-SBR, ou similares, que exige maior quantidade de processamento, mas gera um sinal de áudio com maior qualidade de som.[0071] When terminal B is selected (“B” in S105), the decoded basic codec signal and the bandwidth extension information are transmitted to the second bandwidth extension processing unit 107. The second bandwidth extension processing unit 107 extends the frequency band of the basic decoded codec signal to generate an output audio signal (S107). The second bandwidth extension processing unit 107 performs processing according to the HQ-SBR scheme, or similar, which requires a greater amount of processing, but generates an audio signal with higher sound quality.

[0072] Aqui, quando há informação de extensão de estéreo, a uni[0072] Here, when there is stereo extension information, the uni

Petição 870190124121, de 27/11/2019, pág. 24/48Petition 870190124121, of 11/27/2019, p. 24/48

21/34 dade de processamento de extensão de estéreo 108 executa o processamento de estéreo sobre o sinal de codec básico decodificado (sinal de áudio monaural) que tem a banda de frequência estendida pela segunda unidade de processamento de extensão de largura de banda 107.Stereo extension processing speed 108 performs stereo processing on the basic decoded codec signal (monaural audio signal) that has the frequency band extended by the second bandwidth extension processing unit 107.

[0073] Finalmente, o sinal de áudio gerado pela primeira unidade de processamento de extensão de largura de banda 106 ou pela segunda unidade de processamento de extensão de largura de banda 107 é emitido (S108).[0073] Finally, the audio signal generated by the first bandwidth extension processing unit 106 or by the second bandwidth extension processing unit 107 is output (S108).

[0074] De tal maneira, é possível gerar um sinal de áudio de saída que é próximo a um som original por meio da predição e reconstrução dos componentes de alta frequência do sinal de codec básico decodificado. Aqui, o processamento é selecionado com base na informação de análise de codec básico que representa o tipo do codec básico. Consequentemente, por exemplo, no caso onde a quantidade de processamento é aumentada devido aos múltiplos canais ou frequência de amostragem maior, é possível evitar um aumento na quantidade de processamento mediante a seleção da primeira unidade de processamento de extensão de largura de banda 106 que exige menos quantidade de processamento.[0074] In such a way, it is possible to generate an output audio signal that is close to an original sound through the prediction and reconstruction of the high frequency components of the basic decoded codec signal. Here, processing is selected based on the basic codec analysis information that represents the type of the basic codec. Consequently, for example, in the case where the amount of processing is increased due to multiple channels or higher sampling frequency, it is possible to avoid an increase in the amount of processing by selecting the first bandwidth extension processing unit 106 which requires less amount of processing.

[0075] A seguir, é feita referência a um exemplo específico do processamento de determinação da destinação de conexão (S104).[0075] The following is a reference to a specific example of the processing of determining the connection destination (S104).

[0076] A figura 3 é um fluxograma de um exemplo específico das operações da unidade de comutação 109 de acordo com a modalidade[0076] Figure 3 is a flow chart of a specific example of the operations of switching unit 109 according to the modality

1.1.

[0077] Primeiramente, é determinado se o número de canais CH e a frequência de amostragem FS de um codec básico de entrada atende ou não uma condição predeterminada (S201). Aqui, é determinado se o CH é 1 e também se a FS é no máximo igual 24 kHz.[0077] First, it is determined whether the number of CH channels and the FS sampling frequency of a basic input codec meets or not a predetermined condition (S201). Here, it is determined whether the CH is 1 and also if the FS is at most equal to 24 kHz.

[0078] No caso onde o número de canais CH é 2 ou mais, ou a[0078] In the case where the number of CH channels is 2 or more, or

Petição 870190124121, de 27/11/2019, pág. 25/48Petition 870190124121, of 11/27/2019, p. 25/48

22/34 frequência de amostragem FS é maior do que 24 kHz (Não em S201), a trajetória de transmissão é conectada ao terminal A, e a informação de extensão de largura de banda de entrada e o sinal de codec básico decodificado são transmitidos para a primeira unidade de processamento de extensão de largura de banda 106 (S202). No caso onde o número de canais CH é 1 e a frequência de amostragem FS é 24 kHz ou menor (Sim em S201), a trajetória de transmissão é conectada ao terminal B, e a informação de extensão de largura de banda de saída e o sinal de codec básico decodificado são transmitidos para a segunda unidade de processamento de extensão de largura de banda 107 (S203).22/34 FS sampling frequency is greater than 24 kHz (Not in S201), the transmission path is connected to terminal A, and the input bandwidth extension information and the basic decoded codec signal are transmitted to the first bandwidth extension processing unit 106 (S202). In the case where the number of CH channels is 1 and the sampling frequency FS is 24 kHz or less (Yes in S201), the transmission path is connected to terminal B, and the output bandwidth extension information and the decoded basic codec signals are transmitted to the second bandwidth extension processing unit 107 (S203).

[0079] A seguir, é feita referência às operações do dispositivo de reprodução de áudio 100 de acordo com a modalidade 1 com um exemplo específico de um fluxo.[0079] In the following, reference is made to the operations of the audio reproduction device 100 according to mode 1 with a specific example of a stream.

[0080] A figura 4 é um diagrama que ilustra um exemplo de um fluxo de entrada que inclui dados de extensão de estéreo.[0080] Figure 4 is a diagram illustrating an example of an input stream that includes stereo extension data.

[0081] Por exemplo, quando o dispositivo de reprodução de áudio 100 recebe um fluxo conforme mostrado na figura 4, a unidade de análise de codec básico 102 analisa o codec básico e transmite o número de canais CH (=1) e a informação de frequência de amostragem FS (=24 kHz) para a unidade de comutação 109. Desde que a condição mostrada na figura 3 seja atendida (Sim em S201), a unidade de comutação 109 conecta a trajetória de transmissão ao terminal B e transmite o sinal de codec básico decodificado e a informação de extensão de largura de banda para a segunda unidade de processamento de extensão de largura de banda 107 (S203). A segunda unidade de processamento de extensão de largura de banda 107 estende a banda do sinal de codec básico decodificado transmitido a partir da unidade de comutação 109, com o uso da informação de extensão de largura de banda. Aqui, ao mesmo tempo, a unidade de processamento de[0081] For example, when the audio playback device 100 receives a stream as shown in figure 4, the basic codec analysis unit 102 analyzes the basic codec and transmits the number of CH channels (= 1) and the information of sampling frequency FS (= 24 kHz) for switching unit 109. As long as the condition shown in figure 3 is met (Yes in S201), switching unit 109 connects the transmission path to terminal B and transmits the basic decoded codec and bandwidth extension information for the second bandwidth extension processing unit 107 (S203). The second bandwidth extension processing unit 107 extends the band of the basic decoded codec signal transmitted from the switching unit 109, using the bandwidth extension information. Here, at the same time, the

Petição 870190124121, de 27/11/2019, pág. 26/48Petition 870190124121, of 11/27/2019, p. 26/48

23/34 extensão de estéreo 108 executa o processamento de extensão de estéreo com o uso da informação de extensão de estéreo e emite o sinal de áudio estéreo.23/34 stereo extension 108 performs stereo extension processing using stereo extension information and outputs the stereo audio signal.

[0082] Conforme mostrado na figura 4, quando os dados de extensão de estéreo são incluídos, o número de canais CH é 1. Os dados de extensão de estéreo consistem na informação usada para a execução do processamento de estéreo sobre um sinal de áudio monaural. Quando o número de canais é 1, isto representa que o sinal de codec básico decodificado consiste em um sinal de áudio monaural.[0082] As shown in figure 4, when stereo extension data is included, the number of CH channels is 1. Stereo extension data consists of the information used to perform stereo processing over a monaural audio signal . When the number of channels is 1, this means that the basic decoded codec signal consists of a monaural audio signal.

[0083] A figura 5 é um diagrama que ilustra um exemplo de um fluxo de entrada que não inclui dados de extensão de estéreo. Quando o dispositivo de reprodução de áudio 100 recebe um fluxo conforme mostrado na figura 5, a unidade de análise de codec básico 102 analisa o codec básico e transmite o número de canais CH (= 5,1) e a informação de frequência de amostragem FS (= 24 kHz) para a unidade de comutação 109. Desde que a condição mostrada na figura 3 não é atendida (Não em S201), a unidade de comutação 109 conecta a trajetória de transmissão ao terminal A e transmite o sinal de codec básico decodificado e a informação de extensão de largura de banda para a primeira unidade de processamento de extensão de largura de banda 106 (S202). A primeira unidade de processamento de extensão de largura de banda 106 estende a banda do sinal de codec básico decodificado transmitido a partir da unidade de comutação 109, com o uso da informação de extensão de largura de banda, e emite um sinal de áudio.[0083] Figure 5 is a diagram that illustrates an example of an input stream that does not include stereo extension data. When the audio playback device 100 receives a stream as shown in figure 5, the basic codec analysis unit 102 analyzes the basic codec and transmits the number of CH channels (= 5.1) and the sample frequency information FS (= 24 kHz) for switching unit 109. Since the condition shown in figure 3 is not met (Not in S201), switching unit 109 connects the transmission path to terminal A and transmits the basic decoded codec signal and the bandwidth extension information for the first bandwidth extension processing unit 106 (S202). The first bandwidth extension processing unit 106 extends the band of the basic decoded codec signal transmitted from the switching unit 109, using the bandwidth extension information, and outputs an audio signal.

[0084] A seguir, é feita referência ao caso onde o dispositivo de reprodução de áudio 100 recebe um fluxo em que os dados de extensão de estéreo são perdidos em um quadro em algum ponto dentro do fluxo, e os dados de extensão de estéreo reaparece nos quadros subsequentes.[0084] In the following, reference is made to the case where the audio playback device 100 receives a stream in which the stereo extension data is lost in a frame somewhere within the stream, and the stereo extension data reappears in the following tables.

Petição 870190124121, de 27/11/2019, pág. 27/48Petition 870190124121, of 11/27/2019, p. 27/48

24/34 [0085] A figura 6 é um diagrama que ilustra um exemplo de um fluxo de entrada que inclui um quadro no qual os dados de extensão de estéreo são perdidos. Conforme mostrado na figura 6, os dados de extensão de estéreo são incluídos nos quadros 201 e 203, mas os dados de extensão de estéreo são perdidos em um quadro 202. No entanto, não há mudança na informação de análise de codec básico gerada pela análise do codec básico incluído nos quadros 201, 202 e 203. Mais especificamente, cada número de canais CH do codec básico dos quadros 201, 202, 203 é 1 e a frequência de amostragem é 24 kHz.24/34 [0085] Figure 6 is a diagram that illustrates an example of an input stream that includes a frame in which stereo extension data is lost. As shown in figure 6, stereo extension data is included in frames 201 and 203, but stereo extension data is lost in frame 202. However, there is no change in the basic codec analysis information generated by the analysis of the basic codec included in Tables 201, 202 and 203. More specifically, each number of CH channels in the basic codec in Tables 201, 202, 203 is 1 and the sampling frequency is 24 kHz.

[0086] Deste modo, a unidade de comutação 109 determina que cada quadro atende a condição mostrada na figura 3 (Sim em S201) e conecta a trajetória de transmissão ao terminal B (S203). A segunda unidade de processamento de extensão de largura de banda 107 executa a extensão de largura de banda sobre cada quadro.[0086] In this way, the switching unit 109 determines that each frame meets the condition shown in figure 3 (Yes in S201) and connects the transmission path to terminal B (S203). The second bandwidth extension processing unit 107 performs the bandwidth extension over each frame.

[0087] A figura 7 é um diagrama que ilustra um exemplo de formas de onda de sinais de áudio de saída. Na figura 7, (a) mostra uma forma de onda convencional de um sinal de áudio de saída do caso onde HQ-SBR é comutada para LP-SBR no momento t0 e LP-SBR é comutada para HQ-SBR no momento t2, devido aos dados de PS perdidos do quadro 202. De modo convencional, tal comutação do processamento causa sons anormais devido ao fato de que a informação de atraso não está disponível durante os períodos entre os momentos t0 e t1 e entre os momentos t2 e t3.[0087] Figure 7 is a diagram that illustrates an example of waveforms of output audio signals. In figure 7, (a) shows a conventional waveform of an audio signal output from the case where HQ-SBR is switched to LP-SBR at time t0 and LP-SBR is switched to HQ-SBR at time t2, due to the lost PS data in table 202. Conventionally, such processing switching causes abnormal sounds due to the fact that the delay information is not available during the periods between moments t0 and t1 and between moments t2 and t3.

[0088] Por outro lado, conforme descrito acima, o dispositivo de reprodução de áudio 100 de acordo com a modalidade 1 determina a primeira unidade de processamento de extensão de largura de banda 106 ou a segunda unidade de processamento de extensão de largura de banda 107 para a execução do processamento, independentemente da existência dos dados de extensão de estéreo dentro de um fluxo.[0088] On the other hand, as described above, the audio reproduction device 100 according to mode 1 determines the first bandwidth extension processing unit 106 or the second bandwidth extension processing unit 107 to perform processing, regardless of whether stereo extension data exists within a stream.

Petição 870190124121, de 27/11/2019, pág. 28/48Petition 870190124121, of 11/27/2019, p. 28/48

25/3425/34

Mais especificamente, no caso onde os respectivos quadros têm a mesma informação de análise do codec básico, a mesma unidade de processamento é usada para a extensão da banda do sinal de codec básico decodificado de cada quadro. Deste modo, a descontinuidade da informação de atraso não ocorre, evitando, assim, os sons anormais conforme mostrado na figura 7(b).More specifically, in the case where the respective frames have the same analysis information as the basic codec, the same processing unit is used for the extension of the band of the basic decoded codec signal of each frame. In this way, the discontinuity of the delay information does not occur, thus avoiding the abnormal sounds as shown in figure 7 (b).

[0089] Conforme descrito acima, no dispositivo de reprodução de áudio 100 de acordo com a modalidade 1, a segunda unidade de processamento de extensão de largura de banda 107 executa a extensão de largura de banda sobre um fluxo que inclui os dados de extensão de estéreo (isto é, o fluxo que tem CH = 1) e, deste modo, é possível executar o processamento de extensão de estéreo sem qualquer problema. Adicionalmente, a primeira unidade de processamento de extensão de largura de banda 106 executa a extensão de largura de banda sobre um fluxo que consiste em múltiplos canais e não inclui dados de extensão de estéreo e, deste modo, é possível reduzir a quantidade de processamento (quantidade de computação).[0089] As described above, in the audio reproduction device 100 according to mode 1, the second bandwidth extension processing unit 107 performs the bandwidth extension over a stream that includes the extension data of stereo (that is, the stream that has CH = 1) and, thus, it is possible to perform stereo extension processing without any problem. In addition, the first bandwidth extension processing unit 106 performs the bandwidth extension over a stream consisting of multiple channels and does not include stereo extension data, thus reducing the amount of processing ( amount of computation).

[0090] Como consequência disto, por exemplo, é possível reproduzir um sinal de áudio com tal fluxo que tem o perfil HE-AACv2 adequadamente decodificado, sem aumentar a quantidade de computação exigida ao se reproduzir um sinal de áudio de múltiplos canais. Aqui, é possível reproduzir sinais de áudio sem sons anormais, mesmo no caso onde nenhum dado de PS é inserido, e então, os dados de PS são inseridos.[0090] As a consequence of this, for example, it is possible to reproduce an audio signal with such a stream that the HE-AACv2 profile is properly decoded, without increasing the amount of computation required when reproducing a multi-channel audio signal. Here, it is possible to reproduce audio signals without abnormal sounds, even in the case where no PS data is inserted, and then the PS data is inserted.

Modalidade 2 [0091] Um dispositivo de reprodução de áudio de acordo com a modalidade 2 inclui uma memória temporária para o armazenamento da informação de extensão de estéreo. Por exemplo, quando existem dados de extensão de estéreo perdidos sob as influências de recebimento de radiodifusão, o processamento de estéreo é executado comMode 2 [0091] An audio playback device according to mode 2 includes a temporary memory for storing stereo extension information. For example, when stereo extension data is lost under the influence of broadcasting reception, stereo processing is performed with

Petição 870190124121, de 27/11/2019, pág. 29/48Petition 870190124121, of 11/27/2019, p. 29/48

26/34 o uso da informação de extensão de estéreo armazenada na memória temporária.26/34 the use of stereo extension information stored in temporary memory.

[0092] A figura 8 é um diagrama de blocos que ilustra um exemplo de uma estrutura de um dispositivo de reprodução de áudio 300 de acordo com a modalidade 2. O dispositivo de reprodução de áudio 300 mostrado na figura 8 se difere do dispositivo de reprodução de áudio 100 mostrado na figura 1 pelo fato de que uma unidade de processamento de extensão de estéreo 308 é incluída em vez da unidade de processamento de extensão de estéreo 108 e que uma memória temporária 310 é adicionalmente incluída. A seguir, somente as diferenças da modalidade 1 são descritas e as descrições das mesmas questões são omitidas.[0092] Figure 8 is a block diagram illustrating an example of a structure for an audio reproduction device 300 according to mode 2. The audio reproduction device 300 shown in figure 8 differs from the reproduction device of audio 100 shown in figure 1 by the fact that a stereo extension processing unit 308 is included instead of stereo extension processing unit 108 and that a temporary memory 310 is additionally included. In the following, only the differences of modality 1 are described and the descriptions of the same questions are omitted.

[0093] Em adição ao processamento executado pela unidade de processamento de extensão de estéreo 108, a unidade de processamento de extensão de estéreo 308 armazena, na memória temporária 310, a informação de extensão de estéreo usada para o processamento de estéreo. Mais especificamente, a unidade de processamento de extensão de estéreo 308 executa o processamento de estéreo sobre o sinal de codec básico decodificado que tem a banda de frequência estendida pela segunda unidade de processamento de extensão de largura de banda 107, com o uso da informação de extensão de estéreo transmitido a partir da unidade de análise de dados de extensão de estéreo 105. A informação de extensão de estéreo aqui usada é armazenada na memória temporária 310. Por exemplo, a cada vez que a informação de extensão de estéreo é obtida, a unidade de processamento de extensão de estéreo 308 atualiza a informação de extensão de estéreo armazenada na memória temporária 310.[0093] In addition to the processing performed by the stereo extension processing unit 108, the stereo extension processing unit 308 stores, in temporary memory 310, the stereo extension information used for stereo processing. More specifically, the stereo extension processing unit 308 performs stereo processing on the basic decoded codec signal that has the frequency band extended by the second bandwidth extension processing unit 107, using the information from stereo extension transmitted from the stereo extension data analysis unit 105. The stereo extension information used here is stored in temporary memory 310. For example, each time the stereo extension information is obtained, the stereo extension processing unit 308 updates the stereo extension information stored in buffer 310.

[0094] Adicionalmente, no caso onde não há informação de extensão de estéreo, tal como o caso onde a informação de extensão de estéreo em um quadro é perdida, a unidade de processamento de ex[0094] Additionally, in the case where there is no stereo extension information, such as the case where the stereo extension information in a frame is lost, the ex processing unit

Petição 870190124121, de 27/11/2019, pág. 30/48Petition 870190124121, of 11/27/2019, p. 30/48

27/34 tensão de estéreo 308 lê a informação de extensão de estéreo a partir da memória temporária 310 e executa o processamento de estéreo sobre o sinal de codec básico decodificado (sinal de áudio monaural) do quadro com o uso da informação de extensão de estéreo lida.27/34 stereo voltage 308 reads stereo extension information from buffer 310 and performs stereo processing on the basic decoded codec signal (monaural audio signal) of the frame using the stereo extension information read.

[0095] A memória temporária 310 armazena a informação de extensão de estéreo transmitida a partir da unidade de análise de dados de extensão de estéreo 105. A memória temporária 310 não somente armazena informação de extensão de estéreo mais recente, mas também pode armazenar uma pluralidade de pedaços de informação de extensão de estéreo. No caso onde a memória temporária 310 armazena uma pluralidade de pedaços de informação de extensão de estéreo, a unidade de processamento de extensão de estéreo 308, por exemplo, se refere à informação de extensão de codec básico e utiliza a informação de extensão de estéreo usada para o processamento de estéreo de um sinal de codec básico decodificado anterior similar ao sinal de codec básico decodificado atual.[0095] The buffer 310 stores the stereo extension information transmitted from the stereo extension data analysis unit 105. The buffer 310 not only stores the latest stereo extension information, but can also store a plurality of stereo extension information pieces. In the case where the buffer 310 stores a plurality of pieces of stereo extension information, the stereo extension processing unit 308, for example, refers to the basic codec extension information and uses the stereo extension information used for stereo processing of a previous basic decoded codec signal similar to the current basic decoded codec signal.

[0096] Conforme descrito, o dispositivo de reprodução de áudio 300 de acordo com a modalidade 1 inclui a memória temporária 310 para o armazenamento da informação de extensão de estéreo. No caso onde não há informação de extensão de estéreo, o dispositivo de reprodução de áudio 300 executa o processamento de estéreo sobre o sinal de codec básico decodificado com o uso da informação de extensão de estéreo armazenada na memória temporária 310.[0096] As described, the audio playback device 300 according to mode 1 includes temporary memory 310 for storing stereo extension information. In the case where there is no stereo extension information, the audio playback device 300 performs stereo processing on the basic codec signal decoded using the stereo extension information stored in buffer 310.

[0097] A seguir, das operações do dispositivo de reprodução de áudio 300 de acordo com a modalidade 2, são descritas as operações da unidade de processamento de extensão de estéreo 308. O dispositivo de reprodução de áudio 300 decodifica o fluxos de entrada, de acordo com os fluxogramas mostrados na figura 2 e figura 3. A unidade de processamento de extensão de estéreo 308 de acordo com a modalidade 2 executa o processamento quando a segunda unidade de[0097] In the following, the operations of the audio reproduction device 300 according to mode 2, the operations of the stereo extension processing unit 308 are described. The audio reproduction device 300 decodes the input streams, according to according to the flowcharts shown in figure 2 and figure 3. The stereo extension processing unit 308 according to mode 2 performs processing when the second

Petição 870190124121, de 27/11/2019, pág. 31/48Petition 870190124121, of 11/27/2019, p. 31/48

28/34 processamento de extensão de largura de banda 107 executa a extensão de largura de banda (S107).28/34 bandwidth extension processing 107 performs the bandwidth extension (S107).

[0098] A figura 9 é um fluxograma das operações da unidade de processamento de extensão de estéreo 308 de acordo com a modalidade 2.[0098] Figure 9 is a flow chart of the operations of the stereo extension processing unit 308 according to mode 2.

[0099] Primeiramente, a unidade de processamento de extensão de estéreo 308 determina se um fluxo inclui ou não os dados de extensão de estéreo, isto é, se a informação de extensão de estéreo é transmitida ou não a partir da unidade de análise de dados de extensão de estéreo 105 (S301). No caso onde a informação de extensão de estéreo é transmitida (Sim em S301), o processamento de extensão de estéreo é executado com o uso da informação de extensão de estéreo (S302). A unidade de processamento de extensão de estéreo 308 armazena, adicionalmente, a informação de extensão de estéreo aqui usada (S303).[0099] Firstly, the stereo extension processing unit 308 determines whether or not a stream includes stereo extension data, that is, whether stereo extension information is transmitted or not from the data analysis unit stereo extension cable 105 (S301). In the case where stereo extension information is transmitted (Yes in S301), stereo extension processing is performed using the stereo extension information (S302). The stereo extension processing unit 308 additionally stores the stereo extension information used here (S303).

[00100] No caso onde a informação de extensão de estéreo não é transmitida (Não em S301), é determinado se o processamento de extensão de estéreo tem sido executado ou não para a decodificação de quadros anteriores (S304). No caso onde o processamento de extensão de estéreo tem sido executado (Sim em S304), o processamento de extensão de estéreo é executado com o uso da informação de extensão de estéreo armazenada na decodificação de quadros anteriores (S305). No caso onde nenhum processamento de extensão de estéreo tem sido executado (Não em S304), o processamento termina aqui.[00100] In the case where stereo extension information is not transmitted (Not in S301), it is determined whether stereo extension processing has been performed or not for decoding previous frames (S304). In the case where stereo extension processing has been performed (Yes on S304), stereo extension processing is performed using the stereo extension information stored in the decoding of previous frames (S305). In the case where no stereo extension processing has been performed (not on S304), processing ends here.

[00101] De tal maneira, a unidade de processamento de extensão de estéreo 308 de acordo com a modalidade 2 armazena, na memória temporária 310, a informação de extensão de estéreo usada para a decodificação de quadros anteriores. Quando dados de extensão de estéreo são perdidos em um quadro subsequente, o processamento[00101] In such a way, the stereo extension processing unit 308 according to mode 2 stores, in temporary memory 310, the stereo extension information used for decoding previous frames. When stereo extension data is lost in a subsequent frame, processing

Petição 870190124121, de 27/11/2019, pág. 32/48Petition 870190124121, of 11/27/2019, p. 32/48

29/34 de estéreo é executado sobre o sinal de codec básico decodificado com o uso da informação de extensão de estéreo armazenada na memória temporária 310.Stereo 29/34 is performed over the basic codec signal decoded using the stereo extension information stored in buffer 310.

[00102] Na continuação, é feita referência às operações executadas pelo dispositivo de reprodução de áudio 300 de acordo com a modalidade 2 quando um fluxo, conforme mostrado na figura 6, é inserido.[00102] In the following, reference is made to the operations performed by the audio reproduction device 300 according to mode 2 when a stream, as shown in figure 6, is inserted.

[00103] De acordo com a modalidade 2, no caso onde é inserido um fluxo que inclui um quadro em que os dados de extensão de estéreo são perdidos em algum ponto dentro do fluxo conforme mostrado na figura 6, a unidade de comutação 109 conecta a trajetória de transmissão ao terminal B devido ao fato de que todos os quadros 201 a 203 têm um único canal e frequência de amostragem FS que é igual ou maior do que 24 kHz. O sinal de codec básico decodificado e a informação de extensão de largura de banda são transmitidos para a segunda unidade de processamento de extensão de largura de banda 107. De tal maneira, o processamento de extensão de largura de banda sobre todos os quadros 201 a 203 é executado pela segunda unidade de processamento de extensão de largura de banda 107, o qual permite a continuidade da informação de atraso.[00103] According to modality 2, in the case where a stream is inserted that includes a frame in which the stereo extension data is lost somewhere within the stream as shown in figure 6, the switching unit 109 connects to transmission path to terminal B due to the fact that all frames 201 to 203 have a single channel and FS sampling frequency that is equal to or greater than 24 kHz. The decoded basic codec signal and the bandwidth extension information are transmitted to the second bandwidth extension processing unit 107. In such a way, the bandwidth extension processing over all frames 201 to 203 it is performed by the second bandwidth extension processing unit 107, which allows continuity of the delay information.

[00104] A figura 10 é um diagrama que ilustra um exemplo de formas de onda de sinais de áudio de saída estéreo. De modo convencional, o processamento de extensão de estéreo não é executado durante um período do quadro no qual os dados de extensão de estéreo são perdidos (período entre t4 e t5). Conforme mostrado em (a) na figura 10, o sinal de áudio de canal R não é emitido, o que proporciona a um ouvinte uma sensação de estranheza. Com a finalidade de superar tal sensação estranha e emitir adequadamente o sinal de áudio do canal R, conforme mostrado em (b) na figura 10, a unidade de processamento de extensão de estéreo 308 executa as seguintes operações. [00105] Desde que o quadro 201 inclua os dados de extensão de[00104] Figure 10 is a diagram that illustrates an example of waveforms of stereo output audio signals. Conventionally, stereo extension processing is not performed during a frame period in which stereo extension data is lost (period between t4 and t5). As shown in (a) in figure 10, the R channel audio signal is not output, which gives a listener a sense of awkwardness. In order to overcome such a strange sensation and properly output the R channel audio signal, as shown in (b) in Figure 10, the stereo extension processing unit 308 performs the following operations. [00105] Provided that table 201 includes the extension data of

Petição 870190124121, de 27/11/2019, pág. 33/48Petition 870190124121, of 11/27/2019, p. 33/48

30/34 estéreo (Sim em S301), a unidade de processamento de extensão de estéreo 308 executa o processamento de extensão de estéreo (S302) e armazena a informação de extensão de estéreo aqui usada (S303). [00106] Em seguida, o quadro 202 no qual os dados de extensão de estéreo são perdidos é inserido. Desde que os dados de extensão de estéreo sejam perdidos no quadro 202 (Não em S301) e o processamento de extensão de estéreo seja executado no momento da decodificação do quadro 201 (Sim em S304), a unidade de processamento de extensão de estéreo 308 executa o processamento de extensão de estéreo sobre o quadro 202 com o uso da informação de extensão de estéreo do quadro 201.Stereo 30/34 (Yes on S301), the stereo extension processing unit 308 performs stereo extension processing (S302) and stores the stereo extension information used here (S303). [00106] Then, the frame 202 in which the stereo extension data is lost is inserted. As long as the stereo extension data is lost in frame 202 (Not in S301) and stereo extension processing is performed when decoding frame 201 (Yes in S304), the stereo extension processing unit 308 performs processing stereo extension over frame 202 using the stereo extension information from frame 201.

[00107] Subsequentemente, o próximo quadro 203 com os dados de extensão de estéreo é inserido. Desde que o quadro 203 inclua os dados de extensão de estéreo (Sim em S301), a unidade de processamento de extensão de estéreo 308 executa o processamento de extensão de estéreo sobre o quadro 203 com o uso da informação de extensão de estéreo extraída a partir do quadro 203 (S302).[00107] Subsequently, the next frame 203 with the stereo extension data is inserted. As long as frame 203 includes stereo extension data (Yes in S301), stereo extension processing unit 308 performs stereo extension processing on frame 203 using the stereo extension information extracted from of table 203 (S302).

[00108] De tal maneira, o dispositivo de reprodução de áudio 300 de acordo com a modalidade 2 é capaz de manter a continuidade de um som de saída e também executar a extensão de estéreo até em um quadro no qual os dados de extensão de estéreo são perdidos.[00108] In such a way, the audio reproduction device 300 according to mode 2 is capable of maintaining the continuity of an output sound and also executing the stereo extension even in a frame in which the stereo extension data are lost.

[00109] Como consequência disto, por exemplo, é possível reproduzir um sinal de áudio com tal fluxo que tem o perfil HE-AACv2 adequadamente decodificado, sem aumentar a quantidade de computação exigida quando se reproduz um sinal de áudio de múltiplos canais. Aqui, é possível reproduzir sinais de áudio sem sons anormais, mesmo no caso onde nenhum dado de PS é inserido e, então, os dados de PS são inseridos. Alternativamente, no caso onde os dados de PS são inseridos em um quadro anterior e, então, nenhum dado de PS é inserido em um quadro subsequente, um sinal de áudio estéreo pode ser[00109] As a consequence of this, for example, it is possible to reproduce an audio signal with such a flow that the HE-AACv2 profile is properly decoded, without increasing the amount of computation required when reproducing a multi-channel audio signal. Here, it is possible to reproduce audio signals without abnormal sounds, even in the case where no PS data is inserted and then the PS data is inserted. Alternatively, in the case where the PS data is inserted in a previous frame and then no PS data is inserted in a subsequent frame, a stereo audio signal can be

Petição 870190124121, de 27/11/2019, pág. 34/48Petition 870190124121, of 11/27/2019, p. 34/48

31/34 reproduzido com o uso dos dados de PS anteriores.31/34 reproduced using previous PS data.

[00110] A figura 11 é uma vista externa de um exemplo de um aparelho de reprodução de áudio que incorpora um dispositivo de reprodução de áudio de acordo com a presente invenção. A figura 11 ilustra um meio de registro 401, um aparelho de reprodução de áudio 402 e fones de ouvido 403.[00110] Figure 11 is an external view of an example of an audio reproduction device that incorporates an audio reproduction device according to the present invention. Fig. 11 illustrates a recording means 401, an audio playback device 402 and headphones 403.

[00111] O meio de registro 401 consiste em um meio de registro que é capaz de registrar fluxos de áudio comprimidos. A figura 11 mostra o meio de registro 401 como um meio, tal como um cartão digital seguro (SD), removível a partir de um aparelho; no entanto, o meio de registro 401 também pode ser implantado como um disco óptico, uma unidade de disco rígido (HDD) incorporada no aparelho, ou similares.[00111] The 401 recording medium consists of a recording medium that is capable of recording compressed audio streams. Figure 11 shows the registration means 401 as a means, such as a secure digital (SD) card, removable from an apparatus; however, the 401 recording medium can also be implanted as an optical disc, a hard disk drive (HDD) incorporated in the apparatus, or the like.

[00112] O aparelho de reprodução de áudio 402 consiste em um aparelho que reproduz fluxos de áudio comprimidos e inclui ao menos um dos dispositivos de reprodução de áudio 100 e 300 de acordo com as modalidades 1 e 2.[00112] The audio reproduction device 402 consists of a device that reproduces compressed audio streams and includes at least one of the audio reproduction devices 100 and 300 according to modalities 1 and 2.

[00113] Os fones de ouvido 403 consistem em aparelho de autofalante que emite os sinais de áudio de saída a partir do aparelho de reprodução de áudio 402 para fora. A figura 11 ilustra fones de ouvido que são inseridos nos ouvidos de um usuário; no entanto, os fones de ouvido podem consistir em auriculares que são colocados na cabeça do usuário ou autofalantes de mesa.[00113] The 403 headphones consist of a loudspeaker device that outputs the audio signals from the audio reproduction device 402 outwards. Figure 11 illustrates headphones that are inserted into a user's ears; however, headphones can consist of earphones that are placed on the user's head or desktop speakers.

[00114] De acordo com tal estrutura do aparelho de reprodução de áudio 402, é possível obter um sinal de áudio de saída sem causar sons anormais, mesmo quando um fluxo inclui um quadro em que os dados de extensão de estéreo são perdidos.[00114] According to such a structure of the audio reproduction apparatus 402, it is possible to obtain an output audio signal without causing abnormal sounds, even when a stream includes a frame in which the stereo extension data is lost.

[00115] O dispositivo de reprodução de áudio e o método de reprodução de áudio de acordo com a presente invenção têm sido descritos com base nas modalidades; no entanto, a presente invenção não se[00115] The audio reproduction device and the audio reproduction method according to the present invention have been described based on the modalities; however, the present invention does not

Petição 870190124121, de 27/11/2019, pág. 35/48Petition 870190124121, of 11/27/2019, p. 35/48

32/34 limita a estas modalidades. Os versados na técnica irão observar prontamente que muitas modificações são possíveis nas modalidades exemplificadoras, sem que se desvie substancialmente das novas instruções e vantagens desta invenção. Consequentemente, todas tais modificações são destinadas a serem incluídas no escopo desta invenção.32/34 limits these modalities. Those skilled in the art will readily observe that many modifications are possible in the exemplary modalities, without departing substantially from the new instructions and advantages of this invention. Consequently, all such modifications are intended to be included in the scope of this invention.

[00116] Por exemplo, a unidade de comutação 109 faz a determinação com base na condição de determinação em que o número de canais é 1 e a frequência de amostragem é 24 kHz ou menor; no entanto, a condição de determinação não é limitadora. Por exemplo, pode ser que a unidade de comutação 109 determine utilizar a segunda unidade de processamento de extensão de largura de banda 107 (conectar ao terminal B) somente quando o número de canais for dois ou menos. Neste caso, quando um fluxo que tem o codec básico com 1 ou 2 canais é inserido, a extensão de largura de banda é executada pela segunda unidade de processamento de extensão de largura de banda 107, a qual gera qualidade de som maior, mas exige maior quantidade de processamento.[00116] For example, switching unit 109 makes the determination based on the determination condition in which the number of channels is 1 and the sampling frequency is 24 kHz or less; however, the condition of determination is not limiting. For example, it may be that switching unit 109 determines to use the second bandwidth extension processing unit 107 (connecting to terminal B) only when the number of channels is two or less. In this case, when a stream that has the basic codec with 1 or 2 channels is inserted, the bandwidth extension is performed by the second bandwidth extension processing unit 107, which generates higher sound quality, but requires greater amount of processing.

[00117] No caso onde um fluxo de 3 ou mais canais é inserido, é possível executar a extensão de largura de banda com o uso da primeira unidade de processamento de extensão de largura de banda 106, a qual exige menos quantidade de processamento, mas gera qualidade de som inferior, para reduzir a quantidade de processamento total. De tal maneira, é possível fornecer som de alta qualidade até para o processamento de múltiplos canais, desde que a capacidade de processamento e os recursos de memória permitam.[00117] In the case where a stream of 3 or more channels is inserted, it is possible to execute the bandwidth extension using the first bandwidth extension processing unit 106, which requires less amount of processing, but generates inferior sound quality, to reduce the amount of total processing. In such a way, it is possible to provide high quality sound even for the processing of multiple channels, as long as the processing capacity and memory resources allow.

[00118] A presente invenção pode ser implantada não somente como um dispositivo de reprodução de áudio e um método de reprodução de áudio conforme descrito acima, mas também como um programa que faz com que um computador execute um método de repro[00118] The present invention can be implemented not only as an audio reproduction device and an audio reproduction method as described above, but also as a program that causes a computer to perform a reproduction method

Petição 870190124121, de 27/11/2019, pág. 36/48Petition 870190124121, of 11/27/2019, p. 36/48

33/34 dução de áudio de acordo com as modalidades. A presente invenção também pode ser implantada como um meio de registro, tal como um CD-ROM legível por computador, que armazena o programa. Adicionalmente, a presente invenção pode ser implantada como informações, dados ou um sinal que indica o programa. Tal programa, informações, dados e sinal pode ser distribuído sobre uma rede de comunicação, tal como a Internet.33/34 audio output according to the modalities. The present invention can also be implemented as a means of registration, such as a computer-readable CD-ROM, which stores the program. In addition, the present invention can be implemented as information, data or a signal indicating the program. Such a program, information, data and signal can be distributed over a communication network, such as the Internet.

[00119] Adicionalmente, parte ou todos os elementos constituintes do dispositivo de reprodução de áudio de acordo com a presente invenção podem ser estruturados como um único sistema LSI. O sistema LSI consiste em um LSI supermultifuncional fabricado mediante a integração de uma pluralidade de unidades estruturais sobre um único circuito integrado. Especificamente, consiste em um sistema de computador que inclui um microprocessador, uma ROM, uma RAM, e similares.[00119] Additionally, part or all of the constituent elements of the audio reproduction device according to the present invention can be structured as a single LSI system. The LSI system consists of a super-multifunctional LSI manufactured by integrating a plurality of structural units on a single integrated circuit. Specifically, it consists of a computer system that includes a microprocessor, a ROM, a RAM, and the like.

Aplicabilidade industrial [00120] A presente invenção evita um aumento significante na quantidade de processamento e também evita a ocorrência de sons anormais. A presente invenção pode ser usada para, por exemplo, um dispositivo de reprodução de áudio. Por exemplo, a presente invenção pode ser usada para um aparelho de reprodução de áudio, tal como um tocador de música portátil, o qual tem capacidade de processador limitada e recursos de memória limitados.Industrial applicability [00120] The present invention prevents a significant increase in the amount of processing and also prevents the occurrence of abnormal sounds. The present invention can be used for, for example, an audio playback device. For example, the present invention can be used for an audio playback device, such as a portable music player, which has limited processor capacity and limited memory resources.

Lista de símbolos de referênciaList of reference symbols

100, 300 Dispositivo de reprodução de áudio100, 300 Audio playback device

101 Unidade de separação de fluxo101 Flow separation unit

102 Unidade de análise de codec básico102 Basic codec analysis unit

103 Unidade de decodificação de codec básico103 Basic codec decoding unit

104 Unidade de análise de dados de extensão de largura de banda104 Bandwidth extension data analysis unit

Petição 870190124121, de 27/11/2019, pág. 37/48Petition 870190124121, of 11/27/2019, p. 37/48

34/3434/34

105 unidade de análise de dados de extensão de estéreo105 stereo extension data analysis unit

106 Primeira unidade de processamento de extensão de largura de banda106 First bandwidth extension processing unit

107 Segunda unidade de processamento de extensão de largura de banda107 Second bandwidth extension processing unit

108, 308 Unidade de processamento de extensão de estéreo108, 308 Stereo extension processing unit

109 Unidade de comutação109 Switching unit

201,202, 203 Quadro201,202, 203 Frame

310 Memória temporária310 Temporary memory

401 Meio de registro401 Means of registration

402 Aparelho de reprodução de áudio402 Audio playback device

403 Fones de ouvido403 Headphones

Claims

1. Audio reproduction device (100) that reproduces a stream that includes a basic encoded audio signal, the audio reproduction device characterized by the fact that it comprises:

a flow separation unit (101) configured to separate, under a frame base, the flow in the basic encoded audio signal and bandwidth extension information that is used for the extension of a band from the basic encoded audio signal ;

a basic codec information analysis unit (102) configured to analyze the basic encoded audio signal separated by the stream separation unit (101), to generate analysis information indicating a type of the basic encoded audio signal;

a basic codec decoding unit (103) configured to decode the basic coded audio signal in accordance with the analysis information generated by the basic codec information analysis unit (102), to generate a basic decoded signal signal;

a first bandwidth extension processing unit (106) configured to perform first processing that extends, when using bandwidth extension information, a frequency band of the basic decoded audio signal generated by the codec decoding unit basic (103);

a second bandwidth extension processing unit (107) configured to perform second processing that extends, when using the bandwidth extension information, the frequency band of the basic decoded audio signal generated by the basic codec decoding unit (103), the second processing being performed with an accuracy greater than that of the first processing; and a switching unit (109) configured to switch

Petition 870190124121, of 11/27/2019, p. 43/48

2/6 between the first bandwidth extension processing unit (106) and the second bandwidth extension processing unit (107) based on the analysis information, where the codec information analysis unit basic (102) is configured to analyze the basic encoded audio signal separated by the flow separation unit (101), to generate analysis information that includes at least one of the channel information and sampling frequency information, the channel information indicating the number of channels of the basic encoded audio signal, the sampling frequency information indicating a sampling frequency of the basic encoded audio signal, and the switching unit (109) is configured to determine at least one of (i) whether the number of channels indicated by the channel information is greater than a first predetermined threshold and (ii) if the sampling frequency indicated by the channel information sampling frequency is greater than a second predetermined threshold, and selecting the first bandwidth extension processing unit (106) when at least one of the following is determined: (i) the number of channels is greater than the first predetermined threshold and (ii) the sampling frequency is greater than the second predetermined threshold.

Audio reproduction device (100) according to claim 1, characterized in that the flow separation unit (101) is configured to separate, under the frame base, the flow in the encoded audio signal basic, bandwidth extension information, and stereo extension information that is used to perform stereo processing on the basic encoded audio signal, the audio reproduction device (100) still comprisesPetition 870190124121, 27/11 / 2019, p. 44/48

3/6 address:

a stereo extension processing unit (108) configured to perform, when using stereo extension information, stereo processing over the basic decoded audio signal that has the frequency band extended by the second wide extension processing unit band (107).

Audio reproduction device (100) according to claim 1 or 2, characterized by the fact that it still comprises, a temporary memory (310) that stores stereo extension information of a first frame, in which the unit stereo extension processing (108) is configured to perform stereo processing on a basic audio signal decoded from a second frame by using the stereo extension information stored in the buffer (310), the second frame being one frame after the first frame and being a frame in which the stereo extension information is missing.

Audio reproduction device (100) according to claim 1 or 2, characterized in that the second bandwidth extension processing unit (107) is configured to generate a high frequency component signal from the basic audio signal decoded when using the bandwidth extension information, the stereo extension processing unit (108) is configured to perform, when using the stereo extension information, stereo processing over the signal basic decoded audio and the high frequency component signal generated by the second bandwidth extension processing unit (107),

Petition 870190124121, of 11/27/2019, p. 45/48

4/6 to generate a decoded basic audio signal and a high frequency component signal for a first channel and a decoded basic audio signal and a high frequency component signal for a second channel, and the second audio processing unit bandwidth extension (107) also includes a band synthesis filter to synthesize the high frequency component signal and the basic decoded audio signal that were generated, and is configured to synthesize bands from the second channel when using delay information which is stored in the band synthesis filter of the first channel, as delay information stored in the band synthesis filter of the second channel, when the stereo extension information is missing.

Audio reproduction device (100) according to any one of claims 2 to 4, characterized in that the basic audio signal is an audio signal encoded according to the advanced audio coding scheme (AAC) , the bandwidth extension information is spectral band replication (SBR) information generated according to the SBR scheme, the stereo extension information is parametric stereo (PS) information generated according to the PS scheme, the first unit bandwidth extension processing (106) is configured to extend a frequency band of the basic audio signal decoded according to the low energy SBR (LP-SBR) scheme, and the second width extension processing unit Bandwidth (107) is configured to extend a frequency band of the basic audio signal decoded according to the high quality SBR (HQ-SBR) scheme.

Petition 870190124121, of 11/27/2019, p. 46/48

5/6

6. Audio reproduction apparatus characterized by the fact that it comprises the audio reproduction device (100) as defined in any one of claims 1 to 5.

7. Audio reproduction method to reproduce a stream that includes a basic encoded audio signal, the audio reproduction method characterized by the fact that it comprises the steps of:

separating, under a frame base, the flow in the basic encoded audio signal and bandwidth extension information that is used for the extension of a band from the basic encoded audio signal;

analyzing the basic encoded audio signal separated in the separating step, to generate analysis information indicating a type of the basic encoded audio signal;

decoding the basic encoded audio signal in accordance with the analysis information generated in the analyze step, to generate a basic decoded audio signal;

switching between first processing and second processing based on the analysis information, the second processing being performed with an accuracy greater than an accuracy of the first processing;

executing, when the first processing is selected in the switching step, the first processing that extends, when using the bandwidth extension information, a frequency band of the basic decoded audio signal generated in the decoding step; and executing, when the second processing is selected in the switching step, the second processing that extends, when using the bandwidth extension information, the frequency band of the basic decoded audio signal generated in the decoding step,

Petition 870190124121, of 11/27/2019, p. 47/48

6/6 where the analyze step analyzes the basic encoded audio signal separated in the separate stream step, to generate analysis information that includes at least one of the channel information and sampling frequency information, the channel information indicating the number of channels of the basic encoded audio signal, the sampling frequency information indicating a sampling frequency of the basic encoded audio signal, and the switching step determines at least one of (i) whether the number of channels indicated by the information of channel is greater than a first predetermined threshold and (ii) if the sampling frequency indicated by the sampling frequency information is greater than a second predetermined threshold, and selects the first bandwidth extension processing unit (106) when at least one of the following is determined: (i) the number of channels is greater than the first predetermined threshold and (ii) the frequency of sampling is greater than the second predetermined threshold.

8. Integrated circuit that reproduces a stream that includes a basic encoded audio signal, the integrated circuit characterized by the fact that it comprises:

an audio reproduction device (100) as defined in claim 1.

9. Computer-readable medium characterized by the fact that a method as defined in claim 7.